关于字符集和Unicode的相关知识[译]（3）
作者：Joel Spolsky 发布时间：2010-03-13 14:17:00
Unicode
Unicode 是一个勇敢的尝试，它试图用一个字符集涵盖这个星球上的所有书写系统。一些人误以为Unicode只是简单的使用16比特的码字，也就是说每一个字符对应 16比特，总共可以表示65536个字符。这是完全不正确的。不过这是关于Unicode的最普遍的误解，如果你也这样认为，不用感到不好意思。
事实上，Unicode使用一种与之前系统不同的思路来考虑字符，如果你不能理解这种思路，那其他的也就毫无意义了。
到现在为止，我们的做法是把一个字母映射到几个比特，这些比特可以存储在磁盘或者内存中。
A -> 0100 0001
在Unicode中，一个字母被映射到一个叫做码点(code point)的东西，这个码点可以看作一个纯粹的逻辑概念。至于码点(code point)如何在内存或磁盘中存储是另外的一个故事了。
在Unicode中，字母A可看做是一个柏拉图式的理想，仅存在于天堂之中：（我的理解是字母A就是一个抽象，世界上并不存在这样的东西，如果数学里面的0、1、2等一样）
这个柏拉图式的A与B不同，也与a不同，但与A和A相同。这个观点就是Times New Roman字体中的A与Helvetica字体中的A相同，与小写的"a"不同，这个应该不会引起太多的异议。但在一些语言中，如何辨别一个字母会有很大的争议。比如在德语中，字母 ß是看做一个完整的字母，还是看做ss的一种花式写法？如果在一个字母的形状因为它处在一个单词的末尾而略有改变，那还算是那个字母吗？阿拉人说当然算了，但希伯来人却不这么认为。但无论如何，这些问题已经被Unicode委员会的这帮聪明人给解决了，尽管这花了他们十多年的时间，尽管其中涉及多次政治味道很浓的辩论，但至少现在你不用再为这个操心了，因为它已经被解决。
每一个字母系统中的每一个柏拉图式的字母在Unicode中都被分配了一个神奇的数字，比如像U+0639。这个神奇数字就是前面提到过的码点(code point)。U+的意思就是"Unicode"，后面跟的数字是十六进制的。U+0639表示的是阿拉伯字母Ain。英文字母A在Unicode中的表示是U+0041。你可以使用Windows 2000/XP自带的字符表功能或者Unicode的官方网站(www.unicode.org)来查找与字母的对应关系。
事实上Unicode可以定义的字符数并没有上限，而且现在已经超过65536了。显然，并不是任何Unicode字符都可以用2个字节来表示了。
举个例子，假设我们现在有一个字符串：
在Unicode中，对应的码点(code point)如下：
瞧，仅仅是一堆码点而已，或者说数字。不过到现在为止，我们还没有说这些码点究竟是如何存储到内存或如何表示在email信息中的。
0
投稿猜你喜欢
- 昨天晚些时候微信团队发布了微信小程序开发者工具、微信小程序开发文档和微信小程序设计指南，全新的开发者工具，集成了开发调试、代码编辑及程序发布
- 为什么要使用php缓存技术？理由很简单：提高效率。在程序开发中，获取信息的方式主要是查询数据库，除此以外，也可能是通过Web Service
启动IDLE后会打开Python shell窗口。当键入代码 时，它会基于Python语法提供自动缩进和代码着色功能。使用IDLE中的Pyt- Axios是一款网络前端请求框架，基本用法如下：1. Axios基本用法：const response = await Axios.crea
- 子线程里是不能更新UI界面的，在移动端方面。Android的UI访问是没有加锁的，多个线程可以同时访问更新操作同一个UI控件。也就是说访问U
- 本文实例讲述了mysql游标的原理与用法。分享给大家供大家参考，具体如下：本文内容：什么是游标创建游标使用游标首发日期：2018-04-18
- “％”的使用格式符描述％s字符串 (采用str()的显示)％r字符串 (采用repr()的显示)％c
- 我就废话不多说了，直接上代码吧：package mainimport ("flag""fmt"&qu
- 如下所示：def is_img(ext): ext = ext.lower() if ext == '.jpg': &nbs
- Spyder本来还用得好好的，能正常使用，后来再关闭打开时，出现下面的蜘蛛网界面后，就无法显示操作界面了：后来在网上搜索了多种方法，甚至还将
- 今天设计models时，用到了choice这个属性，用来限制用户做出选择的范围。比如说性别的选择（男或女）。class User（Abstr
- 一、逻辑回归1.模型的保存与加载模型训练好之后，可以直接保存，需要用到joblib库。保存的时候是pkl格式，二进制，通过dump方法保存。
- python如何建立一个自己的包一些概念模块：我们写的每个py都是一个模块包：模块的集合，就是一个包，通常包和directory的区别在于是
- python的其中一个强大之处就是它可以方便的集成很多的非标准库，今天在GitHub上溜达又发现了一个脏话处理神器，导入better_pro
- 前言数组类型是各种编程语言中基本的数组结构了，本文来盘点下Python中各种“数组”类型的实现。listtuplearray.arrayst
- 这些小东西是我在网上看到的就把它记下来了，可能以后会有用的： &nbs
- login.html <script language = "javascript" type = "t
- 项目中需要对 api 的接口进行限流，但是麻烦的是，api 可能有多个节点，传统的本地限流无法处理这个问题。限流的算法有很多，比如计数器法，
- python strip() 函数和 split() 函数的详解及实例一直以来都分不清楚strip和split的功能，实际上st
- 1、确认mysql是否已安装，有下面的代码可知[root@cdh1 zjl]# yum list installed mysql*Loade
