本文主要是介绍python 学习汇总41：unicode（ tcy），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Unicode 2018/7/1
1.字符一般字符：'a';'严';
特殊字符：
编辑器中不能直接输入，在字符串文字中使用转义序列
\u转义序列编写特定的Unicode代码点'\u0394' # 'Δ' 16-bit hex value
"\U00000394 # 'Δ' 32-bit hex value
"\N{GREEK CAPITAL LETTER DELTA}" # 希腊大写字母Delta ：'Δ'
répertoire = "trouvé" #可将Unicode字符包含在字符串文字，标识符中。2.Unicode
2.1. 字符集:
只是一个“字符集”，它给每一个处于此字符集中的字符给予了一个编号。
Unicode 标准描述了如何用 代码点 表示字符。代码点是一个整数值通常用16 进制表示。
Unicode标准包含很多列出字符及其相应代码点的表格:0061 'a'; LATIN SMALL LETTER A
0062 'b'; LATIN SMALL LETTER B
0063 'c'; LATIN SMALL LETTER C
...
007B '{'; LEFT CURLY BRACKET一个Unicode字符串是一系列代码点，从0到0x10FFFF的数字。
该序列需要表示为内存中的一组字节（意思是从0到255的值）。
将Unicode字符串转换为字节序列的规则称为编码。 ord('a') # 97hex(ord("严"))= '0x4e25' #"严"unicode代码点=4E25ord('\u0394') #等价于：ord('Δ') #返回代码点值：=916逆转换：chr(916) #等价于：chr(0x394) #10进制的916=16进制的394 #返回单字符'Δ'chr(97) #等价于：chr(0x61) #10进制的97=16进制的61 #返回单字符'a' 2.2.编码方案 utf-8指定字符以什么字节序存储和传输将Unicode字符串转换为字节序列的规则称为编码。编码一定，字节序一定，存储结果是肯定要落实到字节（Bytes）上来的。 编码:'a'.encode('utf-8') # b'a' 返回Unicode字符串的bytes"严".encode() #b'\xe4\xb8\xa5''Δ'.encode('utf-8') # b'\xce\x94'解码:b'a'.decode() # 'a'b'\xe4\xb8\xa5'.decode() #"严"b'\xce\x94'.decode() # 'Δ' 3.指定代码编码：代码前2行
# -*- coding: <encoding name> -*-
获取系统编码：
import sys
sys.getfilesystemencoding()# 'utf-8
4.实例:实例1.-编码str.encode()
str.encode 返回Unicode字符串的bytes参数：strictignorereplace 插入问号xmlcharrefreplace 插入XML字符引用backslashreplace 插入\uNNNN转义序列namereplace 插入\N实例：u = chr(40960) + 'abcd' + chr(1972)u.encode('utf-8') # b'\xea\x80\x80abcd\xde\xb4'u.encode('ascii') #错误u.encode('ascii', 'ignore') # b'abcd'u.encode('ascii', 'replace') # b'?abcd?'u.encode('ascii', 'xmlcharrefreplace') # b'ꀀabcd޴'u.encode('ascii', 'backslashreplace') # b'\\ua000abcd\\u07b4'u.encode('ascii', 'namereplace') # b'\\N{YI SYLLABLE IT}abcd\\u07b4'实例2.-解码bytes.decode()b'\x80abc'.decode("utf-8", "strict") #错误b'\x80abc'.decode("utf-8", "replace") # '\ufffdabc'b'\x80abc'.decode("utf-8", "backslashreplace") # '\\x80abc'b'\x80abc'.decode("utf-8", "ignore") #'abc'实例3-ord(),chr()：ord() #接受一个字符的Unicode字符串并返回代码点值以一个字符（长1字符串8位）作为参数，返回对应的 ASCII值或Unicode值如给Unicode字符超出范围引发TypeErrorchr()#用一字节整数作参数返回对应字符。创建单字符Unicode字符串，该函数使用整数并返回包含相应代码点的长度为1的Unicode字符串。chr(57344) # '\ue000'ord('\ue000')# 57344
5.备注：
5.1.Unicode属性
字符信息包括字符的名称，类别，数值
# 显示一些关于几个字符的信息，并打印一个特定字符的数字值：
import unicodedatau = chr(233) + chr(0x0bf2) + chr(3972) + chr(6000) + chr(13231)
for i, c in enumerate(u):
print(i, '代码点=%04x ；代码=' % ord(c), unicodedata.category(c), end=" ")#类别代码：是描述角色性质的缩写。
print('; 名称=',unicodedata.name(c))
# Get numeric value of second character
print(unicodedata.numeric(u[1]))#1000.0# 0 代码点=00e9 ;代码= Ll ; 名称= LATIN SMALL LETTER E WITH ACUTE# 'Ll'意思是“Letter，小写”
# 1 代码点=0bf2 ;代码= No ; 名称= TAMIL NUMBER ONE THOUSAND# 'No'意思是“Number，other”
# 2 代码点=0f84 ;代码= Mn ; 名称= TIBETAN MARK HALANTA# 'Mn'是“Mark，nonspacing”
# 3 代码点=1770 ;代码= Lo ; 名称= TAGBANWA LETTER SA
# 4 代码点=33af ;代码= So ; 名称= SQUARE RAD OVER S SQUARED# 'So'是“Symbol，other”===================================================================
5.2.Unicode正则表达式
re模块支持的正则表达式可以以字节或字符串的形式提供。\d将匹配[0-9]字节中的字符，但字符串中的字符将匹配该'Nd'类别中的任何字符
\w匹配各种各样的Unicode字符，但只能[a-zA-Z0-9_]以字节或如果re.ASCII提供
\s并将匹配Unicode空白字符或 。[ \t\n\r\f\v]import re
p = re.compile(r'\d+')
s = "Over \u0e55\u0e57 57 flavours"
m = p.search(s)
print(repr(m.group()))
===================================================================
5.3.读写Unicode数据
open('unicode.txt', encoding='utf-8')
Unicode字符U+FEFF用作字节顺序标记（BOM），通常写为文件的第一个字符，以帮助自动检测文件的字节排序。Unicode文件名
filename = 'filename\u4500abc'
open(filename, 'w') os模块中的函数os.stat()也将接受Unicode文件名。该os.listdir()函数返回文件名# utf-8 返回Unicode版本的文件名，返回包含编码版本的字节。fn = 'filename\u4500abc'f = open(fn, 'w')f.close()import osprint(os.listdir(b'.'))print(os.listdir('.'))#输出：amk:~$ python t.py[b'filename\xe4\x94\x80abc', ...]#包含UTF-8编码的文件名['filename\u4500abc', ...] #第二个列表包含Unicode版本注意在大多数情况下，应使用Unicode API。字节API只能用于不可解码文件名的系统，例如Unix系统。
====================================================================
5.4.编写支持Unicode的程序的技巧在文件编码之间转换StreamRecoder类可以在编码之间透明转换# 例如输入文件f是Latin-1，返回以UTF-8编码字节：new_f = codecs.StreamRecoder(f,# en/decoder: used by read() to encode its results and by write() to decode its input.codecs.getencoder('utf-8'), codecs.getdecoder('utf-8'),# reader/writer: used to read and write to the stream.codecs.getreader('latin-1'), codecs.getwriter('latin-1') )未知编码中的文件对文件进行更改不知道文件编码，知道编码与ASCII兼容，并只想检查或修改ASCII部分，用surrogateescape错误处理程序打开该文件：with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:data = f.read()# make changes to the string 'data'with open(fname + '.new', 'w',encoding="ascii", errors="surrogateescape") as f:f.write(data)surrogateescape错误处理程序将所有非ASCII字节解码为Unicode的专用使用区域范围从U + DC80到U + DCFF代码点。surrogateescape当编码数据并将其写回时使用错误处理程序时，这些私有代码点将被重新转换为相同的字节。
这篇关于python 学习汇总41：unicode（ tcy）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
