Python中的字符串操作和编码Unicode详解

字符串类型

str：Unicode字符串。采用&＃39;&＃39;或者r&＃39;&＃39;构造的字符串均为str，单引号可以用双引号或者三引号来代替。无论用哪种方式进行制定，在Python内部存储时没有区别。

bytes：二进制字符串。由于jpg等其他格式的文件不能用str进行显示，所以才用bytes来表示，bytes的每个字节为一个0-255的数字。如果打印的时候，Python会把能够用ASCII表示的部分显示为ASCII，这样方便阅读。bytes几乎支持除了格式化以外的所有str的方法，甚至包括了re模块

bytearray() ：二进制可原地变动的字符串。

utf-8编码范围

字节顺序标记BOM

BOM是byte order marker的缩写，

指定编码写入时的规则

Python在使用&＃39;utf-8&＃39;编码写入文件时不会写入BOM头，但是如果指定编码&＃39;utf-8-sig&＃39;则会迫使Python写入一个BOM头。

使用&＃39;utf-16-be&＃39;不会写入一个BOM头，但是采用&＃39;utf-16&＃39;则会写入一个BOM头。

>>> open(&＃39;h.txt&＃39;,&＃39;w&＃39;,encoding=&＃39;utf-8-sig&＃39;).write(&＃39;aaa&＃39;)
3
>>> open(&＃39;h.txt&＃39;,&＃39;rb&＃39;).read()
b&＃39;\xef\xbb\xbfaaa&＃39;
>>> open(&＃39;h.txt&＃39;,&＃39;w&＃39;,encoding=&＃39;utf-16&＃39;).write(&＃39;bbb&＃39;)
3
>>> open(&＃39;h.txt&＃39;,&＃39;rb&＃39;).read()
b&＃39;\xff\xfeb\x00b\x00b\x00&＃39;
>>> open(&＃39;hh.txt&＃39;,&＃39;w&＃39;,encoding=&＃39;utf-16-be&＃39;).write(&＃39;ccc&＃39;)
3
>>> open(&＃39;hh.txt&＃39;,&＃39;rb&＃39;).read()
b&＃39;\x00c\x00c\x00c&＃39;
>>> open(&＃39;h.txt&＃39;,&＃39;w&＃39;,encoding=&＃39;utf-8&＃39;).write(&＃39;ddd&＃39;)
3
>>> open(&＃39;h.txt&＃39;,&＃39;rb&＃39;).read()
b&＃39;ddd&＃39;

读取时的规则

如果指定了正确的编码，那么BOM会忽略，否则BOM会显示为乱码或者返回异常。

>>> open(&＃39;h.txt&＃39;,&＃39;r&＃39;).read()
&＃39;锘縟dd&＃39;
>>> open(&＃39;h.txt&＃39;,&＃39;r&＃39;,encoding=&＃39;utf-8-sig&＃39;).read()
&＃39;ddd&＃39;

编码与解码

• chr和ord

>>> ord(&＃39;中&＃39;) #20013
>>> chr(20013) #&＃39;中&＃39;

• 把Unicode硬编码进字符串中。

&＃39;\xhh&＃39;：用2位十六进制来表示一个字符

&＃39;\uhhhh&＃39;：用4位十六进制来表示一个字符：

&＃39;\Uhhhhhhhh&＃39;：用8位十六进制来表示一个字符

>>> s = &＃39;py\x74h\u4e2don&＃39; #&＃39;pyth中on&＃39;

str和bytes， bytearray进行转换

str.encode(encoding=&＃39;utf-8&＃39;)


bytes(s,encoding=&＃39;utf-8&＃39;)


bytes.decode(encoding=&＃39;utf-8&＃39;)


str(B, encoding=&＃39;utf-8&＃39;)

bytearray(string, encoding=&＃39;utf-8&＃39;)

bytearray(bytes)

文档编码声明

Python默认使用utf-8编码。

# -*- coding: latin-1 -*- ：表示声明文档为latin-1编码。

帮助函数

sys.platform  #&＃39;win32&＃39;
sys.getdefaultencoding() # &＃39;utf-8&＃39;
sys.byteorder  #&＃39;little&＃39;
s.isalnum()  #s表示字符串
s.isalpha()
s.isdecimal
s.isdigit()
s.isnumeric()
s.isprintable()
s.isspace()
s.isidentifier() #如果字符串可以用作变量名，那么返回True
s.islower()
s.isupper()
s.istitle()

更多Python中的字符串操作和编码Unicode详解相关文章请关注PHP中文网！