快速入手Python字符编码

#coding=utf8

# Unicode编码演示
print('Unicode:')
print(repr(u'Unicode编码'))`

# 二进制编码演示
print(u'二进制编码:')
print(repr('Unicode编码'))`

# 只是看个样子，代码不必去深究

# 告知的命令就是下面这一行，删掉就会报错
#coding=utf8
print(u'测试编码')

#coding=utf8

# 字符串前面加u会默认构造出Unicode的字符串
unicodeString = u'Unicode字符串'

# 字符串前面什么都不加会构造出默认编码（首行限定了现在的utf8）的字符串
utf8String = 'Utf-8字符串'

# 当然，没有首行，默认的编码是Ascii

# 接上一段程序

# Unicode转化为二进制编码中的一种：utf8
unicodeString.encode('utf8')

# 二进制编码根据自己的编码种类转化为Unicode
utf8String.decode('utf8')

# 如果二进制编码中混进了奇怪的东西可以根据需求用特殊的decode策略
print(repr('u8字\x00符串'.decode('utf8', 'replace')))

# 接上一段程序

# 如果我们把他们转化成同样的编码方式就可以操作（例如相加）
print(repr(unicodeString + utf8String.decode('utf8')))
print(repr(unicodeString.encode('utf8') + utf8String))

# 但如果不转化，当然就会出现满世界的烤鸭二舅啦
unicodeString + utf8String

# 所以另一方面也发现，编码转换是需要我们告诉程序怎么做的
# 所有`decode`操作都会生成Unicode编码，这是为了方便我之前说的大量接受Unicode的内部命令

#coding=utf8
# 这里拿写入文件举例

# 一般使用Unicode
with open('Unicode.txt', 'w') as f: f.write(u'Unicode测试')

# 或者使用接收二进制编码的命令
with open('Utf8.txt', 'wb') as f: f.write('Utf8测试')

# 你可以反过来做个测试，自然会报错
# 二进制的命令方便了在不知道怎么解码的情况下也能进行操作（写入文件）

python -m pip install chardet

#coding=utf8

from chardet import detect
print(detect('这是一串utf8的测试字符'))

# 结果：`{'confidence': 0.99, 'encoding': 'utf-8'}`

#coding=utf8

# 字符串中混进了\x00
rubbishUtf8String = 'Utf-8字\x00符串'

print(repr(rubbishUtf8String.decode('utf8', 'replace')))

print(repr(rubbishUtf8String.decode('utf8', 'ignore')))

import sys, os

for folder in os.walk('.').next()[1]:
  print(folder.decode(sys.stdin.encoding))

import sys

def sys_print(msg):
  print(msg.encode(sys.stdin.encoding))

def sys_input(msg):
  return raw_input(msg.encode(sys.stdin.encoding)).decode(sys.stdin.encoding)

#coding=utf8
import urllib

with open('Utf8.txt', 'wb') as f: f.write('Utf8测试')

# 比如抓了个网页，不知道编码也可以写入文件进行一系列操作

cOntent= urllib.urlopen('http://www.baidu.com').read()
with open('baidu.txt', 'wb') as f: f.write(content)

#coding=utf8
# 这是普通的Unicode
s = u'测'
for i in s: print(i)
print(repr(s))

# 这是裸Unicode，实际存成了六个Ascii
s = repr(s)[2:-1]
for i in s: print(i)
print(repr(s))

# 转化其实也很简单
s = s.decode('unicode-escape')
for i in s: print(i)
print(repr(s))