这是经典的"unicode问题".我相信解释这一点超出了StackOverflow答案的范围,可以完全解释发生的事情.

这里有很好的解释.

在非常简短的总结中,您已经将一些被解释为字节串的东西传递给需要将其解码为Unicode字符的东西,但是默认的编解码器(ascii)失败了.

我指出的演示文稿提供了避免这种情况的建议.使您的代码成为"unicode三明治".在Python 2中,使用"from __future__ import unicode_literals"会有所帮助.

更新:如何修复代码:

好的 - 在变量"source"中你有一些字节.从你的问题不清楚他们是如何进入那里的 - 也许你是从网络表格中读到的？在任何情况下,它们都不是用ascii编码的,但python试图将它们转换为unicode,假设它们是.您需要明确告诉它编码是什么.这意味着您需要知道编码是什么!这并不总是容易的,它完全取决于这个字符串的来源.您可以尝试一些常见的编码 - 例如UTF-8.你告诉unicode()编码作为第二个参数:

source = unicode(source, 'utf-8')

在某些情况下,当您检查默认编码(print sys.getdefaultencoding())时,它会返回您使用的ASCII.如果更改为UTF-8,则它不起作用,具体取决于变量的内容.我找到了另一种方式:

import sys
reload(sys)  
sys.setdefaultencoding('Cp1252')

终于我明白了:

as3:/usr/local/lib/python2.7/site-packages# cat sitecustomize.py
# encoding=utf8  
import sys  

reload(sys)  
sys.setdefaultencoding('utf8')

我来看看:

as3:~/ngokevin-site# python
Python 2.7.6 (default, Dec  6 2013, 14:49:02)
[GCC 4.4.5] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> reload(sys)
<module 'sys' (built-in)>
>>> sys.getdefaultencoding()
'utf8'
>>>

上面显示了python的默认编码是utf8.然后错误就不复存在了.

Encode将unicode对象转换为字符串对象.我想你正在尝试编码一个字符串对象.首先将结果转换为unicode对象,然后将该unicode对象编码为'utf-8'.例如

    result = yourFunction()
    result.decode().encode('utf-8')

"UnicodeDecodeError: 'ascii' codec can't decode byte"

导致此错误的原因:input_string必须是unicode但是给出了str

"TypeError: Decoding Unicode is not supported"

此错误的原因:尝试将unicode input_string转换为unicode

因此,首先检查您的input_string str是否必要,并在必要时转换为unicode:

if isinstance(input_string, str):
   input_string = unicode(input_string, 'utf-8')

其次,上面只是更改类型但不删除非ascii字符.如果要删除非ascii字符:

if isinstance(input_string, str):
   input_string = input_string.decode('ascii', 'ignore').encode('ascii') #note: this removes the character and encodes back to string.

elif isinstance(input_string, unicode):
   input_string = input_string.encode('ascii', 'ignore')

不要使用流行的答案(reload)

这是一个讨厌的黑客(你必须使用的原因UnicodeDecodeError: 'ascii' codec can't decode byte)只会掩盖问题并阻碍你迁移到Python 3.x. 了解问题,修复根本原因并享受Unicode zen.请参阅为什么我们不应该在py脚本中使用sys.setdefaultencoding("utf-8")？了解更多详情

tl; dr /快速修复

不要随便解码/编码

不要假设您的字符串是UTF-8编码的

尝试在代码中尽快将字符串转换为Unicode字符串

Python 2.x中的Unicode Zen - 长版本

如果没有看到来源,就很难知道根本原因,所以我不得不一般地说.

str当您尝试将unicode()包含非ASCII 的Python 2.x转换为Unicode字符串而不指定原始字符串的编码时,通常会发生这种情况.

简而言之,Unicode字符串是完全独立的Python字符串类型,不包含任何编码.它们只保存Unicode 点代码,因此可以保存整个频谱中的任何Unicode点.字符串包含编码文本,beit UTF-8,UTF-16,ISO-8895-1,GBK,Big5等.字符串被解码为Unicode,而Unicodes被编码为字符串.文件和文本数据始终以编码字符串传输.

Markdown模块作者可能会使用u(抛出异常的地方)作为代码其余部分的质量门 - 它将转换ASCII或将现有的Unicodes字符串重新包装为新的Unicode字符串.Markdown作者无法知道传入字符串的编码,因此在传递给Markdown之前,您将依赖于将字符串解码为Unicode字符串.

可以使用str字符串前缀在代码中声明Unicode 字符串.例如

>>> my_u = u'my ünicôdé str?ng'
>>> type(my_u)
<type 'unicode'>

Unicode字符串也可能来自文件,数据库和网络模块.发生这种情况时,您无需担心编码.

陷阱

unicode()即使您没有显式调用,也可能会发生从Unicode 转换UnicodeDecodeError.

以下方案会导致café异常:

# Explicit conversion without encoding
unicode('€')

# New style format string into Unicode string
# Python will try to convert value string to Unicode first
u"The currency is: {}".format('€')

# Old style format string into Unicode string
# Python will try to convert value string to Unicode first
u'The currency is: %s' % '€'

# Append string to Unicode
# Python will try to convert string to Unicode first
u'The currency is: ' + '€'         

u'Zürich'

# encoding: utf-8

import io
with io.open("my_utf8_file.txt", "r", encoding="utf-8") as my_file:
     my_unicode_string = my_file.read() 

from backports import csv
import io
with io.open("my_utf8_file.txt", "r", encoding="utf-8") as my_file:
    for row in csv.reader(my_file):
        yield row

charset='utf8',
use_unicode=True

>>> db = MySQLdb.connect(host="localhost", user='root', passwd='passwd', db='sandbox', use_unicode=True, charset="utf8")

psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
psycopg2.extensions.register_type(psycopg2.extensions.UNICODEARRAY)