docker - python3 字符串,字节流的编码问题

 mobiledu2502870743 发布于 2022-11-05 03:44

正在做网页爬虫,得到许多注入下列变量code的字符,想尝试将他们转换为utf-8的string输出到文件里,转换不成功,问题如下。

#Python 3.4.0
#coding:utf-8
import os

code = '\xe8\xb1\x86\xe7\x93\xa3'

bytes = code.encode(encoding='utf-8')

douban = str(bytes.decode('utf-8'))

#print(str(bytes.decode('utf-8')))

file_object = open('test.txt', 'w')
file_object.write(douban)
file_object.close()
3 个回答
  • lz爬的是豆瓣吗?豆瓣用的就是utf-8

    <meta charset="UTF-8">
    

    我原来也爬过,豆瓣用的是UTF-8 根本也不用转啊

    本人用的2.7

    2022-11-12 01:52 回答
  • 已经是utf-8了编码一次又解码一次做了跟没做有什么区别?

    #coding:utf-8
    import os
    
    code = b'\xe8\xb1\x86\xe7\x93\xa3'
    code = code.decode('utf-8')
    file_object = open('test.txt', 'w', encoding="utf-8")
    file_object.write(code)
    file_object.close()
    
    2022-11-12 01:52 回答
  • 首先,我觉得你需要认识这么几个概念:
    1. unicode:在本文中表示用4byte表示的unicode编码,也是python内部使用的字符串编码方式。
    2. utf-8:在本文中只最少1byte表示的unicode编码方式。

    其次,你需要知道decode和encode之间的关系。

    1. encode: 从unicode编码为指定编码方式。

      例如:string.encode("utf-8")。表示stringunicode编码方式编码为utf-8编码方式。
      前提:string必须是unicode的编码方式,不然会出错。

    2. decode:从指定编码方式解码为unicode方式。

      例如:string.decode("utf-8")。表示stringutf-8编码方式解码为unicode编码方式。
      前提:string必须是utf-8(你指定的编码方式),不然会出错。

    可以看出,在python中,所有格式的中间编码方式就是unicode,需要从编码A转换为编码B,只需要string.decode("A").encode("B")就可以了。

    有了上面的知识储备再回到你的问题。

    你的code = '\xe8\xb1\x86\xe7\x93\xa3'根据我的经验看起来就是utf-8的编码方式(因为我看到的utf-8编码都是\xFF这种样式,但是我不确定这两者之间的绝对关系),所以这块应该使用u_code = code.decode("utf-8")来使得code解码为unicode,再将其编码为你需要的编码方式(例如gb18030)。

    而,你的需求中写到,你希望写入文件的是utf-8的编码格式,所以你可以直接file_object.write(code)。这样你文件中的内容就是utf-8编码的。

    如果你拿到一个字符串,你不知道他的编码方式,可以试试chardet,他会给出字符串的编码格式,和信赖度。可以作为你的参考。

    文中有任何问题请联系我,欢迎指出问题。

    2022-11-12 01:52 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有