首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

包含utf8字符的pickle转json的大坑处理过程

作者：wangtao | 来源：互联网 | 2023-10-14 17:17
背景：希望将pickle转换为json，由于pickle里有utf8的字符，因此转换失败。转换代码如下：Convertap

背景&＃xff1a;希望将pickle转换为json&＃xff0c;由于pickle里有utf8的字符&＃xff0c;因此转换失败。

转换代码如下&＃xff1a;

&＃39;&＃39;&＃39;
Convert a pkl file into json file
&＃39;&＃39;&＃39;
import sys
import os
import pickle
import jsondef convert_dict_to_json(file_path):with open(file_path, &＃39;rb&＃39;) as fpkl, open(&＃39;%s.json&＃39; % file_path, &＃39;w&＃39;) as fjson:data &＃61; pickle.load(fpkl)json.dump(data, fjson, ensure_ascii&＃61;False, sort_keys&＃61;True, indent&＃61;4)def main():if sys.argv[1] and os.path.isfile(sys.argv[1]):file_path &＃61; sys.argv[1]print("Processing %s ..." % file_path)convert_dict_to_json(file_path)else:print("Usage: %s abs_file_path" % (__file__))if __name__ &＃61;&＃61; &＃39;__main__&＃39;:main()

修正后的代码&＃xff1a;因为pickle自身是latin编码&＃xff0c;需要转换为utf8再给json编码。

# -*- coding: utf-8 -*-&＃39;&＃39;&＃39;
Convert a pkl file into json file
&＃39;&＃39;&＃39;
import sys
import os
import pickle
import json
import iodef convert_dict_to_json(file_path):out_file &＃61; "vocab_dict.json"with open(file_path, &＃39;rb&＃39;) as fpkl, io.open(out_file, &＃39;w&＃39;, encoding&＃61;&＃39;utf8&＃39;) as fjson:data &＃61; pickle.load(fpkl)out_data &＃61; data["valid_chars"]out_data["__MAX_DOC_LEN__"] &＃61; data["max_len"]out_data["__VOLCAB_SIZE__"] &＃61; data["volcab_size"]out &＃61; {}for k,v in out_data.items():#print k.decode("latin1").encode("utf8")out[k.decode("latin1").encode("utf8")] &＃61; vdata &＃61; json.dumps(out, ensure_ascii&＃61;False, encoding&＃61;"utf8", sort_keys&＃61;True, indent&＃61;4)fjson.write(data)def main():if sys.argv[1] and os.path.isfile(sys.argv[1]):file_path &＃61; sys.argv[1]print("Processing %s ..." % file_path)convert_dict_to_json(file_path)else:print("Usage: %s abs_file_path" % (__file__))

 

尤其注意&＃xff1a;

python2的json是无法处理&＃xff0c;包含utf8和unicode两种编码的&＃xff01;比如仅仅包含unicode的可以处理很好&＃xff1a;

# -*- coding: utf-8 -*-import json
from codecs import openo &＃61; { &＃39;text&＃39;: u&＃39;木村&＃39; }with open(&＃39;foo.json&＃39;, &＃39;w&＃39;, encoding&＃61; &＃39;utf-8&＃39;) as fp:json.dump(o, fp, ensure_ascii&＃61; False)with open(&＃39;foo.json&＃39;, &＃39;r&＃39;, encoding&＃61; &＃39;utf-8&＃39;) as fp:
print json.load(fp)[&＃39;text&＃39;].encode(&＃39;utf-8&＃39;)

但是&＃xff1a;

o &＃61; { &＃39;text&＃39;: u&＃39;木村&＃39;, &＃39;text2&＃39;: &＃39;再加一个utf8的python json就熄火了&＃xff0c;会有编码错误异常。。。&＃39; }

具体见下文&＃xff1a;

python2 json的大坑

转自&＃xff1a;https://superxiaoxiong.github.io/2016/10/07/python-json/

介绍一下背景

最近项目中有一个接口&＃xff0c;是通过redis队列做的。我将对方需要的数据通过json 字符串的形式&＃xff0c;push到redis list队列中&＃xff0c;对方监听并消费(题外话, 我对这种形式的交互有点看法吧&＃xff0c;双方既然是接口&＃xff0c;但是很难保证格式的统一&＃xff0c;比使用rpc框架强验证风险大的多)。

由于对端也是用python做的消费者&＃xff0c;所以也是相安无事。随着一个需求的变更&＃xff0c;我在自己调试pop的数据发现&＃xff0c;我写的json字符串是&＃xff0c;酱事儿的:

1
{"title": "\\u6211\\u7231\\u5317\\u4eac\\u5929\\u5b89\\u95e8"}

当时我就懵逼了&＃xff0c;这是什么鬼…
很显然这个是unicode字符串嘛&＃xff0c;但是我明明就编码成了UTF8啦&＃xff0c;怎么最后是这个鬼样子&＃xff0c;更奇怪的是对方能正确解码吗&＃xff1f;这明明是四不像啊。

我试着自己重现了整个过程。
首先&＃xff0c;我将utf8形式的字符串 我爱北京天安门 dumps成json:

1
2
In [10]: json.dumps({"title":"我爱北京天安门"})
Out[10]: &＃39;{"title": "\\u6211\\u7231\\u5317\\u4eac\\u5929\\u5b89\\u95e8"}&＃39;

果然&＃xff0c;确实变成了这个样子&＃xff0c;看来是json库搞得鬼。
先不管他&＃xff0c;看看这个结果load出来什么样子&＃xff1a;

1
2
In [9]: json.loads(&＃39;{"title": "\\u6211\\u7231\\u5317\\u4eac\\u5929\\u5b89\\u95e8"}&＃39;)
Out[9]: {u&＃39;title&＃39;: u&＃39;\u6211\u7231\u5317\u4eac\u5929\u5b89\u95e8&＃39;}

确实load没问题&＃xff0c;但是可以看到&＃xff0c;最后的结果和我当时dumps的出入蛮大的&＃xff0c;由原来的utf8 str形式&＃xff0c;变为了unicode形式&＃xff0c;就连字典的key也都是unicode了。

好吧&＃xff0c;所以现在就有了两个问题。

  • 为什么utf8字符串, json dumps后不是原来形式?
  • 为什么loads回来的数据全是unicode形式&＃xff1f;

为什么utf8字符串, json dumps后不是原来形式?

看下官方文档&＃xff1a;
python encode
json.dumps方法做的就是将python数据格式按照上图的映射方式转换为json格式。Python str和unicode都可以转换成json 的string形式&＃xff0c;我们知道str和unicode差别很大啊&＃xff0c;如果一个python字典中&＃xff0c;同时有str和unicode的时候&＃xff0c;json dump怎么处理呢&＃xff1f;试一下&＃xff1a;

1
2
In [12]: json.dumps({"title_str":"我爱北京天安门", "title_unicode":u"我爱北京天安门"})
Out[12]: &＃39;{"title_unicode": "\\u6211\\u7231\\u5317\\u4eac\\u5929\\u5b89\\u95e8", "title_str": "\\u6211\\u7231\\u5317\\u4eac\\u5929\\u5b89\\u95e8"}&＃39;

没有异常&＃xff0c;并且都是最后按照unicode的方式统一处理的。看来python是先将str decode为unicode&＃xff0c;然后再用unicode进行编码的。

这样本来无可厚非&＃xff0c;自己统一好编码格式就行了&＃xff0c;loads的时候按照编码的方式&＃xff0c;反过来解码。但是问题是&＃xff0c;和我们进行交互的人未必也用的python啊&＃xff0c;当他用其他的语言对json解码的时候&＃xff0c;还原回来就是一堆乱码了&＃xff0c;我们能不能让json库&＃xff0c;确实编码成utf8形式呢&＃xff1f;

官方文档如是说&＃xff1a;

If ensure_ascii is True (the default), all non-ASCII characters in the output are escaped with \uXXXX sequences, and the results are str instances consisting of ASCII characters only. If ensure_ascii is False, a result may be a unicode instance. This usually happens if the input contains unicode strings or the encoding parameter is used.

看来是 ensure_ascii 参数为 True 的时候&＃xff0c;确保了所有非ASCII字符都转义成 \uXXXX 的ASCII序列。
如果我们设置为False&＃xff0c;就可以还原本来面目了吗&＃xff1f;试试&＃xff1a;

1
2
In [14]: json.dumps({"title_str":"我爱北京天安门"}, ensure_ascii&＃61;False)
Out[14]: &＃39;{"title_str": "\xe6\x88\x91\xe7\x88\xb1\xe5\x8c\x97\xe4\xba\xac\xe5\xa4\xa9\xe5\xae\x89\xe9\x97\xa8"}&＃39;

果然哦&＃xff0c;我们干脆看看python json库源码怎么实现的吧, 主要就是下列这个判断

1
2
3
4
200 if self.ensure_ascii:
201 return encode_basestring_ascii(o) # 先将字符串根据encoding参数的编码统一转化为unicode&＃xff0c;然后连接字符串
202 else:
203 return encode_basestring(o) # 直接连接字符串

既然ensure_ascii &＃61; False时, 没有做类型的转换&＃xff0c;所以我们原来是什么&＃xff0c;编码后就是什么。但这带来了以下副作用:

  • 如果我们要转换的python数据类型&＃xff0c;如果既包含str又包含unicode&＃xff0c;在连接字符串的时候肯定会抛出编码异常

    1
    2
    In [13]: json.dumps({"title_str":"我爱北京天安门", "title_unicode":u"我爱北京天安门"}, ensure_ascii&＃61;False)
    "UnicodeDecodeError: &＃39;ascii&＃39; codec can&＃39;t decode byte 0xe6 in position 1: ordinal not in range(128)"

  • 如果全部都是unicode进行字符串连接&＃xff0c;返回值也是unicode

    1
    2
    In [3]: json.dumps({"title_str":u"我爱北京天安门", "title":u"我爱世界"}, ensure_ascii&＃61;False)
    Out[3]: u&＃39;{"title": "\u6211\u7231\u4e16\u754c", "title_str": "\u6211\u7231\u5317\u4eac\u5929\u5b89\u95e8"}&＃39;

  • 如果全部都是str进行字符串连接&＃xff0c;返回值也是str

    1
    2
    In [2]: json.dumps({"title_str":"我爱北京天安门", "title":"我爱世界"}, ensure_ascii&＃61;False)
    Out[2]: &＃39;{"title": "\xe6\x88\x91\xe7\x88\xb1\xe4\xb8\x96\xe7\x95\x8c", "title_str": "\xe6\x88\x91\xe7\x88\xb1\xe5\x8c\x97\xe4\xba\xac\xe5\xa4\xa9\xe5\xae\x89\xe9\x97\xa8"}&＃39;

为了能将json字符串通用的和其他语言交换&＃xff0c;我们不得不保证&＃xff0c;原始python数据类型必须是统一的。要么全是UTF8的str类型&＃xff0c;要么全部是unicode&＃xff0c;最后在encode为utf8, 否则就会有异常 这个也是动态类型要付出的代价吧。

为什么loads回来的数据全是unicode形式&＃xff1f;

看下官方文档&＃xff1a;
python decode
与dumps相反, json.loads 方法做的就是将json数据格式按照上图的映射方式转换为python类型。我们可以看json string 转换回来只有一种格式&＃xff0c;那就是unicode&＃xff0c;这样就能解释我们看到的现象了&＃xff0c;就连dict key都是unicode的。

好麻烦啊&＃xff0c;怎么根本的解决这个问题呢&＃xff1f;

答&＃xff1a; 使用python3


转载于:https://www.cnblogs.com/bonelee/p/8472522.html


推荐阅读
  • python

    模板引擎StringTemplate的使用方法和特点

    模板引擎StringTemplate的使用方法和特点
    本文介绍了模板引擎StringTemplate的使用方法和特点，包括强制Model和View的分离、Lazy-Evaluation、Recursive enable等。同时，还介绍了StringTemplate语法中的属性和普通字符的使用方法，并提供了向模板填充属性的示例代码。 ... [详细]
  • include

    x86 linux的进程调度,x86体系结构下Linux2.6.26的进程调度和切换

    x86 linux的进程调度,x86体系结构下Linux2.6.26的进程调度和切换
    进程调度相关数据结构task_structtask_struct是进程在内核中对应的数据结构，它标识了进程的状态等各项信息。其中有一项thread_struct结构的 ... [详细]
  • python

    向QTextEdit拖放文件的方法及实现步骤

    向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能，包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数，并结合QMimeData和QUrl等类，可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • char

    计算机存储系统的层次结构及其优势

    计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构，包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体，形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低，使得整体存储系统的平均价格降低。同时，高速缓存的存取速度可以和CPU的工作速度相匹配，进一步提高程序执行效率。 ... [详细]
  • list

    006_Redis的List数据类型

    006_Redis的List数据类型
    1.List类型是一个链表结构的集合,主要功能有push,pop,获取元素等。List类型是一个双端链表的结构,我们可以通过相关操作进行集合的头部或者尾部添加删除元素,List的设 ... [详细]
  • list

    Android工程师面试准备及设计模式使用场景

    Android工程师面试准备及设计模式使用场景
    本文介绍了Android工程师面试准备的经验，包括面试流程和重点准备内容。同时，还介绍了建造者模式的使用场景，以及在Android开发中的具体应用。 ... [详细]
  • char

    STL迭代器的种类及其功能介绍

    STL迭代器的种类及其功能介绍
    本文介绍了标准模板库(STL)定义的五种迭代器的种类和功能。通过图表展示了这几种迭代器之间的关系，并详细描述了各个迭代器的功能和使用方法。其中，输入迭代器用于从容器中读取元素，输出迭代器用于向容器中写入元素，正向迭代器是输入迭代器和输出迭代器的组合。本文的目的是帮助读者更好地理解STL迭代器的使用方法和特点。 ... [详细]
  • include

    C++ STL复习（13）容器适配器

    C++ STL复习（13）容器适配器
    STL提供了3种容器适配器，分别为stack栈适配器、queue队列适配器以及priority_queue优先权队列适配器。不同场景下，由于不同的序列式 ... [详细]
  • python

    学习SLAM的女生，很酷

    学习SLAM的女生，很酷
    本文介绍了学习SLAM的女生的故事，她们选择SLAM作为研究方向，面临各种学习挑战，但坚持不懈，最终获得成功。文章鼓励未来想走科研道路的女生勇敢追求自己的梦想，同时提到了一位正在英国攻读硕士学位的女生与SLAM结缘的经历。 ... [详细]
  • list

    C#学习教程：在Console中工作但在Windows窗体中不工作的异步代码分享

    本文分享了一个关于在C#中使用异步代码的问题，作者在控制台中运行时代码正常工作，但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机，但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]
  • byte

    Redis底层数据结构之压缩列表的介绍及实现原理

    Redis底层数据结构之压缩列表的介绍及实现原理
    本文介绍了Redis底层数据结构之压缩列表的概念、实现原理以及使用场景。压缩列表是Redis为了节约内存而开发的一种顺序数据结构，由特殊编码的连续内存块组成。文章详细解释了压缩列表的构成和各个属性的含义，以及如何通过指针来计算表尾节点的地址。压缩列表适用于列表键和哈希键中只包含少量小整数值和短字符串的情况。通过使用压缩列表，可以有效减少内存占用，提升Redis的性能。 ... [详细]
  • char

    李逍遥寻找仙药的迷阵之旅

    李逍遥寻找仙药的迷阵之旅
    本文讲述了少年李逍遥为了救治婶婶的病情，前往仙灵岛寻找仙药的故事。他需要穿越一个由M×N个方格组成的迷阵，有些方格内有怪物，有些方格是安全的。李逍遥需要避开有怪物的方格，并经过最少的方格，找到仙药。在寻找的过程中，他还会遇到神秘人物。本文提供了一个迷阵样例及李逍遥找到仙药的路线。 ... [详细]
  • include

    linux进阶50——无锁CAS

    linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap，CAS)，是原⼦操作的⼀种，可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • list

    广度优先遍历（BFS）算法的概述、代码实现和应用

    广度优先遍历（BFS）算法的概述、代码实现和应用
    本文介绍了广度优先遍历（BFS）算法的概述、邻接矩阵和邻接表的代码实现，并讨论了BFS在求解最短路径或最短步数问题上的应用。以LeetCode中的934.最短的桥为例，详细阐述了BFS的具体思路和代码实现。最后，推荐了一些相关的BFS算法题目供大家练习。 ... [详细]
  • python

    angular.element使用方法及总结

    angular.element使用方法及总结
    2019独角兽企业重金招聘Python工程师标准在线查询：http:each.sinaapp.comangularapielement.html使用方法 ... [详细]
author-avatar
wangtao
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有