flaskjson传输失败_GO小知识之实例演示json如何转化为map和struct

简单谈一些 JSON 数据处理的小知识。近期工作中&＃xff0c;因为要把数据库数据实时更新到 elasticsearch&＃xff0c;在实践过程中遇到了一些 JSON 数据处理的问题。

实时数据

实时数据获取是通过阿里开源的 canal 组件实现的&＃xff0c;并传通过消息队列 kafka 传输给处理程序。我们将接收到的 JSON 数据类似如下的形式。

简单说下数据的逻辑&＃xff0c;type 表示数据库事件是新增、更新还是删除事件&＃xff0c;database 表示对应的数据库名称&＃xff0c;table 表示相应的表名称&＃xff0c;data 即为数据库中数据。

怎么处理这串 JSON 呢&＃xff1f;

json 转化为 map

最先想到的方式就是通过 json.Unmarshal 将 JSON 转化 map[string]interface{}。

示例代码&＃xff1a;

打印结果如下&＃xff1a;

到此&＃xff0c;就成功解析出了数据。接下来是使用它&＃xff0c;但我觉得 map 通常有几个不足。

• 通过 key 获取数据&＃xff0c;可能出现不存在的 key&＃xff0c;为了严谨&＃xff0c;需要检查 key 是否存在&＃xff1b;
• 相对于结构体的方式&＃xff0c;map数据提取不便且不能利用 IDE 补全检查&＃xff0c;key 容易写错&＃xff1b;

针对这个情况&＃xff0c;可以怎么处理呢&＃xff1f;如果能把 JSON 转化为struct 就好了。

json 转化为 struct

在 GO 中&＃xff0c;json 转化为 struct 也非常方便&＃xff0c;只需提前定义好转化的 struct 即可。我们先来定义一下转化的 struct。

说明几点

• 实际场景中&＃xff0c;canal 消息的 data 结构是由表决定的&＃xff0c;在 JSON 成功解析前无法提前知道&＃xff0c;所以这里定义为 map[string]string&＃xff1b;
• 转化的结构体成员必须是可导出的&＃xff0c;所以成员变量名都是大写&＃xff0c;而与 JSON 的映射通过 json:"tagName" 的 tagName 完成。

解析代码非常简单&＃xff0c;如下&＃xff1a;

打印结果&＃xff1a;

接下来&＃xff0c;数据的使用就方便了不少&＃xff0c;比如事件类型获取&＃xff0c;通过 event.Type 即可完成。不过&＃xff0c;要泼盆冷水&＃xff0c;因为 data 还是 []map[string]string 类型&＃xff0c;在使用时&＃xff0c;依然存在前面提到的 map 的问题。

能不能把 map 转化为 struct ?

map 转化为 struct

据我所知&＃xff0c;map 转化为 struct 的功能&＃xff0c;GO 是没有内置的。如果要实现&＃xff0c;需要依赖于 GO 的反射机制。

不过&＃xff0c;幸运的是&＃xff0c;其实已经有人做了这件事&＃xff0c;包名称为 mapstructure&＃xff0c;使用也非常简单&＃xff0c;敲一遍它提供的几个例子就学会了。README 中也说了&＃xff0c;该库主要是遇到必须读取一部分 JSON 才能知道剩余数据结构的场景&＃xff0c;和我的场景如此契合。

安装命令如下&＃xff1a;

开始使用前&＃xff0c;先定义 map 将转化的 struct 结构&＃xff0c;即 blog 结构体&＃xff0c;如下&＃xff1a;

因为&＃xff0c;接下来要用的是 mapstructure 包&＃xff0c;所以 struct tag 标识不再是 json&＃xff0c;而是 mapstructure。

示例代码如下&＃xff1a;

event 的解析和前面的一样&＃xff0c;通过 e.Table 判断是是否来自 blog 表的数据&＃xff0c;如果是&＃xff0c;使用 Blog 结构体解析。接下来通过 mapstructure 的 Decode 完成解析。

打印结果如下&＃xff1a;

到此&＃xff0c;似乎已经完成了所有工作。非也&＃xff01;

弱类型解析

不知道大家有没有发现一个问题&＃xff0c;那就是 Blog 结构体中的所有成员都是 string&＃xff0c;这应该是 canal 做的事情&＃xff0c;所有的值类型都是 string。但实际上 blog 表中的 uid 和 state 字段其实都是 int。

理想的结构体定义应该是下面这样。

但是当把新的 Blog 类型代入之前的代码&＃xff0c;会报如下错误。

提示类型解析失败。其实&＃xff0c;这种形式的 json 在其他一些弱类型语言中也会出现。

那如何解决这个问题&＃xff1f;提两种解决方案

• 使用时进行转化&＃xff0c;比如类型为 int 的数据&＃xff0c;使用时可以用 strconv.Atoi 转化。
• 使用 mapstructure 提供的软类型 map 转化 struct 的功能&＃xff1b;

显然&＃xff0c;第一种方式太 low&＃xff0c;转化的时候还要多一步错误检查。那第二种方式如何呢&＃xff1f;

来看示例代码&＃xff0c;如下&＃xff1a;

其实只需要把 mapstructure 的 Decode 替换成 WeakDecode 就行了&＃xff0c;字如其意&＃xff0c;若解析。如此easy。

到此&＃xff0c;才算完成&＃xff01;接下来的数据处理就简单很多了。如果想学习 mapstructure 的使用&＃xff0c;敲敲源码中例子应该差不多了。