实现golang将mysql结果集转换成json的通用方法的正确姿势

写在开头

最近在做elasticsearch相关的开发&＃xff0c;有这么一个需求&＃xff0c;需要将mysql指定表的数据导入到elasticsearch的索引中&＃xff0c;这个需求似乎比较容易&＃xff0c;大致思路就是从遍历表中的每一行数据&＃xff0c;转换成json&＃xff0c;然后通过es的api接口提交到es中。

这个似乎是一个比较简单需求&＃xff0c;只是有一点这是一个通用的操作&＃xff0c;程序不需要关心遥操作的是什么样的表&＃xff0c;包含哪些字段等等。

第一版

stackoverflow上已经有了一个比较好的解决方案&＃xff1a;
这里只使用了 go-sql-driver/mysql

func getJSON(sqlString string) (string, error) {rows, err :&＃61; db.Query(sqlString)if err !&＃61; nil {return "", err}defer rows.Close()columns, err :&＃61; rows.Columns()if err !&＃61; nil {return "", err}count :&＃61; len(columns)tableData :&＃61; make([]map[string]interface{}, 0)values :&＃61; make([]interface{}, count)valuePtrs :&＃61; make([]interface{}, count)for rows.Next() {for i :&＃61; 0; i }

代码出自 Dumping MySQL tables to JSON with Golang

第二版

这段代码基本是可以满足需求了&＃xff0c;但似乎有一个问题&＃xff0c;那就是字段对应的字段的类型并没有保留&＃xff0c;全都变成了字符串类型&＃xff0c;这里找到了一个比较可行的解决方案&＃xff1a;

在这个mysql driver的github里有这么个issue&＃xff0c;Returned values are always []byte

That&＃39;s a specialty of MySQL: you have to use prepared statements to get the native types. MySQL has two protocols, one transmits everything as text, the other as the "real" type. And that binary protocol is only used when you use prepared statements. The driver is pretty much powerless to enforce a protocol and the text protocol takes less resources on the server.

This may help you:

stmt, err :&＃61; db.Prepare(sqlString)
if err !&＃61; nil { ...... }
defer stmt.Close()
rows, err :&＃61; stmt.Query()

这个描述比较清楚了&＃xff0c;按照这个逻辑&＃xff0c;我把代码修改成了如下形式:

query :&＃61; fmt.Sprintf("%s LIMIT %d OFFSET %d", handler.querySQL, limit, offset)stmt, err :&＃61; db.Prepare(query)if err !&＃61; nil {panic(err.Error())}defer stmt.Close()rows, err :&＃61; stmt.Query()if err !&＃61; nil {panic(err.Error())}defer rows.Close()columns, err :&＃61; rows.Columns()if err !&＃61; nil {panic(err.Error())}count :&＃61; len(columns)values :&＃61; make([]interface{}, count)scanArgs :&＃61; make([]interface{}, count)for i :&＃61; range values {scanArgs[i] &＃61; &values[i]}for rows.Next() {err :&＃61; rows.Scan(scanArgs...)if err !&＃61; nil {log.Fatalf("Sacn data error: %s", err.Error())continue}entry :&＃61; make(map[string]interface{})for i, col :&＃61; range columns {v :&＃61; values[i]b, ok :&＃61; v.([]byte)if ok {entry[col] &＃61; string(b)} else {entry[col] &＃61; v}}// 序列化数据b, err :&＃61; json.Marshal(entry)if err !&＃61; nil {log.Fatal(err.Error())continue}handler.docChan <- &document{// 这里取表中的第一个字段计算文档idID: handler.FormatDocumentID(handler.dbName, handler.table, entry[columns[0]]),Data: b,}}

测试来看&＃xff0c;似乎只是解决了部分类型问题&＃xff0c;整形的数据类型可以被保留下来&＃xff0c;但是似乎浮点型字段还是字符串&＃xff0c;还在继续探索中。