热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【原创】通俗易懂地解决中文乱码问题(2)分析解决Mysql插入移动端表情符报错‘incorrectstringvalue:'\xF0......

这篇blog重点在解决问题,如果你对字符编码并不是特别了解,建议先看看《【原创】通俗易懂地解决中文乱码问题(1)---跨平台

这篇blog重点在解决问题,如果你对字符编码并不是特别了解,建议先看看 【原创】通俗易懂地解决中文乱码问题(1) --- 跨平台乱码

当然,如果只是针对解决这个Mysql插入报错问题,本篇足够了。

 

一、定位错误

 

定位错误绝对是至关重要的一环。我建议遇到问题耐心分析一下比较好,毕竟“不是所有的牛奶都叫特仑苏”。

引起同一个问题的可能有很多,别人的解决方案也许并不适合自己。

那先看看问题出现在哪了,报错如下:

发现的确是编码错误, 16进制的错误提示(\xF0\x9F\x94\xA5\xE5\x8C...)虽然说的比较清楚了但是看看这个字段值是什么也无妨。

看看此时‘event_title’是什么鬼东西,如下:

原来是有一个特殊字符'?‘。这个字符的来源是移动端,现在大家聊天不加个表情卖萌还能不能做朋友了?所以移动端大量的新兴字符确实对数据库有了更高的要求。

 

那么再一探究竟,看看这个字符的二进制是什么?如下(第一行):

到这我们基本可以定位这个问题的原因了

1、这个字符占用三个字节。

2、根据上一篇对UTF-8编码方式的介绍,我们知道对于UTF-8三个字节的编码,其格式是 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz。但是这个特殊字符低8位竟然是1111,显然不符合utf-8编码规则,所以mysql不支持写入。(其实这和最开始的错误提示是一致的)

 

二、解决问题

 

问题定位了那么就该想办法解决了,目前无非两条路可选。

1、哎您厉害我怕了还不成吗,所以烦劳您别入库了。因此对应的解决办法就是入库前把错乱字符删除。

2、擦老子武功天下第一,必须见一对拆一对。因此对于的办法就是找找看哪个Mysql的版本能支持了,更新下Mysql的版本。

生活可以任性,但是选择还是需要认真的。所以根据自己实际情况进行选择。但一般选择2的比较少,更新数据库版本的确是个牵扯比较多的问题。

 

解决办法:

对于1解决办法太多了,见仁见智了。我选择用正则表达式来处理这个问题,因为毕竟也不仅仅是这一个字符。

针对我自己的情况我使用的是 "[^,。!《》]&\\pP|\\pZ|\\pS" 这个正则匹配。

 

对于2,我查了下资料发现Mysql 5.6及以上版本扩大了UTF-8的支持力度,并且添加了utf8mb4设置项在相应字段上(感谢幻元素的提醒,担心误导其他人),不过通过我的实验并没有解决这个问题

也许需要在相应字段加上 utf8_general_ci 这项设置。不过这项设置我没有进行测试,如果大家发现Mysql哪个版本和配置能解决这个问题了烦劳留个言哇~

文章最后有这个选项(utf8_general_ci)的一点说明。

 

 

附:utf8_unicode_ci和utf8_general_ci区别(引自wiki)

在数据库系统MySQL中 有多种字符集,其中utf8_unicode_ci和utf8_general_ci是最常用的,但是utf8_general_ci对某些语言的支持有一些小问题,如果可以接受,那最好使用utf8_general_ci,因为它速度快。否则,请使用较为精确的utf8_unicode_ci,不过速度 会慢一些。

 

转载请注明出处,谢谢~   http://www.cnblogs.com/xiaoboCSer/p/4175861.html

 

转:https://www.cnblogs.com/xiaoboCSer/p/4175861.html



推荐阅读
  • 微软头条实习生分享深度学习自学指南
    本文介绍了一位微软头条实习生自学深度学习的经验分享,包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性,并提供了一些建议。 ... [详细]
  • 原文地址:https:www.cnblogs.combaoyipSpringBoot_YML.html1.在springboot中,有两种配置文件,一种 ... [详细]
  • 知识图谱——机器大脑中的知识库
    本文介绍了知识图谱在机器大脑中的应用,以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例,说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案,如搜索关键词"Marie Curie",会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革,不仅美国的微软必应,中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]
  • 本文详细介绍了MySQL表分区的创建、增加和删除方法,包括查看分区数据量和全库数据量的方法。欢迎大家阅读并给予点评。 ... [详细]
  • PHPMailer邮件类邮件发送功能的使用教学及注意事项
    本文介绍了使用国外开源码PHPMailer邮件类实现邮件发送功能的简单教学,同时提供了一些注意事项。文章涵盖了字符集设置、发送HTML格式邮件、群发邮件以及避免类的重定义等方面的内容。此外,还提供了一些与PHP相关的资源和服务,如传奇手游游戏源码下载、vscode字体调整、数据恢复、Ubuntu实验环境搭建、北京爬虫市场、进阶PHP和SEO人员需注意的内容。 ... [详细]
  • 本文介绍了南邮ctf-web的writeup,包括签到题和md5 collision。在CTF比赛和渗透测试中,可以通过查看源代码、代码注释、页面隐藏元素、超链接和HTTP响应头部来寻找flag或提示信息。利用PHP弱类型,可以发现md5('QNKCDZO')='0e830400451993494058024219903391'和md5('240610708')='0e462097431906509019562988736854'。 ... [详细]
  • 开发笔记:Java是如何读取和写入浏览器Cookies的
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Java是如何读取和写入浏览器Cookies的相关的知识,希望对你有一定的参考价值。首先我 ... [详细]
  • EPICS Archiver Appliance存储waveform记录的尝试及资源需求分析
    本文介绍了EPICS Archiver Appliance存储waveform记录的尝试过程,并分析了其所需的资源容量。通过解决错误提示和调整内存大小,成功存储了波形数据。然后,讨论了储存环逐束团信号的意义,以及通过记录多圈的束团信号进行参数分析的可能性。波形数据的存储需求巨大,每天需要近250G,一年需要90T。然而,储存环逐束团信号具有重要意义,可以揭示出每个束团的纵向振荡频率和模式。 ... [详细]
  • 本文讨论了Alink回归预测的不完善问题,指出目前主要针对Python做案例,对其他语言支持不足。同时介绍了pom.xml文件的基本结构和使用方法,以及Maven的相关知识。最后,对Alink回归预测的未来发展提出了期待。 ... [详细]
  • Oracle Database 10g许可授予信息及高级功能详解
    本文介绍了Oracle Database 10g许可授予信息及其中的高级功能,包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明,指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 数据库(外键及其约束理解)(https:www.cnblogs.comchenxiaoheip6909318.html)My ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • yum安装_Redis —yum安装全过程
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Redis—yum安装全过程相关的知识,希望对你有一定的参考价值。访问https://redi ... [详细]
  • 解决VS写C#项目导入MySQL数据源报错“You have a usable connection already”问题的正确方法
    本文介绍了在VS写C#项目导入MySQL数据源时出现报错“You have a usable connection already”的问题,并给出了正确的解决方法。详细描述了问题的出现情况和报错信息,并提供了解决该问题的步骤和注意事项。 ... [详细]
author-avatar
beijing750
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有