手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

MySQL设置utf8mb4编码

[日期:2014-07-16] 来源:Linux社区  作者:壹頁書 [字体: ]

有一个项目需要存储ios的表情(emoji表情)
这种表情虽然是utf8编码,但是一个字符需要占用4个字节,而MySQL utf8编码只能存放3字节的字符。
在MySQL 5.6中,可以设置编码为utf8mb4,这个字符集是utf8的超集。

实验环境
MySQL 5.6.14
JDBC 5.1.31
测试表 create table test( content varchar(50) )engine=innodb,charset=utf8mb4;
测试程序:

import Java.io.IOException;

import java.net.URLDecoder;

import java.net.URLEncoder;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

 

import javax.servlet.ServletException;

import javax.servlet.annotation.WebServlet;

import javax.servlet.http.HttpServlet;

import javax.servlet.http.HttpServletRequest;

import javax.servlet.http.HttpServletResponse;

 

/**

* Servlet implementation class CharsetTest

*/

@WebServlet("/CharsetTest")

public class CharsetTest extends HttpServlet {

protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

String str = request.getParameter("content");

str = URLDecoder.decode(str, "utf8");

System.out.println(URLEncoder.encode(str, "utf8"));

 

try {

save(str);

} catch (Exception e) {

e.printStackTrace();

}

 

}

 

protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

doGet(request, response);

}

 

private static void save(String content) throws Exception {

/**

* create table test( content varchar(50) )engine=innodb,charset=utf8mb4

*/

Class.forName("com.mysql.jdbc.Driver");

Connection connection = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/xx", "xx", "xx");

 

connection.setAutoCommit(true);

 

//通过查询运行设置字符集的命令

//connection.prepareStatement("set names utf8mb4").executeQuery();

 

PreparedStatement cmd = connection.prepareStatement("insert into test values(?)");

cmd.setString(1, content);

cmd.executeUpdate();

 

cmd.close();

connection.close();

}

}
测试链接:
两次编码后的ios表情:
http://127.0.0.1:8080/Web/CharsetTest?content=%25F0%259F%2598%2584

两次编码后的中文:
http://127.0.0.1:8080/Web/CharsetTest?content=%25E4%25B8%25AD%25E6%2596%2587

关于两次编码参见: http://www.linuxidc.com/Linux/2014-07/104232.htm

首先,修改mysql的配置文件
character_set_server=utf8mb4
然后重启数据库和中间件.
点击两个测试的链接,查看数据库,发现数据成功插入。

这个过程理论上是不需要重启数据库的。
但是实际测试中发现,如果不重启数据库,则插入会报错。

如果运气好,直接修改character_set_server参数,重启数据库,一切正常,就OK了。
运气不好(比如我),就很悲剧了。
我在生产库上修改了配置,并且重启了数据库。
居然发现ios的表情插入数据库都是乱码(全是问号 ????)
更悲剧的是,过了几分钟突然发现线上新插入的数据都是乱码(也都是问号)。
幸亏发现的早,还原了数据库的配置,否则运行几天之后发现,估计就得收拾小包袱走人了。

后来排查到这个问题是JDBC驱动造成的,线上JDBC驱动的版本是mysql-connector-java-5.1.6-bin
如果MySQL服务器设置为utf8mb4 高版本的JDBC驱动没有关系,但是低版本的驱动插入之后,就是下面这个样子。
所有输入的非英文字符都是乱码了。

因为JDBC驱动并不支持utf8mb4字符集,所以不能设置JDBC URL的characterEncoding

不过还有三种方式可以设置字符集
1.不显式设置字符集,继承服务器的配置

2.在执行SQL之前,运行set names 的查询 (Query方式)


3.设置MySQL init_connect参数


经过测试各种因素的结果如下所示:

 
JDBC版本
普通中文
苹果表情
服务器utf8编码
5.1.6
正常
插入报错
 
5.1.6 Query
正常
正常
 
5.1.6 init_connect
正常
插入报错
 
5.1.31
正常
插入报错
 
5.1.31 Query
正常
正常
 
5.1.31 init_connect
正常
插入报错
服务器utf8mb4编码
5.1.6
乱码
乱码
 
5.1.6 Query
乱码
乱码
 
5.1.6 init_connect
乱码
乱码
 
5.1.31
正常
正常
 
5.1.31 Query
正常
正常
 
5.1.31 init_connect
正常
正常

总结:
1.修改了character_set_server参数,需要重启数据库
2.使用高版本的JDBC

--------------------------------------分割线 --------------------------------------

Ubuntu 14.04下安装MySQL http://www.linuxidc.com/Linux/2014-05/102366.htm

《MySQL权威指南(原书第2版)》清晰中文扫描版 PDF http://www.linuxidc.com/Linux/2014-03/98821.htm

Ubuntu 14.04 LTS 安装 LNMP Nginx\PHP5 (PHP-FPM)\MySQL http://www.linuxidc.com/Linux/2014-05/102351.htm

Ubuntu 14.04下搭建MySQL主从服务器 http://www.linuxidc.com/Linux/2014-05/101599.htm

Ubuntu 12.04 LTS 构建高可用分布式 MySQL 集群 http://www.linuxidc.com/Linux/2013-11/93019.htm

Ubuntu 12.04下源代码安装MySQL5.6以及Python-MySQLdb http://www.linuxidc.com/Linux/2013-08/89270.htm

--------------------------------------分割线 --------------------------------------

本文永久更新链接地址http://www.linuxidc.com/Linux/2014-07/104231.htm

linux
相关资讯       mysql编码  utf8mb4 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款