摘要: 原创出处 http://www.iocoder.cn/MyCAT/what-is-PreparedStatement/ 「芋道源码」欢迎转载&＃xff0c;保留摘要&＃xff0c;谢谢&＃xff01;

本文主要基于 MyCAT 1.6.5 正式版

• 1. 概述
• 2. JDBC Client 实现
• 3. MyCAT Server 实现
  
  • 3.1 创建 PreparedStatement
  • 3.2 执行 SQL
• 4. 彩蛋

&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;关注微信公众号&＃xff1a;【芋道源码】有福利&＃xff1a;
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。

> 5. 认真的源码交流微信群。

1. 概述

相信很多同学在学习 JDBC 时&＃xff0c;都碰到 PreparedStatement 和 Statement。究竟该使用哪个呢&＃xff1f;最终很可能是懵里懵懂的看了各种总结&＃xff0c;使用 PreparedStatement。那么本文&＃xff0c;通过 MyCAT 对 PreparedStatement 的实现对大家能够重新理解下。

本文主要分成两部分&＃xff1a;

1. JDBC Client 如何实现 PreparedStatement。
2. MyCAT Server 如何处理 PreparedStatement。

&＃xfffd;&＃xfffd; Let’s Go。

2. JDBC Client 实现

首先&＃xff0c;我们来看一段大家最喜欢复制粘贴之一的代码&＃xff0c;JDBC PreparedStatement 查询 MySQL 数据库&＃xff1a;

public class PreparedStatementDemo {public static void main(String[] args) throws ClassNotFoundException, SQLException {// 1. 获得数据库连接Class.forName("com.mysql.jdbc.Driver");Connection conn &＃61; DriverManager.getConnection("jdbc:mysql://127.0.0.1:8066/dbtest?useServerPrepStmts&＃61;true", "root", "123456");// PreparedStatementPreparedStatement ps &＃61; conn.prepareStatement("SELECT id, username, password FROM t_user WHERE id &＃61; ?");ps.setLong(1, Math.abs(new Random().nextLong()));// executeps.executeQuery();}}

获取 MySQL 连接时&＃xff0c;useServerPrepStmts&＃61;true 是非常非常非常重要的参数。如果不配置&＃xff0c;PreparedStatement 实际是个假的 PreparedStatement&＃xff08;新版本默认为 FALSE&＃xff0c;据说部分老版本默认为 TRUE&＃xff09;&＃xff0c;未开启服务端级别的 SQL 预编译。

WHY &＃xff1f;来看下 JDBC 里面是怎么实现的。

// com.mysql.jdbc.ConnectionImpl.java
public PreparedStatement prepareStatement(String sql, int resultSetType, int resultSetConcurrency) throws SQLException {synchronized (getConnectionMutex()) {checkClosed();PreparedStatement pStmt &＃61; null;boolean canServerPrepare &＃61; true;String nativeSql &＃61; getProcessEscapeCodesForPrepStmts() ? nativeSQL(sql) : sql;if (this.useServerPreparedStmts && getEmulateUnsupportedPstmts()) {canServerPrepare &＃61; canHandleAsServerPreparedStatement(nativeSql);}if (this.useServerPreparedStmts && canServerPrepare) {if (this.getCachePreparedStatements()) { // 从缓存中获取 pStmtsynchronized (this.serverSideStatementCache) {pStmt &＃61; (com.mysql.jdbc.ServerPreparedStatement) this.serverSideStatementCache.remove(makePreparedStatementCacheKey(this.database, sql));if (pStmt !&＃61; null) {((com.mysql.jdbc.ServerPreparedStatement) pStmt).setClosed(false);pStmt.clearParameters(); // 清理上次留下的参数}if (pStmt &＃61;&＃61; null) {// .... 省略代码 &＃xff1a;向 Server 提交 SQL 预编译。}}} else {try {// 向 Server 提交 SQL 预编译。pStmt &＃61; ServerPreparedStatement.getInstance(getMultiHostSafeProxy(), nativeSql, this.database, resultSetType, resultSetConcurrency);pStmt.setResultSetType(resultSetType);pStmt.setResultSetConcurrency(resultSetConcurrency);} catch (SQLException sqlEx) {// Punt, if necessaryif (getEmulateUnsupportedPstmts()) {pStmt &＃61; (PreparedStatement) clientPrepareStatement(nativeSql, resultSetType, resultSetConcurrency, false);} else {throw sqlEx;}}}} else {pStmt &＃61; (PreparedStatement) clientPrepareStatement(nativeSql, resultSetType, resultSetConcurrency, false);}return pStmt;}
}

• 【前者】当 Client 开启 useServerPreparedStmts 并且 Server 支持 ServerPrepare&＃xff0c;Client 会向 Server 提交 SQL 预编译请求。

if (this.useServerPreparedStmts && canServerPrepare) {pStmt &＃61; ServerPreparedStatement.getInstance(getMultiHostSafeProxy(), nativeSql, this.database, resultSetType, resultSetConcurrency);
}

• 【后者】当 Client 未开启 useServerPreparedStmts 或者 Server 不支持 ServerPrepare&＃xff0c;Client 创建 PreparedStatement&＃xff0c;不会向 Server 提交 SQL 预编译请求。

pStmt &＃61; (PreparedStatement) clientPrepareStatement(nativeSql, resultSetType, resultSetConcurrency, false);

即使这样&＃xff0c;究竟为什么性能会更好呢&＃xff1f;

• 【前者】返回的 PreparedStatement 对象类是 JDBC42ServerPreparedStatement.java&＃xff0c;后续每次执行 SQL 只需将对应占位符?对应的值提交给 Server即可&＃xff0c;减少网络传输和 SQL 解析开销。
• 【后者】返回的 PreparedStatement 对象类是 JDBC42PreparedStatement.java&＃xff0c;后续每次执行 SQL 需要将完整的 SQL 提交给 Server&＃xff0c;增加了网络传输和 SQL 解析开销。

&＃xfffd;&＃xfffd;&＃xff1a;【前者】性能一定比【后者】好吗&＃xff1f;相信你已经有了正确的答案。

3. MyCAT Server 实现

3.1 创建 PreparedStatement

该操作对应 Client conn.prepareStatement(....)。

MyCAT 接收到请求后&＃xff0c;创建 PreparedStatement&＃xff0c;并返回 statementId 等信息。Client 发起 SQL 执行时&＃xff0c;需要将 statementId 带给 MyCAT。核心代码如下&＃xff1a;

// ServerPrepareHandler.java
&＃64;Override
public void prepare(String sql) {
LOGGER.debug("use server prepare, sql: " &＃43; sql);PreparedStatement pstmt &＃61; pstmtForSql.get(sql);if (pstmt &＃61;&＃61; null) { // 缓存中获取// 解析获取字段个数和参数个数int columnCount &＃61; getColumnCount(sql);int paramCount &＃61; getParamCount(sql);pstmt &＃61; new PreparedStatement(&＃43;&＃43;pstmtId, sql, columnCount, paramCount);pstmtForSql.put(pstmt.getStatement(), pstmt);pstmtForId.put(pstmt.getId(), pstmt);}PreparedStmtResponse.response(pstmt, source);
}
// PreparedStmtResponse.java
public static void response(PreparedStatement pstmt, FrontendConnection c) {byte packetId &＃61; 0;// write preparedOk packetPreparedOkPacket preparedOk &＃61; new PreparedOkPacket();preparedOk.packetId &＃61; &＃43;&＃43;packetId;preparedOk.statementId &＃61; pstmt.getId();preparedOk.columnsNumber &＃61; pstmt.getColumnsNumber();preparedOk.parametersNumber &＃61; pstmt.getParametersNumber();ByteBuffer buffer &＃61; preparedOk.write(c.allocate(), c,true);// write parameter field packetint parametersNumber &＃61; preparedOk.parametersNumber;if (parametersNumber > 0) {for (int i &＃61; 0; i new FieldPacket();field.packetId &＃61; &＃43;&＃43;packetId;buffer &＃61; field.write(buffer, c,true);}EOFPacket eof &＃61; new EOFPacket();eof.packetId &＃61; &＃43;&＃43;packetId;buffer &＃61; eof.write(buffer, c,true);}// write column field packetint columnsNumber &＃61; preparedOk.columnsNumber;if (columnsNumber > 0) {for (int i &＃61; 0; i new FieldPacket();field.packetId &＃61; &＃43;&＃43;packetId;buffer &＃61; field.write(buffer, c,true);}EOFPacket eof &＃61; new EOFPacket();eof.packetId &＃61; &＃43;&＃43;packetId;buffer &＃61; eof.write(buffer, c,true);}// send bufferc.write(buffer);
}

每个连接之间&＃xff0c;PreparedStatement 不共享&＃xff0c;即不同连接&＃xff0c;即使 SQL相同&＃xff0c;对应的 PreparedStatement 不同。

3.2 执行 SQL

该操作对应 Client conn.execute(....)。

MyCAT 接收到请求后&＃xff0c;将 PreparedStatement 使用请求的参数格式化成可执行的 SQL 进行执行。伪代码如下&＃xff1a;

String sql &＃61; pstmt.sql.format(request.params);
execute(sql);

核心代码如下&＃xff1a;

// ServerPrepareHandler.java
&＃64;Override
public void execute(byte[] data) {long pstmtId &＃61; ByteUtil.readUB4(data, 5);PreparedStatement pstmt &＃61; null;if ((pstmt &＃61; pstmtForId.get(pstmtId)) &＃61;&＃61; null) {source.writeErrMessage(ErrorCode.ER_ERROR_WHEN_EXECUTING_COMMAND, "Unknown pstmtId when executing.");} else {// 参数读取ExecutePacket packet &＃61; new ExecutePacket(pstmt);try {packet.read(data, source.getCharset());} catch (UnsupportedEncodingException e) {source.writeErrMessage(ErrorCode.ER_ERROR_WHEN_EXECUTING_COMMAND, e.getMessage());return;}BindValue[] bindValues &＃61; packet.values;// 还原sql中的动态参数为实际参数值String sql &＃61; prepareStmtBindValue(pstmt, bindValues);// 执行sqlsource.getSession2().setPrepared(true);source.query(sql);}
}private String prepareStmtBindValue(PreparedStatement pstmt, BindValue[] bindValues) {String sql &＃61; pstmt.getStatement();int[] paramTypes &＃61; pstmt.getParametersType();StringBuilder sb &＃61; new StringBuilder();int idx &＃61; 0;for (int i &＃61; 0, len &＃61; sql.length(); i char c &＃61; sql.charAt(i);if (c !&＃61; &＃39;?&＃39;) {sb.append(c);continue;}// 处理占位符?int paramType &＃61; paramTypes[idx];BindValue bindValue &＃61; bindValues[idx];idx&＃43;&＃43;;// 处理字段为空的情况if (bindValue.isNull) {sb.append("NULL");continue;}// 非空情况, 根据字段类型获取值switch (paramType & 0xff) {case Fields.FIELD_TYPE_TINY:sb.append(String.valueOf(bindValue.byteBinding));break;case Fields.FIELD_TYPE_SHORT:sb.append(String.valueOf(bindValue.shortBinding));break;case Fields.FIELD_TYPE_LONG:sb.append(String.valueOf(bindValue.intBinding));break;// .... 省略非核心代码}}return sb.toString();
}


4. 彩蛋

&＃xfffd;&＃xfffd; 看到此处是不是真爱&＃xff1f;&＃xff01;反正我信了。
给老铁们额外加个&＃xfffd;&＃xfffd;。

细心的同学们可能已经注意到 JDBC Client 是支持缓存 PreparedStatement&＃xff0c;无需每次都让 Server 进行创建。

当配置 MySQL 数据连接 cachePrepStmts&＃61;true 时开启 Client 级别的缓存。But&＃xff0c;此处的缓存又和一般的缓存不一样&＃xff0c;是使用 remove 的方式获得的&＃xff0c;并且创建好 PreparedStatement 时也不添加到缓存。那什么时候添加缓存呢&＃xff1f;在 pstmt.close() 时&＃xff0c;并且pstmt 是通过缓存获取时&＃xff0c;添加到缓存。核心代码如下&＃xff1a;

// ServerPreparedStatement.java
public void close() throws SQLException {MySQLConnection locallyScopedConn &＃61; this.connection;if (locallyScopedConn &＃61;&＃61; null) {return; // already closed}synchronized (locallyScopedConn.getConnectionMutex()) {if (this.isCached && isPoolable() && !this.isClosed) {clearParameters();this.isClosed &＃61; true;this.connection.recachePreparedStatement(this);return;}realClose(true, true);}
}
// ConnectionImpl.java
public void recachePreparedStatement(ServerPreparedStatement pstmt) throws SQLException {synchronized (getConnectionMutex()) {if (getCachePreparedStatements() && pstmt.isPoolable()) {synchronized (this.serverSideStatementCache) {this.serverSideStatementCache.put(makePreparedStatementCacheKey(pstmt.currentCatalog, pstmt.originalSql), pstmt);}}}
}

为什么要这么实现&＃xff1f;PreparedStatement 是有状态的变量&＃xff0c;我们会去 setXXX(pos, value)&＃xff0c;一旦多线程共享&＃xff0c;会导致错乱。

&＃xfffd;&＃xfffd; 这个“彩蛋”还满意么&＃xff1f;请关注我的公众号&＃xff1a;芋道源码。下一篇更新&＃xff1a;《MyCAT源码解析 —— MongoDB》&＃xff0c;极大可能就在本周噢。

另外推荐一篇文章&＃xff1a;《JDBC PreparedStatement》。

---

&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;&＃xfffd;关注微信公众号&＃xff1a;【芋道源码】有福利&＃xff1a;
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。