mysqlfulltext中文_mysql5.6InnoDB全文索引FULLTEXT中文解决方案base64

mysql5.6 innlDB 在CHAR、VARCHAR、TEXT类型的列上可以定义全文索引&＃xff0c;但因为无法中文分词所以对中文的支持很差&＃xff0c;但从MySQL5.7开始&＃xff0c;MySQL内置了ngram全文检索插件&＃xff0c;用来支持中文分词&＃xff0c;并且对MyISAM和InnoDB引擎有效。

在没法升级5.7的情况下&＃xff0c;5.6有变通的办法&＃xff0c;就是将整句的中文拆分成单个汉字&＃xff0c;并按urlencode、区位码、base64、拼音等进行编码使之以"字母&＃43;数字"的方式存储于数据库中。转换完达到如下的效果&＃xff1a;

存储的是将汉字编码后的结果&＃xff0c;用空格连起来&＃xff0c;这样就可以使用5.6的全文索引来进行搜索&＃xff0c;注意的是要将搜索的内容也先同样编码再进行搜索。

下面给出一种基于base64的汉字变换方式

/**

* 关键词整理函数(用作mysql的全文索引制作的搜索)

* 1.将字符串全角转半角、去空格、大写转小写、分成单个字符并base64编码、最后用空格连接类,方便mysql索引,做搜索关键字

* 2.将数字转全角做索引区分标识,全角数字为标识专用

**/

function keywords($str){//全角转半角

$str &＃61; strtr($str,[‘&＃xff11;‘ &＃61;> ‘1‘,‘&＃xff12;‘ &＃61;> ‘2‘,‘&＃xff13;‘ &＃61;> ‘3‘,‘&＃xff14;‘ &＃61;> ‘4‘,‘&＃xff15;‘ &＃61;> ‘5‘,‘&＃xff16;‘ &＃61;> ‘6‘,‘&＃xff17;‘ &＃61;> ‘7‘,‘&＃xff18;‘ &＃61;> ‘8‘,‘&＃xff19;‘ &＃61;> ‘9‘,‘&＃xff10;‘ &＃61;> ‘0‘,

‘&＃xff21;‘ &＃61;> ‘A‘,‘&＃xff22;‘ &＃61;> ‘B‘,‘&＃xff23;‘ &＃61;> ‘C‘,‘&＃xff24;‘ &＃61;> ‘D‘,‘&＃xff25;‘ &＃61;> ‘E‘,‘&＃xff26;‘ &＃61;> ‘F‘,‘&＃xff27;‘ &＃61;> ‘G‘,‘&＃xff28;‘ &＃61;> ‘H‘,‘&＃xff29;‘ &＃61;> ‘I‘,‘&＃xff2a;‘ &＃61;> ‘J‘,‘&＃xff2b;‘ &＃61;> ‘K‘,‘&＃xff2c;‘ &＃61;> ‘L‘,‘&＃xff2d;‘ &＃61;> ‘M‘,‘&＃xff2e;‘ &＃61;> ‘N‘,‘&＃xff2f;‘ &＃61;> ‘O‘,‘&＃xff30;‘ &＃61;> ‘P‘,‘&＃xff31;‘ &＃61;> ‘Q‘,‘&＃xff32;‘ &＃61;> ‘R‘,‘&＃xff33;‘ &＃61;> ‘S‘,‘&＃xff34;‘ &＃61;> ‘T‘,‘&＃xff35;‘ &＃61;> ‘U‘,‘&＃xff36;‘ &＃61;> ‘V‘,‘&＃xff37;‘ &＃61;> ‘W‘,‘&＃xff38;‘ &＃61;> ‘X‘,‘&＃xff39;‘ &＃61;> ‘Y‘,‘&＃xff3a;‘ &＃61;> ‘Z‘,

‘&＃xff41;‘ &＃61;> ‘a‘,‘&＃xff42;‘ &＃61;> ‘b‘,‘&＃xff43;‘ &＃61;> ‘c‘,‘&＃xff44;‘ &＃61;> ‘d‘,‘&＃xff45;‘ &＃61;> ‘e‘,‘&＃xff46;‘ &＃61;> ‘f‘,‘&＃xff47;‘ &＃61;> ‘g‘,‘&＃xff48;‘ &＃61;> ‘h‘,‘&＃xff49;‘ &＃61;> ‘i‘,‘&＃xff4a;‘ &＃61;> ‘j‘,‘&＃xff4b;‘ &＃61;> ‘k‘,‘&＃xff4c;‘ &＃61;> ‘l‘,‘&＃xff4d;‘ &＃61;> ‘m‘,‘&＃xff4e;‘ &＃61;> ‘n‘,‘&＃xff4f;‘ &＃61;> ‘o‘,‘&＃xff50;‘ &＃61;> ‘p‘,‘&＃xff51;‘ &＃61;> ‘q‘,‘&＃xff52;‘ &＃61;> ‘r‘,‘&＃xff53;‘ &＃61;> ‘s‘,‘&＃xff54;‘ &＃61;> ‘t‘,‘&＃xff55;‘ &＃61;> ‘u‘,‘&＃xff56;‘ &＃61;> ‘v‘,‘&＃xff57;‘ &＃61;> ‘w‘,‘&＃xff58;‘ &＃61;> ‘x‘,‘&＃xff59;‘ &＃61;> ‘y‘,‘&＃xff5a;‘ &＃61;> ‘z‘,

‘&＃xff5e;‘ &＃61;> ‘~‘,‘&＃xff40;‘ &＃61;> ‘&＃96;‘,‘&＃xff01;‘ &＃61;> ‘!‘,‘&＃xff20;‘ &＃61;> ‘&＃64;‘,‘&＃xff03;‘ &＃61;> ‘#‘,‘&＃xff04;‘ &＃61;> ‘$‘,‘&＃xff05;‘ &＃61;> ‘%‘,‘&＃xff3e;‘ &＃61;> ‘^‘,‘&＃xff06;‘ &＃61;> ‘&‘,‘&＃xff0a;‘ &＃61;> ‘*‘,‘(‘ &＃61;> ‘(‘,‘)‘ &＃61;> ‘)‘,‘&＃xff3f;‘ &＃61;> ‘_‘,‘&＃xff0d;‘ &＃61;> ‘-‘,‘&＃xff0b;‘ &＃61;> ‘&＃43;‘,‘&＃xff1d;‘ &＃61;> ‘&＃61;‘,

‘&＃xff5b;‘ &＃61;> ‘{‘,‘&＃xff5d;‘ &＃61;> ‘}‘,‘&＃xff3b;‘ &＃61;> ‘[‘,‘&＃xff3d;‘ &＃61;> ‘]‘,‘&＃xff5c;‘ &＃61;> ‘|‘,‘&＃xff3c;‘ &＃61;> ‘\\‘,‘&＃xff1a;‘ &＃61;> ‘:‘,‘&＃xff1b;‘ &＃61;> ‘;‘,‘&＃xff02;‘ &＃61;> ‘"‘,‘&＃xff07;‘ &＃61;> ‘\‘‘,

‘&＃xff1c;‘ &＃61;> ‘ ‘,‘,‘&＃xff1e;‘ &＃61;> ‘>‘,‘&＃xff0e;‘ &＃61;> ‘.‘,‘&＃xff1f;‘ &＃61;> ‘?‘,‘&＃xff0f;‘ &＃61;> ‘/‘,‘　‘ &＃61;> ‘ ‘]);//去空格

$str &＃61; str_replace(‘ ‘,‘‘,$str);//大写转小写

$str &＃61; strtolower($str);//数字统一格式为阿拉伯数字

$str &＃61; strtr($str,[‘零‘ &＃61;> 0,‘一‘ &＃61;> 1,‘二‘ &＃61;> 2,‘三‘ &＃61;> 3,‘四‘ &＃61;> 4,‘五‘ &＃61;> 5,‘六‘ &＃61;> 6,‘七‘ &＃61;> 7,‘八‘ &＃61;> 8,‘九‘ &＃61;> 9]);//分成单个字符并base64编码

$str_len &＃61; strlen($str);//获取关键字集合

$arr &＃61;[];$str_len &＃61; mb_strlen($str);for($i &＃61; 0;$i <$str_len;&＃43;&＃43; $i){$keyword &＃61; strtr(base64_encode(mb_substr($str,$i,1)),‘&＃43;/&＃61;‘,‘abc‘);if(!in_array($keyword,$arr)){ //去除重复的关键字

$arr[] &＃61; $keyword;

}

}return $arr;

}

例如将字符串 ‘小明小红是朋友‘ 输入改函数&＃xff0c;返回的结果是数组如下

array(6) {

[0]&＃61;>

string(4) "5bCP"[1]&＃61;>

string(4) "5piO"[2]&＃61;>

string(4) "57qi"[3]&＃61;>

string(4) "5piv"[4]&＃61;>

string(4) "5pyL"[5]&＃61;>

string(4) "5YaL"}

分别对应相应的汉字&＃xff0c;注意小明和小红都有小这个字&＃xff0c;所以去掉重复的字&＃xff0c;只有六个编码。

然后用空格将数组连起来

$keywords &＃61; implode(‘ ‘,keywords($keyword));

将$keywords 存入数据库。

进阶&＃xff1a;

如果匹配的关键词包含一些常用的字&＃xff0c;会出现大量的结果。

例如搜索书名 霸道总裁&＃xff0c;可能会出现&＃xff0c;裁缝&＃xff0c;总经理&＃xff0c;这样的结果

全文搜索是按照相关度从高到底返回的结果&＃xff0c;可以只去去前面一些相关度较高的结果。

或者先查询出相关度最高是多少(相关度是一个数值)&＃xff0c;然后除以二&＃xff0c;限定结果的相关度都大于这个最大相关度的一半。

参考

//通过最大相关度/2过滤一部分无关结果//查询出最大相关度是多少

$score &＃61; $this->sql(‘xs.nh‘)->query(‘SELECT MATCH(keywords_base) AGAINST (?) AS score FROM nh ORDER BY score DESC LIMIT 1‘,[$keywords]);//构造查询语句

$this->where[‘MATCH(keywords_base) AGAINST‘] &＃61; [$keywords,‘> ‘.$score[0][‘score‘] / 2];