ElasticSearch+fscrawler实现文档上传并搜索过滤

需求&＃xff1a;实现一个搜索功能&＃xff0c;搜索的内容来自上传的文档&＃xff08;MS Office 文档&＃xff09;&＃xff0c;后期也有上传图片的文字&＃xff0c;需要全词匹配搜索高亮&＃xff0c;还有根据用户&＃xff0c;状态等过滤

工具&＃xff1a;Elastic Search&＃xff08;后文简称ES&＃xff09;

上传文件处理&＃xff1a;Fcrawler

先说现有代码逻辑&＃xff1a;

同事一个PHP项目&＃xff0c;现在越做越大&＃xff0c;小型OA的感觉了&＃xff08;PHP做到现在吃力啊…&＃xff09;&＃xff0c;现在客户需要增加一个搜索的需求&＃xff0c;就交给我来调研了。 我本人是搞.Net的&＃xff0c;这俩月在接手一个Ruby项目&＃xff0c;还有个C#项目的维护&＃xff0c;本来是让我这个月开始一个Java项目的。不提这个了&＃xff0c;大概就这样&＃xff0c;然后这周末我又来加班了&＃xff0c;基本上我这块搞得差不多了&＃xff0c;然后来总结一下吧。

文档上传本来PHP那边已经做好了&＃xff0c;但是boss 说太不稳定了&＃xff0c;所以从上传到最后搜索&＃xff0c;都重新搞吧。服务器部署是在AWS上&＃xff0c;现在AWS支持的ES版本最高是7.1&＃xff08;当前最新版本是7.4.2&＃xff09;&＃xff0c;我现在本地Windows环境搭建一套 EK&＃xff08;ES &＃43; kibana&＃xff09;&＃xff0c;然后走一下&＃xff0c;测试一下可行性。

1. 安装包下载&＃xff08;ES一定要与Kibana版本相对应&＃xff09;&＃xff1a;
   
   1. https://fscrawler.readthedocs.io/en/fscrawler-2.5/installation.html
   2. https://www.elastic.co/downloads/elasticsearch
   3. https://www.elastic.co/downloads/kibana
   4. 附图&＃xff1a;
2. 老版本下载&＃xff1a;https://www.elastic.co/downloads/past-releases#kibana
3. 本地安装&＃xff0c;ES就是傻瓜式安装&＃xff08;.msi&＃xff09;&＃xff0c;Kibana的话压缩包解压&＃xff0c;然后bin\kibana.bat
   
   1. 附图
4. 安装完成之后浏览器打开
   
   1. 附图&＃xff1a;
5. fscrawler&＃xff1a;https://fscrawler.readthedocs.io/en/fscrawler-2.5/user/getting_started.html 比着来就行
6. 比较想说的就是那个添加附加信息&＃xff08;例如是哪个用户上传的&＃xff09;&＃xff0c;我想的是文档上传放到一个文件夹&＃xff0c;附带把附加信息存到另外一个同名的.txt文件&＃xff0c;然后fscrawler每隔一段时间便利文件夹时&＃xff0c;顺便添加信息&＃xff08;https://fscrawler.readthedocs.io/en/fscrawler-2.5/admin/fs/rest.html#additional-tags&＃xff09;按照这个来我在本地是不成功的&＃xff0c;&＃xff0c;可以在这个地方看log。  不成功是因为格式不对&＃xff0c;我改成如下&＃xff1a;

external就是我想加进去的