三、solr增量更新

作者：拍友2502916683 | 来源：互联网 | 2023-05-31 19:05

原地址：http:www.cnblogs.comzhuwenjoycep6529448.html尚未实现首次同步mysql数据库的，请参考我的另一篇文章http:www.cnblogs.

原地址：http://www.cnblogs.com/zhuwenjoyce/p/6529448.html

尚未实现首次同步mysql数据库的，请参考我的另一篇文章http://www.cnblogs.com/zhuwenjoyce/p/6512378.html（solr6.4.1搜索引擎同步mysql数据库） 过时的类在solr6.4.1版本中，已无HttpSolrServer这个类，但是有SolrClient类，也无SolrServer这个类，取而代之的是EmbeddedSolrServer类，但即使EmbeddedSolrServer类也是继承自SolrClient类，所以网上所有能查到对这些类进行描述的文章都已过时。话说就在这一两天研究solr期间，solr6.4.2版本已在3月6号发布了~~呃~~看solr-solrj-6.4.1的源码，SolrClient从solr5.0版本开始代替SolrServer:

solr6.4.1在线API，可以查看所有的类：http://lucene.apache.org/solr/6_4_1/solr-core/allclasses-noframe.html solr管理界面增量导入mysql数据库在浏览器管理界面，首先当然是选择一个core,我这里选择core3

选择core3下的Dataimport菜单

首先当然是校验db-data-config.xml配置文件是否正确，点击Reload按钮（如下图），当显示No information available时，表示配置文件无异常，当然这次不要选择full-import(全量导入)，选择delta-import(增量导入)，千万别选择Clean，因为会致使原有导入数据索引全部清空，然后只做更新部分的数据导入，如果此次只更新了一条数据，那么你的solr此core里就变成了仅有一条数据！可以选择Commit，我现在对于这个选项的理解是：把内存中的索引文件fsync到磁盘，并创建一个index descriptor。这里比较耗费机器资源。这样即使jvm崩溃或者宕机，也不影响这部分索引。（参考http://blog.sina.com.cn/s/blog_6277623c0102v40x.html）可以选择Optimize，optimize到底干了什么？该如何使用？（参考http://blog.csdn.net/java_zys/article/details/52372635）查资料才发现，optimize其实是个很重量级的操作，执行optimize操作后solr会进行索引数据的合并来优化查询性能，如果索引数据很大，optimize则会花费很多的时间，如果你在批量提交文档后每次都进行optimize操作，无疑提交速度会越来越慢，最后甚至导致solr不再响应你的提交请求。另外，如果你的服务是主从模式，那么对master的optimize还会导致整个索引块同步到replica上，影响就更加可想而知了。optimize操作可以优化查询性能，所以还是有用的，可以在服务不忙的时候在solr自带的控制台手动执行optimize操作，也可以写个定时任务来完成。

增量导入注意事项大家可以看到在上图中，entity标签里，query属性的select语句与deltaQuery属性的select语句是不一样的，差异在于多了一个where modify_date > '${dataimporter.last_index_time}'.这是因为solr每次在全量导入时或者增量导入结束时，都会在solrhome\conf\dataimport.properties文件中为每一个entity更新一个导入时间标志，我本地截图如下：

这个配置文件里的属性对象可以在db-data-config.xml里以${}占位符方式填充数值。重点1：所以在执行deltaQuery时，只会导入数据满足为：modify_date > '${dataimporter.last_index_time}'，以此实现增量导入。否则就是全量导入！！！重点2：在deltaQuery语句中，select字段一定要加上你想更新到索引的字段，否则默认不导入为索引！！ solr浏览器管理界面增加索引数据solr也支持在浏览器管理界面增加索引数据，但此类增加并不会同步到mysql数据库中去，要使它同步，好像也是可以的，就是设置起来比较复杂，而且还需要考虑性能方面。选择core3，点击Documents菜单：

在Document(s)输入框里输入要增加的索引数据（可同时增加多个），注意，这里的数据格式一定要与Document Type输入框里的数据类型保持一致，至于/update则来源于默认的solrconfig.xml配置文件，该文件的requestHandler标签定义了这些行为，比如/select /update 你也可以自定义一些其他标签。

执行Submit Document按钮之后，solr服务器响应结果如下：

status：0 表示索引插入操作执行成功。QTime 的执行单位是毫秒ms。
注意：增量更新需要写两个sql（deltaImportQuery、deltaQuery）deltaImportQuery="select * where id='${dih.delta.id}'"
deltaQuery="select id from book_dept where modify_time > '${dih.last_index_time}'"

推荐阅读

server
Tomcat安装与配置教程及常见问题解决方法

本文介绍了Tomcat的安装与配置教程，包括jdk版本的选择、域名解析、war文件的部署和访问、常见问题的解决方法等。其中涉及到的问题包括403问题、数据库连接问题、1130错误、2003错误、Java Runtime版本不兼容问题以及502错误等。最后还提到了项目的前后端连接代码的配置。通过本文的指导，读者可以顺利完成Tomcat的安装与配置，并解决常见的问题。 ... [详细]

蜡笔小新 2023-12-09 07:28:32
default
如何实现织梦DedeCms全站伪静态

本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态，以提高管理和SEO效果。全站伪静态可以避免重复URL的问题，同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式，可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具，如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]

蜡笔小新 2023-12-14 19:45:47
input
【译】发送表单数据

这是原文链接：sendingformdata许多情况下，我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单，但是 ... [详细]

蜡笔小新 2023-12-14 16:19:10
default
解决Mac上无法使用localhost连接mysql的问题

本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题，并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别，指出了使用socket方式连接导致连接失败的原因。此外，还提供了相关链接供读者深入了解。 ... [详细]

蜡笔小新 2023-12-13 17:48:58
default
phpBB安装环境配置及如何搭建php环境

本文介绍了关于apache、phpmyadmin、mysql、php、emacs、path等知识点，以及如何搭建php环境。文章提供了详细的安装步骤和所需软件列表，希望能帮助读者解决与LAMP相关的技术问题。 ... [详细]

蜡笔小新 2023-12-13 13:33:01
default
分享css中提升优先级属性!important的用法总结

web前端|css教程css!importantweb前端-css教程本文分享css中提升优先级属性!important的用法总结微信门店展示源码,vscode如何管理站点,ubu ... [详细]

蜡笔小新 2023-12-11 11:25:16
get
大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记

本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记，包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件，其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]

蜡笔小新 2023-12-10 11:44:06
get
sqoop自定义分隔符的实现方法及步骤详解

本文介绍了在sqoop1.4.*版本中，如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件，并重新编译，可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码，重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]

蜡笔小新 2023-12-10 11:29:22
数组
Linux下部署Symfoy2对app/cache和app/logs目录的权限设置，symfoy2logs

php教程|php手册xml文件php教程-php手册Linux下部署Symfoy2对appcache和applogs目录的权限设置，symfoy2logs黑色记事本源码,vsco ... [详细]

蜡笔小新 2023-10-17 20:32:59
input
camel_使用Camel在来自不同来源的Solr中索引数据

camelApacheSolr是建立在Lucene之上的“流行的，快速的开源企业搜索平台”。为了进行搜索(并查找结果)，通常需要从不同的源(例如内容管理 ... [详细]

蜡笔小新 2023-10-15 11:20:39
数组
Flume 开源分布式日志收集系统

为什么80%的码农都做不了架构师？Flume--开源分布式日志收集系统Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统 ... [详细]

蜡笔小新 2023-10-11 13:45:25
list
shiro java配置问题：加入Shiro listener后启动失败

本文讨论了在shiro java配置中加入Shiro listener后启动失败的问题。作者引入了一系列jar包，并在web.xml中配置了相关内容，但启动后却无法正常运行。文章提供了具体引入的jar包和web.xml的配置内容，并指出可能的错误原因。该问题可能与jar包版本不兼容、web.xml配置错误等有关。 ... [详细]

蜡笔小新 2023-12-10 09:43:05
get
目录浏览漏洞与目录遍历漏洞的危害及修复方法

本文讨论了目录浏览漏洞与目录遍历漏洞的危害，包括网站结构暴露、隐秘文件访问等。同时介绍了检测方法，如使用漏洞扫描器和搜索关键词。最后提供了针对常见中间件的修复方式，包括关闭目录浏览功能。对于保护网站安全具有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-09 23:30:30
get
Apache Shiro 身份验证绕过漏洞 (CVE202011989) 详细解析及防范措施

本文详细解析了Apache Shiro 身份验证绕过漏洞 (CVE202011989) 的原理和影响，并提供了相应的防范措施。Apache Shiro 是一个强大且易用的Java安全框架，常用于执行身份验证、授权、密码和会话管理。在Apache Shiro 1.5.3之前的版本中，与Spring控制器一起使用时，存在特制请求可能导致身份验证绕过的漏洞。本文还介绍了该漏洞的具体细节，并给出了防范该漏洞的建议措施。 ... [详细]

蜡笔小新 2023-12-09 19:58:36
get
禅道测试管理工具的介绍及搭建方法

本文介绍了禅道作为一款国产开源免费的测试管理工具的特点和功能，并提供了禅道的搭建和调试方法。禅道是一款B/S结构的项目管理工具，可以实现组织管理、后台管理、产品管理、项目管理和测试管理等功能。同时，本文还介绍了其他软件测试相关工具，如功能自动化工具和性能自动化工具，以及白盒测试工具的使用。通过本文的阅读，读者可以了解禅道的基本使用方法和优势，从而更好地进行测试管理工作。 ... [详细]

蜡笔小新 2023-12-09 19:03:20

拍友2502916683

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章