热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Offsetvs.limit:batchsizeistoolarge,sizemustbelessthanorequalto

Hi,in latest elasticdump is bug with "--offset" defined. Limit is defined to 10000. There is probabl

Hi,

in latest elasticdump is bug with "--offset" defined. Limit is defined to 10000. There is probably unwanted correlation from offset to limit.

Error message: Batch size is too large, size must be less than or equal to: [10000] but was [5120100].

  • ElasticDump version - 3.0.2

  • Elasticsearch version - 5.0.1

  • Full Command:

1
2
3
4
5
6
7
8
elasticdump \

  --input="http://10.10.10.1:9200/logstash-2017.01.03" \

  --output="http://10.10.10.2:9200/logstash-2017.01.03" \

  --offset=5120000 \

  --limit=10000 \

  --timeout=3600000 \

  --ignore-errors \

  --type=data


  • Command output:

1
2
3
4
5
6
7
8
9
10
11
12
Thu, 05 Jan 2017 09:58:51 GMT | starting dump

Thu, 05 Jan 2017 09:58:51 GMT | Warning: offseting 5120000 rows.

Thu, 05 Jan 2017 09:58:51 GMT |   * Using an offset doesn't guarantee that the offset rows have already been written, please refer to the HELP text.

Thu, 05 Jan 2017 09:58:51 GMT | Error Emitted => {"error":{"root_cause":[{"type":"query_phase_execution_exception","reason":"Batch size is too large, size must be less than or equal to: [10000] but was [5120100]. Scroll

batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window] index level setting."}],"type":"search_phase_execution_exception","reason":"all shards failed","phase":"query_fetc

h","grouped":true,"failed_shards":[{"shard":0,"index":"logstash-2017.01.03","node":"vdJLjO9uT1OEsTn9lIPRqw","reason":{"type":"query_phase_execution_exception","reason":"Batch size is too large, size must be less than or

equal to: [10000] but was [5120100]. Scroll batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window] index level setting."}}],"caused_by":{"type":"query_phase_execution_ex

ception","reason":"Batch size is too large, size must be less than or equal to: [10000] but was [5120100]. Scroll batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window]

index level setting."}},"status":500}

Thu, 05 Jan 2017 09:58:51 GMT | got 0 objects from source elasticsearch (offset: 5120000)

Thu, 05 Jan 2017 09:58:51 GMT | Total Writes: 0

Thu, 05 Jan 2017 09:58:51 GMT | dump complete

Thank you for your check.

该提问来源于开源项目:elasticsearch-dump/elasticsearch-dump


  1. You can increase
    1
    index.max_result_window

    (memory bound + not the most efficient option)


  2. Use the
    1
    --searchBody

    to filter the resultset a more manageable subset


Please re-open if you do not feel the question has been answered sufficiently.





   



推荐阅读
  • 如何在HTML中获取鼠标的当前位置
    本文介绍了在HTML中获取鼠标当前位置的三种方法,分别是相对于屏幕的位置、相对于窗口的位置以及考虑了页面滚动因素的位置。通过这些方法可以准确获取鼠标的坐标信息。 ... [详细]
  • Ihavethefollowingonhtml我在html上有以下内容<html><head><scriptsrc..3003_Tes ... [详细]
  • JavaScript和HTML之间的交互是经由过程事宜完成的。事宜:文档或浏览器窗口中发作的一些特定的交互霎时。能够运用侦听器(或处置惩罚递次来预订事宜),以便事宜发作时实行相应的 ... [详细]
  • 本文介绍了pack布局管理器在Perl/Tk中的使用方法及注意事项。通过调用pack()方法,可以控制部件在显示窗口中的位置和大小。同时,本文还提到了在使用pack布局管理器时,应注意将部件分组以便在水平和垂直方向上进行堆放。此外,还介绍了使用Frame部件或Toplevel部件来组织部件在窗口内的方法。最后,本文强调了在使用pack布局管理器时,应避免在中间切换到grid布局管理器,以免造成混乱。 ... [详细]
  • 本文总结了在编写JS代码时,不同浏览器间的兼容性差异,并提供了相应的解决方法。其中包括阻止默认事件的代码示例和猎取兄弟节点的函数。这些方法可以帮助开发者在不同浏览器上实现一致的功能。 ... [详细]
  • 本文由编程笔记#小编为大家整理,主要介绍了css回到顶部按钮相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 涉及的知识点-ViewGroup的测量与布局-View的测量与布局-滑动冲突的处理-VelocityTracker滑动速率跟踪-Scroller实现弹性滑动-屏幕宽高的获取等实现步 ... [详细]
  • 本文介绍了在MFC下利用C++和MFC的特性动态创建窗口的方法,包括继承现有的MFC类并加以改造、插入工具栏和状态栏对象的声明等。同时还提到了窗口销毁的处理方法。本文详细介绍了实现方法并给出了相关注意事项。 ... [详细]
  • REVERT权限切换的操作步骤和注意事项
    本文介绍了在SQL Server中进行REVERT权限切换的操作步骤和注意事项。首先登录到SQL Server,其中包括一个具有很小权限的普通用户和一个系统管理员角色中的成员。然后通过添加Windows登录到SQL Server,并将其添加到AdventureWorks数据库中的用户列表中。最后通过REVERT命令切换权限。在操作过程中需要注意的是,确保登录名和数据库名的正确性,并遵循安全措施,以防止权限泄露和数据损坏。 ... [详细]
  • 用Vue实现的Demo商品管理效果图及实现代码
    本文介绍了一个使用Vue实现的Demo商品管理的效果图及实现代码。 ... [详细]
  • Iamtryingtocreateanarrayofstructinstanceslikethis:我试图创建一个这样的struct实例数组:letinstallers: ... [详细]
  • C#多线程解决界面卡死问题的完美解决方案
    当界面需要在程序运行中不断更新数据时,使用多线程可以解决界面卡死的问题。一个主线程创建界面,使用一个子线程执行程序并更新主界面,可以避免卡死现象。本文分享了一个例子,供大家参考。 ... [详细]
  • 微信小程序导航跟随的实现方法
    本文介绍了在微信小程序中实现导航跟随的方法。通过设置导航的position属性和绑定滚动事件,可以实现页面向下滚动到导航位置时,导航固定在页面最上方;页面向上滚动到导航位置时,导航恢复到原始位置;点击导航可以平滑跳转到相应位置。代码示例也给出了具体实现方法。 ... [详细]
  • 如何优化Webpack打包后的代码分割
    本文介绍了如何通过优化Webpack的代码分割来减小打包后的文件大小。主要包括拆分业务逻辑代码和引入第三方包的代码、配置Webpack插件、异步代码的处理、代码分割重命名、配置vendors和cacheGroups等方面的内容。通过合理配置和优化,可以有效减小打包后的文件大小,提高应用的加载速度。 ... [详细]
  • Tkinter Frame容器grid布局并使用Scrollbar滚动原理
    本文介绍了如何使用Tkinter实现Frame容器的grid布局,并通过Scrollbar实现滚动效果。通过将Canvas作为父容器,使用滚动Canvas来滚动Frame,实现了在Frame中添加多个按钮,并通过Scrollbar进行滚动。同时,还介绍了更新Frame大小和绑定滚动按钮的方法,以及配置Scrollbar的相关参数。 ... [详细]
author-avatar
Because_of_you龙
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有