Lucene的doc_values如何实现？

我看到了“ doc_values”的ES文档http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/doc-values.html说

“文档值是在索引时而不是搜索时生成的”，那么如果使用doc_values将生成什么？

“ doc值是预先构建的，并且初始化速度要快得多”，为什么它要快得多？

“但是没有使用堆内存”，那么使用页面缓存吗？

有人可以向我解释doc_values的实现方式以及何时使用吗？我定期用jstat检查我的堆使用情况，我发现我还有足够的空间使用。

“文档值是在索引时而不是搜索时生成的”，那么如果使用doc_values将生成什么？

我们需要在数据之上使用柱状视图查看两种类型的工作负载：排序和聚合。在当前版本的Elasticsearch中，有两种情况：

该字段仅被索引。在这种情况下，如果您开始在给定的字段上进行排序/汇总，数据将被懒惰地反转，并在搜索时放入缓存中，以便您可以访问给定文档ID的值。这意味着诸如

foo -> 0, 1 bar -> 1

将转换为以下数据结构

0 -> foo 1 -> foo, bar

该字段已启用doc值。在这种情况下，数据将在索引时间以列格式存储。搜索时您需要做的所有事情就是加载有关您的字段及其编码方式的一些微小的元数据。然后，将直接从磁盘读取数据（依靠文件系统缓存来提高性能）。

“ doc值是预先构建的，并且初始化速度要快得多”，为什么它要快得多？

我提到的这种反转换过程实际上是占用大量CPU和I / O的资源。结果放入缓存中，但是首次访问仍然很慢，这会损害大型合并后立即运行的所有查询的延迟。您可以通过急于加载字段数据来解决此问题，但是即使它可以改善响应时间，也可以将问题转移到其他地方，并且对索引的更改将需要更长的时间才能看到，因为elasticsearch将在新点之前等待字段数据被加载索引上的即时视图可供搜索。

另一方面，使用doc值，您只需要从磁盘读取一些微小的元数据就可以了。

“但是没有使用堆内存”，那么使用页面缓存吗？

究竟！Doc值需要很少的堆内存，主要是有关字段字段以及事物如何在磁盘上编码的元数据。其余的直接从磁盘读取，并依靠文件系统缓存来提高性能。

有人可以向我解释doc_values的实现方式以及何时使用吗？我定期用jstat检查我的堆使用情况，我发现我还有足够的空间使用。

这有点复杂，因为有不同的情况……例如：

取决于字段的类型（数字还是字符串）

字段是单值还是多值

领域的基数

某些数据模式...例如，在对数字字段进行编码时，我们检查公共除数，以便在所有值共享公共除数的情况下进行更有效的压缩。如果您以秒或天为单位对时间戳进行编码，通常会发生这种情况，因为所有值都是1000的倍数。

但是实际上，要知道的重要一点是，它基本上是一个按顺序读取的非常大的mmap文件，因此即使基于磁盘，它仍然对您的I / O系统友好。

如果您对此感兴趣，可以阅读更多有关它的内容。

关于何时应该使用doc值，我认为您应该在计划进行排序或汇总的所有字段上启用doc值。在下一个Elasticsearch主版本中，有一个关于默认启用doc值的正在进行的讨论。