热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

关于lucene:活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路

Lucene是业界最罕用的搜素引擎,咱们所熟知的solr和elasticsearch都是基于Lucene所实现。然而随着数据体量的一直减少,当处于万亿数据的场景之下,所有的惯例操作都会面临海量数据带来的微小压力,如何在保留Lucene高效的全文检索能力的状况下应答万亿数据的挑战,同时突破大数据技术栈各组件性能繁多,适配简单的问题。

— QCon寰球软件开发大会(北京) —

Lucene是业界最罕用的搜素引擎,咱们所熟知的solr和elasticsearch都是基于Lucene所实现。然而随着数据体量的一直减少,当处于万亿数据的场景之下,所有的惯例操作都会面临海量数据带来的微小压力,如何在保留Lucene高效的全文检索能力的状况下应答万亿数据的挑战,同时突破大数据技术栈各组件性能繁多,适配简单的问题。针对于此,咱们将会在本次QCon寰球软件开发大会上分享咱们这些年在实现基于Lucene的万亿数据挑战中所遇到的问题和解决方案。

01 讲师介绍

郑其华 录信数软 技术总监

原FNST(富士通南大)资深工程师,富士通零碎监督中间件产品项目经理,10年以上软件开发与保护教训

富士通中间件Lifecycle Management和Job Management认证专家

曾负责华为RTOS(实时嵌入式操作系统)的保护,对Linux内核、零碎监督等方面有丰盛教训

中汽研《2020汽车企业数字化研讨会》受邀演讲嘉宾

02 内容预报

万亿数据的挑战与实现

万亿挑战之一:数据存储

如何解决读写不平衡问题,让磁盘盲目分工,实现主动平衡?

如何解决数据安全问题,防止磁盘损坏、误删失落对于生产的影响?

如何解决数据存储老本过高,适度依赖于SSD盘的硬件困局?

万亿挑战之二,检索性能

如何实现在万亿数据的全文检索中的秒级响应?

万亿挑战之三,多维统计

如何升高IO耗费,实现百万条数据霎时导出?

万亿挑战之四,区域检索

如何晋升地理位置检索能力,晋升地理位置检索的精确性?

万亿挑战之五,计算框架

如何晋升Spark性能从而大幅提高零碎的响应工夫?

5月29日,咱们北京见!


推荐阅读
  • javajigsaw2015年12月1日,星期二,在OpenJDK邮件列表中,MarkReinhold确认了许多人的期望:J ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • ES基本原理名词解释In-memorybuffer:ES内存缓冲区,新建的document写入的地方document:索引和搜索的 ... [详细]
  • 怎么提高ElasticSearch 索引速度
    这篇文章主要为大家展示了“怎么提高ElasticSearch索引速度”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究 ... [详细]
  • solr倒排索引(转载)
    原文地址:http:blog.csdn.netchichengitarticledetails9235157http:blog.csdn.netnjpjsoftdevarticle ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构,包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体,形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低,使得整体存储系统的平均价格降低。同时,高速缓存的存取速度可以和CPU的工作速度相匹配,进一步提高程序执行效率。 ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • ElasticSearch成功安装完毕。 测试数据添加出现{  error:{    root_cause ... [详细]
  • Windows简单部署Exceptionless
    部署准备Elasticsearch、Exceptionless.API、Exceptionless.UI、URLRewrite、.NET运行时 1、安装ElasticSearch1 ... [详细]
  • 开发笔记:Spark Java API 之 CountVectorizer
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了SparkJavaAPI之CountVectorizer相关的知识,希望对你有一定的参考价值。 ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • 一份来自清华的数据分析笔记,请查收!
    之前发过很多数据分析的文章,收到不少好评,但也有一些困惑:入门数据分析该学哪些知识点?该看哪些书?是从Pyth ... [详细]
  • bat大牛带你深度剖析android 十大开源框架_请收好!5大领域,21个必知的机器学习开源工具...
    全文共3744字,预计学习时长7分钟本文将介绍21个你可能没使用过的机器学习开源工具。每个开源工具都为数据科学家处理数据库提供了不同角度。本文将重点介绍五种机器学习的 ... [详细]
  • 开发笔记:大三上寒假15天第5天
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了大三上寒假15天--第5天相关的知识,希望对你有一定的参考价值。昨天的下载完成后运行报错,应该是下载的spark版本和教 ... [详细]
author-avatar
Lucifer叨
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有