亿级查询nosql,查询百万级数据

什么是nosql

nosql是not only sql的意思。是近今年新发展起来的存储系统。当前使用最多的是key-value模型，用于处理超大规模的数据。

以下是摘自百度百科中的一部分

NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。

当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的BigTable与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一些开源的 NoSQL 体系，如Facebook 的Cassandra， Apache 的HBase，也得到了广泛认同。从这些NoSQL项目的名字上看不出什么相同之处：Hadoop、Voldemort、Dynomite，还有其它很多。

NoSQL与关系型数据库设计理念比较

关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。而非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。

上亿数据量用什么数据库最好

看你的是什么数据：

关系型数据：可以参考ali和京东用mysql集群来解决

非关系型数据：使用nosql集群来解决，MongoDB，Redis等

当然数据量特别大，查询很频繁的要利用好缓存

nosql为什么比sql快

因为索引多。同一条个数据，NOSQL占用空间是一般SQL数据库的3-5倍。

你可以理解成NOSQL默认开启全字段索引和全文索引什么的。

其实在十万级以下的数据，只要SQL建好索引的情况并不比NOSQL慢。NOSQL主要是用于千万上亿级的时候。

为什么使用nosql

因为速度快。你上亿级数据的情况下NOSQL是比普通SQL效率更高，哪怕有索引。毕竟NOSQL的存储空间使用是普通SQL三倍多。基本都用在索引方面了。

如果是全文搜索关键字，左右模糊等就更甩SQL几条街了

nosql和sql的区别

一样是数据库

NOSQL查询速度快，但是占用空间也大（都去索引那边了）

但是NOSQL查询复杂的逻辑关系的时候，只能批量获取到本地去统计而SQL能通过条件和关联表等方式进行筛选只显示符合条件的语句。

NOSQL用于无条件或少条件下的存取。百亿级数据也能快速取出。

SQL用于复杂的逻辑存取。在数据量不多的情况下也能跟NOSQL一样用于数据存储。

10亿级流数据交互查询，为什么抛弃mysql选择voltdb

10亿级流数据交互查询，为什么抛弃mysql选择voltdb

作者 谭正海、武毅 发布于 2016年8月18日 | 被首富的“一个亿”刷屏？不如定个小目标，先把握住QCon上海的优惠吧！讨论

分享到：微博微信FacebookTwitter有道云笔记邮件分享

稍后阅读

我的阅读清单

大数据时代，随着数据量的爆炸式增长，对于数据的处理速度要求也越来越高，以往基于MySQL的数据处理方案已无法满足大吞吐、低延迟的写入和高速查询的场景；百分点总结出了一套完整的解决方案，本文就带你一同了解VoltDB在流数据交互查询的应用实践。

流式数据交互查询场景

在百分点，每天有10亿条记录产生，针对这些大量实时产生的数据，不仅要做到实时写入，类似推荐调优、数据验证等查询要在秒级响应。有简单的单条验证，也有几个小时或一天的聚合计算，也有基于几千万/几亿数据表间的联合聚合查询。例如如下SQL查询：

对于前期的MySQL方案，虽然已经根据一定规则做了人工的分库，但是对于上面SQL中的表Event落在单机上的数据量达到几千万，Result表也近千万，在这样的大表之间进行复杂的联合聚合查询，MySQL查下来要花费30分钟左右，甚至更长，或是没响应了。

因此在针对同时要求大吞吐、低延迟的写入和高速查询的场景下，基于MySQL的现存方案完全无法实现。在不放弃SQL语句的便利基础上，经历过多种选型和方案调研，最终选择了VoltDB来解决此类问题。

相关厂商内容

携程的推荐及智能化算法及架构体系实践

Autodesk基于Spark自建大数据平台的实践经验

大数据与电商四大核心要素

阿里巴巴数据研发体系的建立和管理之道

苏宁云商数据平台实时化实践

相关赞助商

QCon上海2016，10月20~22日，上海·宝华万豪酒店，精彩内容抢先看！！

如上图，线上的全量流量，通过Streaming总线同时到达VoltDB和离线Hive表。不同的是，数据写入VoltDB使用实时方式，写入Hive使用批量方式。新的数据要求在极短的延迟内马上写入VoltDB待查询；批量写入Hive的数据也可以做到小时级以内刷写到对应分区。

VoltDB简介

VoltDB是一种开源的极速的内存关系型数据库，由Ingres和Postgres联合创始人Mike Stonebraker带领开发的NewSQL，提供社区版本和商业版本。VoltDB采用shard-nothing架构，既获得了NoSQL的良好可扩展性以及高吞吐量数据处理，又没有放弃传统关系型数据库的事务支持---ACID。

一般VoltDB数据库集群由大量的站点(分区)组成，分散在多台机器上，数据的存储与处理都是分布在各个站点的，架构图如下所示：

如上图，集群有3个节点、每个节点1个站点构成。因此图中的表都只分成3个区，当然也可以分成更多的区，那么一张表在单个节点上则存在多个分区。

具体在使用上涉及以下几个概念：

客户端可以连接集群中任意一个节点，集群中所有节点是对等的，采用的也是水平分区的方式；

每张表指定一个字段作为分区键，VoltDB使用该键采用哈希算法方式分布表数据到各个分区。事实上VoltDB中存在两种类型的表，一种是分区表，还有一种叫做”Replicated table”。”Replicated表”在每个节点存储的不是某张表的部分数据，而是全部数据，适用于小数据量的表。

这里我们主要看重分区表，分区表的分区字段的选择很重要，应该尽量选择使数据分散均匀的字段。

VoltDB支持的客户端语言或接口：

C++

C#

Erlang

Go

Java

Python

Node.js

JDBC 驱动接口

HTTPJSON 接口 (这意味着所有能实现http请求语言，都能编写VoltDB的客户端程序，且非常直观)