Hadoop用例场景

我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见.虽然我很了解像MySQL这样的数据库,但我是这项技术的新手.

我们正在创建一种用于分析社交媒体数据的产品.因此输入数据将是大量的推文,Facebook帖子,用户配置文件,YouTube数据和来自博客的数据等​​.除此之外,我将有一个Web应用程序来帮助我查看和分析这些数据.正如要求所表明的那样,我需要一种实时系统.因此,如果我有一条推文,我想将它提供给我的网络应用程序,以便进行处理.批量数据处理可能不适合我的应用程序.

我的问题是:

Hadoop引擎对我来说是个不错的选择吗？

我的决定应该以什么为参数？

与Hadoop相比,使用Multi Cluster MySQL引擎也是一个不错的选择吗？

在Hadoop成为一个好选择的数据的大小和速度方面是否有任何基准？

samthebest.. 6

Hadoop不适合近实时/交互式分析.Hadoop被设计用于进行数小时数据的大批量处理.我以前用的Hadoop来处理,这是大约10 GB或更多(这仍然是一个有点矫枉过正)任何数据集,一旦其获得的100 GB,那么你杰福想要的东西Hadoop等.

现在我的建议是针对Spark,因为它更现代,更快,更灵活,更强大,并且具有SparkStreaming模块,可实现更接近实时的分析.阅读所有关于它的内容!https://spark.apache.org/