我们需要序列化一些数据以放入solr和hadoop.
我正在评估序列化工具.
我名单中的前两位是Gson和Avro.
据我所知,Avro = Gson + Schema-In-JSON
如果这是正确的,我不明白为什么Avro如此受Solr/Hadoop的欢迎?
我在互联网上搜索了很多,但找不到一个正确的答案.
它所说的任何地方,Avro都很好,因为它存储架构.我的问题是如何处理该架构?
对于Hadoop中的非常大的对象可能是好的,其中单个对象存储在多个文件块中,使得存储每个部分的模式有助于更好地分析它.但即使在这种情况下,模式也可以单独存储,只需对其进行引用就足以描述模式.我认为没有理由为什么架构应该成为每一件作品的一部分.
如果有人可以给我一些好的用例,Avro如何帮助他们,而Gson/Jackson不能达到此目的,那将非常有帮助.
此外,Avro网站上的官方文档说我们需要为Avro提供一个架构,以帮助它生成Schema + Data.我的问题是,如果输入架构并将相同的数据发送到输出以及数据的JSON表示,那么Avro正在实现什么额外的?我可以不通过使用JSON序列化对象,添加我的输入模式并将其称为Avro来自己做吗?
我真的很困惑!