我有一堆json对象需要压缩,因为它占用了太多的磁盘空间,大约20 gigs价值几百万.
20 gigs
理想情况下,我想要做的是单独压缩每个,然后当我需要读取它们时,只需迭代加载和解压缩每个.我尝试通过创建一个文本文件来做到这一点,每个行都是通过zlib压缩的json对象,但这是失败的
decompress error due to a truncated stream,
decompress error due to a truncated stream
我认为这是由于包含新行的压缩字符串.
有人知道这样做的好方法吗?