MG4J是什么

MG4J可以让你为大量的文档集合构建一个被压缩的全文本索引&＃xff0c;通过使内插编码(interpolative coding)技术。

虽然MG4J&＃xff08;Managing Gigabytes for Java&＃xff09;不是一个像Lucene、Egothor和Xapian那样的信息检索库&＃xff0c;但是我们相信正在读这本书的每一位软件工程师都应该知道它&＃xff0c;因为它对构建Java信息检索库提供了低水平的支持。MG4J是在一本很流行的书问世之后被命名的&＃xff0c;这本书是由H.Witten&＃xff0c;Alistair Moffat和Timothy所写&＃xff0c;名字是《管理十亿字节&＃xff1a;压缩并且索引文档和图片》。在使用他们的分布式、可容错的网页爬虫UbiCrawler收集到大量的网页数据后&＃xff0c;它的作者需要一个软件来解析那些收集来的数据&＃xff0c;由于这个需求&＃xff0c;MG4J诞生了。

MG4J的库提供了优化的类来处理I/O&＃xff0c;转化索引文件的压缩[1]  等等。这个项目的主页是&＃xff1a;http://mg4j.dsi.unimi.it/&＃xff1b;标记库是免费的、开源的&＃xff0c;在LGPL许可的方式发布