SQL分别存储文档中每个单词的最有效方法

 手机用户2702932507 发布于 2023-02-12 16:05

这是我的情况(或者见底部的TLDR):我正在尝试建立一个系统,通过几个文档搜索用户输入的单词并返回包含这些单词的文档.用户将搜索数千个文档,每个文档长度为10-100个页面,并存储在Web服务器上.

我现在的解决方案是将每个唯一的单词存储在一个带有ID的表中(英语中只有120 000个相关单词),然后在一个单独的表中存储单词id,它所在的文档,以及它出现在该文档中的次数.

例如:文件foo的文字是

abc abc def

和文档栏的文本是

abc def ghi

文件表将有

id | 名称

1 'foo'
2 'bar'

单词表:

id |

1 'abc'
2 'def'
3 'ghi'

Word文档表:

字ID | doc id | 事件

1        1        2
1        2        1
2        1        1
2        2        1
3        2        1

正如您所看到的,当您拥有数千个文档并且每个文档都有数千个独特单词时,Word文档表会非常快速地爆炸并且需要很长时间才能进行搜索.

TL; DR我的问题是:

如何在SQL数据库中存储来自大型文档的可搜索数据,同时保留使用我自己的搜索算法的能力(我知道SQL有一个内置于.docs和pdf的内容)基于自定义因素(如出现,以及对于将每个单词链接到文档及其在该文档中的属性的所有条目,没有一个完全庞大的表格?

很抱歉长时间阅读并感谢您的帮助!

1 个回答
  • 您是否考虑过使用lucene搜索API的C#.net实现,而不是使用SQL Server构建自己的搜索引擎?看看https://github.com/apache/lucene.net

    2023-02-12 16:05 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有