php实现自动获取生成文章主题关键词功能的深入分析_php实例
作者：手机用户2502895461 | 来源：互联网 | 2018-03-12 21:08
本篇文章是对php实现自动获取生成文章主题关键词功能进行了详细的分析介绍，需要的朋友参考下
以前写程序一直在逃避这个问题，tag什么的都是要求使用程序的人自行输入，对于某些懒人及为了程序的体验，则是希望可以有自动生成文章关键词，自动获取文章tag的类似功能，这次为了迎接新的项目，所以捣鼓了一晚上，研究了一下这个功能。
要实现自动获取关键词的功能，大概可以分成三步
1，通过分词算法将标题和内容分别进行分割，提取出关键词和频度。当前主要的两个算法是中科院的ICTCLAS和隐马尔可夫模型。但这两个都太高端，有一定的门槛，且都是只支持C++/JAVA。基于PHP的当前有两个是值得推荐的PSCWS和HTTPCWS。 SCWS于2008-03-08发布1.0.0 正式版，到现在最新版本已经到了1.0.4。PSCWS是它的PHP版。而HTTPCWS是张宴开发的，之前叫PHPCWS。PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。不过很遗憾目前仅支持Linux系统，尚未移植到win平台上。
2，将提取结果与现有词库进行比较，处理，去除无用的词得到最符合规则的关键词。这里主要就是要看词库了，我们可以自己定义词库，也可以使用现有的成熟词库。比如新浪和网易博客都有这个功能,。他们分词应该有不错的词库，因为他们都是大网站，而我呢，区区一个小程序员，不可能搞到什么权威的词库，所以只能从现有的开源程序上入手，看看他们的词库。
3，在处理后的提取结果中选择适当的作为最终的关键词，得到最符合当前内容的关键词，在这个阶段就是具体情况具体分析了，无论如何也不可能达到人的那种智能化。最多是。当前PHP类CMS都自有自己的提取关键词系统。
目前在网络上流传最广的是DEDECMS的分词源码，我做了测试，发现相当的呆，效果很不好。它先设置一个关键词长度，确定获取关键词的数量，然后取词，它认为标题分好的词就是所需关键词，在加上从正文中读取关键词只到达到这个所设置的长度，就是最终关键词了。另外类似“我们”等无意义的词也没有去除掉提取并被列为关键词的频率太高，甚至有时候还会把空格的HTML提出来做为关键词，亟待改进。不过如果作为辅助功能，它已经很好了。而discuz的稍微好一些，但是discuz并没有提供源码，只是提供了一个在线api。
而dede的分词也有好几个版本，最好的应该是最新版的吧，出现频率什么都有了，下面就以dede5.7的分词和discuz的api的结果对比下
测试例子：
$title="THINKPHP官方即将停止对2.0版本的支持";
$body="了更好地做好ThinkPHP框架的开发、维护和支持工作，官方宣布从2012年5月1日起s对2.0及之前版本的维护和支持，为了节能低碳考虑，同时也取消官网的相应版本和文档下载。
就此缅怀那些年，曾经一起开发的ThinkPHP版本吧！
关于ThinkPHP 2.0版本
ThinkPHP诞生于2006年，致力于WEB应用的快速开发，其2.0版本发布于2009年10月1日 ，在之前的1.*版本上完成新的重构和飞跃，当时是一次划时代的版本，为新版奠定了基础，同时也积累了较多的用户群和网站，随着框架的快速更新，和新版2.1、2.2和3.0版本的陆续发布，预示着ThinkPHP的3.0时代到来了，2.0的生命周期宣告结束。但基本上2.0的很多功能都延续或者完善到2.1版本中了，从2.0版本升级到2.1和2.2版本也相对轻松。2.2版本是2.*版本的最终版本，不再更新功能，仅做BUG修复。";
一、dede分词
将结果排序后如下
標題Array (
[THINKPHP] => 1
[官方] => 1
[即将] => 1
[停止] => 1
[对] => 1
[2.0] => 1
[版本] => 1
[的] => 1
[支持] => 1
)
内容Array (
[版本] => 12
[的] => 12
[和] => 8
[ThinkPHP] => 5
[2.0] => 5
[也] => 3
[2.2] => 3
[2.1] => 3
[开发] => 3
[3.0] => 2
[是] => 2
[快速] => 2
[到] => 2
[发布] => 2
[维护] => 2
[之前] => 2
[了] => 2
[新版] => 2
[支持] => 2
[框架] => 2
[同时] => 2
[从] => 2
对此如何取出最终的需要的关键词呢？ 初步思路是先去除“的”，“些”这些词，再按照内容的排序顺序，依次看分到是否出现在标题中出现即为所需的，这样可以取出一定量的词最为最终关键词。如上结果我们可以得到
版本 thinkphp 2.0 支持 停止
五个关键词。看起来结果还是可以接受的。
二、在来看discuz的，利用api得到的是一个xml文档，解析后得到的关键词是
的、快速、版本升级、开发、用户
五个词，第一个是“的”......
对比这两种方式发现第一种dede+后续处理的较为接近文档的内容，应该是稍好一些，而discuz的偏离了文章的主题，但是其取到词有一定的热门性
推荐阅读
-
本文讨论了Alink回归预测的不完善问题，指出目前主要针对Python做案例，对其他语言支持不足。同时介绍了pom.xml文件的基本结构和使用方法，以及Maven的相关知识。最后，对Alink回归预测的未来发展提出了期待。 ...
[详细]
蜡笔小新 2023-12-14 14:25:33
-
本文介绍了Android中高级面试的必知必会内容，并总结了相关经验。文章指出，如今的Android市场对开发人员的要求更高，需要更专业的人才。同时，文章还给出了针对Android岗位的职责和要求，并提供了简历突出的建议。 ...
[详细]
蜡笔小新 2023-12-14 14:53:02
-
-
在说Hibernate映射前，我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象，以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ...
[详细]
蜡笔小新 2023-12-14 10:57:47
-
本文介绍了在SpringBoot中集成thymeleaf前端模版的配置步骤，包括在application.properties配置文件中添加thymeleaf的配置信息，引入thymeleaf的jar包，以及创建PageController并添加index方法。 ...
[详细]
蜡笔小新 2023-12-14 10:11:46
-
本文详细介绍了Linux中进程控制块PCBtask_struct结构体的结构和作用，包括进程状态、进程号、待处理信号、进程地址空间、调度标志、锁深度、基本时间片、调度策略以及内存管理信息等方面的内容。阅读本文可以更加深入地了解Linux进程管理的原理和机制。 ...
[详细]
蜡笔小新 2023-12-13 21:31:18
-
本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题，并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别，指出了使用socket方式连接导致连接失败的原因。此外，还提供了相关链接供读者深入了解。 ...
[详细]
蜡笔小新 2023-12-13 17:48:58
-
本文主要讨论串匹配算法的性能评估，包括模式匹配、字符种类数量、算法复杂度等内容。通过借助C++中的头文件和库，可以实现对串的匹配操作。其中蛮力算法的复杂度为O(m*n)，通过随机取出长度为m的子串作为模式P，在文本T中进行匹配，统计平均复杂度。对于成功和失败的匹配分别进行测试，分析其平均复杂度。详情请参考相关学习资源。 ...
[详细]
蜡笔小新 2023-12-13 16:16:05
-
本文介绍了如何使用kaptcha库来实现Java验证码的配置和样式设置，包括pom.xml的依赖配置和web.xml中servlet的配置。 ...
[详细]
蜡笔小新 2023-12-13 13:58:25
-
本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息，并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境，并进行DNS解析。 ...
[详细]
蜡笔小新 2023-12-14 19:42:01
-
本文介绍了使用CentOS7.0 U盘刻录工具进行安装的详细步骤，包括使用USBWriter工具刻录ISO文件到USB驱动器、格式化USB磁盘、设置启动顺序等。通过本文的指导，用户可以轻松地使用U盘安装CentOS7.0操作系统。 ...
[详细]
蜡笔小新 2023-12-14 18:55:14
-
本文介绍了在VScode中设置格式化文档换行或不换行的方法，包括使用插件和修改settings.json文件的内容。详细步骤为：找到settings.json文件，将其中的代码替换为指定的代码。 ...
[详细]
蜡笔小新 2023-12-14 17:15:38
-
本文介绍了使用AJAX的POST请求实现数据修改功能的方法。通过ajax-post技术，可以实现在输入某个id后，通过ajax技术调用post.jsp修改具有该id记录的姓名的值。文章还提到了AJAX的概念和作用，以及使用async参数和open()方法的注意事项。同时强调了不推荐使用async=false的情况，并解释了JavaScript等待服务器响应的机制。 ...
[详细]
蜡笔小新 2023-12-14 16:12:01
-
本文介绍了数据库的存储结构及其重要性，强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离，可以实现对物理存储的重新组织和数据库的迁移，而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构，并介绍了表空间的概念和作用。 ...
[详细]
蜡笔小新 2023-12-14 16:00:02
-
本文讨论了如何优化解决hdu 1003 java题目的动态规划方法，通过分析加法规则和最大和的性质，提出了一种优化的思路。具体方法是，当从1加到n为负时，即sum(1,n)sum(n,s)，可以继续加法计算。同时，还考虑了两种特殊情况：都是负数的情况和有0的情况。最后，通过使用Scanner类来获取输入数据。 ...
[详细]
蜡笔小新 2023-12-14 13:11:00
-
本文介绍了在Windows系统下配置PHP5.6的步骤及注意事项，包括下载PHP5.6、解压并配置IIS、添加模块映射、测试等。同时提供了一些常见问题的解决方法，如下载缺失的msvcr110.dll文件等。通过本文的指导，读者可以轻松地在Windows系统下配置PHP5.6，并解决一些常见的配置问题。 ...
[详细]
蜡笔小新 2023-12-14 12:37:25
-
手机用户2502895461
这个家伙很懒，什么也没留下！
京公网安备 11010802041100号