毕设分享 基于SPIMI的新闻搜索引擎系统(源码+论文)

0 前言

🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。并且很难找到完整的毕设参考学习资料。

为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目提供大家参考学习，今天要分享的是

🚩毕业设计 基于SPIMI的新闻搜索引擎系统(源码+论文)

🥇学长这里给一个题目综合评分(每项满分5分)

难度系数：3分
工作量：3分
创新点：4分

🧿 项目分享:见文末!

1 项目运行效果

视频效果：

2 设计概要

本文简要介绍了基于Internet的新闻搜索引擎的基本体系结构,并详尽的阐述了新闻搜索引擎的基本实现原理。基于这些原理自己实现了一个简单的搜索—新闻搜索。本新闻搜索引擎是在特定的web网页中由超链接来解析和搜索新闻，通过索引以后写入到数据库中去，首先用户在客户端输入需要查找的新闻关键词，然后web服务器从索引数据库找到与该关键词匹配的新闻，呈现在用户面前。

为实现该课题，本新闻搜索引擎使用python语言开发，调用相关技术，通过爬虫代码获取新闻网站的数据，提取信息，并对新闻数据的文本进行预处理，索引和检索，使用BM25聚类评分算法可以按相关度、时间和热度排序，实现相似新闻聚类，实现相关新闻推荐。

抓取器根据相应的协议对网络站点进行访问，并收集各个站点的信息，然后将抓取到的网页数据送入解析器进行解析，将解析后从页面中提取出来的Url信息送入Url列表中，进行下一轮抓取，解析后的页面信息以文本文件的形式保存在数据库中。然后依据词典进行词汇切分，得到网页的特征信息，并进行词频、词位(置)、词长、网页等级的统计分析，在此基础上建立索引数据库。在用户进行检索时，根据用户输入的查询关键字，对索引数据库进行访问，最后将查询结果按照某种排序算法进行排序，并将查询结果以图形界面的方式返回给查询用户。

3 核心部分

本设计没有直接使用布尔检索，而是采用构建倒排索引的方法，如果采用布尔检索的话，它仅仅只能返回含有指定关键字的文件,举个例子，在我们搜索“运动健美”的时候，如果文档中含有“运动”、“健美”，那么该文档将会被退回。

虽然布尔检索的效率非常高，它的速度非常块，但是对于结果的排序、文档关键词出现频率的统计，它就无法完成，举个例子，一个文档中如果出现了23个“节食”，另一个文档中出现了1个“节食”，显然他们的相关度是不一样。所以需要对布尔检索进行一定的改进。

在文档分析中，我们不仅要判断关键字存在与否，还要计算文档中关键字的频率，也就是文档中关键字的频次，在这里我们简称为词频（tf）；并记录该文档的总长度（ld）和不同文件中指定字词出现的次数，简称为文档频率
（df）。

篇幅有限，更多详细设计见设计论文

4 最后

项目包含内容

完整详细设计论文

🧿 项目分享:见文末!