news 2026/6/13 16:01:34

前期工作总结

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
前期工作总结

任务:各自把前期工作总结,包括主要使用的模型或技术介绍,附上博客链接。

1. BERT模型的改进

使用模型为bge-large模型替换bert。

bge模型(M3)以及BGE模型使用的预训练方法RetroMAE的具体技术介绍见:《M3-Embedding》汇报-CSDN博客

将BERT模型替换为BGE模型之后,由另一位同学在此基础上加入rerank模型进行重排序。

之后将large+rerank模型与有数据库版本的心法系统进行整合。

测试主要包含以下的不足:

  1. rerank模型会出现多线程错误:由于模型比较大,计算速度很慢,当带搜索框输入一条问题,并删除,再接着输入问题时,会因为前端快速连续搜索导致多个请求同时到达,导致多线程并发问题。但是只要删掉问题,等过一会模型就会自动恢复。(但是测试的结果展示,rerank加入确实有助于问答对的匹配)
  2. 关于速度的问题:模型加载缓慢,代码运行启动时,可能需要半小时。搜索框搜索稳定时,可以需要5分钟时间。
  3. 关于代码部分:进行整合的过程中发现,其实代码里面有一些逻辑问题。比如关于阈值问题,由于rerank模型控制输出5条结果,那么阈值的作用就显得没那么重要了,那么就需要考虑删除的问题。还有一些比较细节的问题,但是由于时间和测试比较麻烦(因为启动时间很长)的原因,没有进行一一排除。但是总体来说,代码是可以跑通的。

2. 标签预测

目前暂时使用利于语义来匹配标签预测:将新添加的问答对进行一个相似度计算,计算出最相似的问答对,将最相似的问答对的标签赋给新进来的问答对。

具体使用的逻辑如下:

  1. 计算问题与知识库中所有问题的相似度,取最相似的5个问题。
  2. 统计这5个问题中每个一级标签的权重(权重为所有属于该一级标签的问题的相似度之和)。
  3. 选择权重最高的一级标签。
  4. 然后,针对该一级标签,统计这5个问题中属于该一级标签的问题的二级标签,每个二级标签的权重为包含它的问题的相似度之和。
  5. 选择权重最高的1-3个二级标签(如果不足3个,则全部选择;如果超过3个,选前3个)。

利用上面逻辑来保证一级标签和二级标签的从属关系。

上面方法的不足如下:

  1. 如果数据集中没有与新问题相似的问题,那么预测可能不准确。

  2. 如果数据集中存在错误标签,也会影响预测结果。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/12 12:23:06

GitHub中文排行榜终极指南:新手快速发现优质开源项目的完整教程

GitHub中文排行榜终极指南:新手快速发现优质开源项目的完整教程 【免费下载链接】GitHub-Chinese-Top-Charts :cn: GitHub中文排行榜,各语言分设「软件 | 资料」榜单,精准定位中文好项目。各取所需,高效学习。 项目地址: https:…

作者头像 李华
网站建设 2026/6/12 12:23:13

Qt主窗体关闭与quit()的退出机制差异

1.记忆要点1.关闭窗体关键判断:Qt内部会检查当前活跃窗口数量。若这是最后一个顶层窗口(QApplication::topLevelWindows()返回空),则自动调用QApplication::quit();否则程序继续运行(如存在其他独立窗口&am…

作者头像 李华
网站建设 2026/6/12 12:23:12

基于SSM框架的宠物共享平台设计与实现【高分】

如果你需要计算机开发、大数据、人工智能或信息安全方面的专业支持,我可以为你提供高质量、性价比突出的解决方案。 下拉到文章底部添加微信即可联系我。 高效负责、结果导向、保证通过。 绪论 需求分析 角色分析 非功能分析 可行性分析 系统设计 功能图 数据库 …

作者头像 李华
网站建设 2026/6/12 12:23:13

29、Python 进程与线程管理全解析

Python 进程与线程管理全解析 1. 替代复杂 Shell 管道的方法 在处理复杂的 Shell 管道时,我们可以使用内置的替代方法。例如,使用 pwd 模块来替代 Subprocess 进行一些操作。以下是具体示例: import pwd pwd.getpwnam(root) # 输出: (root, ********, 0, 0, System A…

作者头像 李华
网站建设 2026/6/12 12:23:14

大屏互动游戏——2026「马上抱富」

熹乐互动2026年「马上抱富」摇一摇大屏互动游戏,依托分布式架构边缘计算核心技术底座,攻克行业高并发场景下的延迟、卡顿痛点,为年会、品牌营销等场景打造极致流畅的互动体验,用技术实力赋能商业价值爆发。1. 毫秒级实时同步&…

作者头像 李华