news 2026/4/12 11:34:15

4.自注意机制__self-attention

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
4.自注意机制__self-attention

自注意机制也是一个常见的network架构

目前来说,输入都是一个向量,但是如果我们的输入变成了一排向量并且数目可以改变呢?这就是自注意机制解决的问题,现在model每次输入的sequence长度都不一样,如下图

假设network现在要进行文字处理,那么每一个输入的单词都可以用一个向量来表示,所以此时我们的向量长度是可以改变的,因为每个句子的单词数不一样

如何用向量来表示一个单词呢?最简单的我们可以用one-hot-encoding,用一个很长的向量,这个

向量维度和世界上的词汇一样,每一个维度都对应一个词汇,但是这样就有一个问题, 假设每一个词汇之间都没有关系,看不出来cat和dog都是动物,apple是植物

另一个方法是word embedding,我们会给每一个词汇一个向量,这个向量是有语义的,如果把word embedding全部画出来的话,那么可能会发现,所有的动物在一起,植物在一起,所有的动词在一起,word embedding不是本次重点,不讨论

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/10 1:04:16

如何用ChatGPT提升开发效率?实战技巧大公开

ChatGPT在软件测试中的效率革命 随着AI技术的快速发展,ChatGPT正成为测试工程师的智能协作者。本文聚焦六大核心场景,结合可落地的操作指南,帮助测试人员将AI能力深度融入工作流。 一、智能测试用例生成:覆盖度提升300%的秘诀 1…

作者头像 李华
网站建设 2026/4/10 7:23:17

JavaScript 数组合并性能优化:扩展运算符 vs concat vs 循环 push

在日常开发中,我们经常需要合并数组,比如批量导入数据、分页加载列表、处理大量日志等场景。当数组规模较小时,用什么方法都差不多;但当数组达到成千上万条时,选择不当的方法可能会导致栈溢出或内存飙升。 今天我们就…

作者头像 李华
网站建设 2026/4/1 18:06:48

python项目打包为镜像

1.生成 requirements.txt 在项目根目录下,使用 pipreqs生成依赖文件,确保镜像构建时安装正确的包 pip install pipreqs pipreqs . --encoding=utf8 --force 2.编写 Dockerfile # 使用官方 Python 轻量级镜像 FROM python:3.11-slim# 设置容器内工作目录 WORKDIR /app# 复制…

作者头像 李华
网站建设 2026/4/1 16:55:32

Spark Streaming与大数据批处理的结合应用

Spark Streaming与大数据批处理的结合应用:实时与离线的完美搭档 关键词:Spark Streaming、大数据批处理、流批结合、实时计算、离线分析 摘要:在大数据时代,企业既需要实时掌握业务动态(比如用户刚下单的商品),也需要挖掘历史规律(比如过去一年的销售趋势)。Spark St…

作者头像 李华
网站建设 2026/4/9 16:05:20

优化提示内容交互设计的9个实用技巧

优化提示内容交互设计的9个实用技巧:让AI更懂你的“说话之道” 一、引入与连接:为什么你需要学“提示设计”? 清晨,你打开ChatGPT,输入:“帮我写篇关于秋天的文章。”半小时后,你看着屏幕上那篇…

作者头像 李华
网站建设 2026/3/30 0:47:57

欧姆龙CP1H + CIF11与欧姆龙E5cc温控器通讯程序分享

欧姆龙CP1HCIF11与欧姆龙E5cc温控器通讯程序 功能:全新原创可直接应用生产程序。 通过昆仑通态触摸屏,串口网关模式,欧姆龙CP1H的CIF11通讯板,实现对欧姆龙E5CC温控器 设定温度值,读取实际温度,设定探头类型…

作者头像 李华