news 2026/5/8 18:25:03

9、词嵌入、循环神经网络与序列到序列学习

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
9、词嵌入、循环神经网络与序列到序列学习

词嵌入、循环神经网络与序列到序列学习

1. 循环神经网络(RNN)输出处理

在处理RNN输出时,我们可以使用以下代码对输出进行形状调整:

output2 = tf.reshape(output,[batchSz*windowSz, rnnSz]) logits = matmul(output2,W)

这里的W是一个线性层(Wo),它将RNN的输出转换为图4.5中的对数概率(logits)。接着,我们可以将其传递给tf.nn.sparse_softmax_cross_entropy_with_logits,该函数会返回一个损失值的列向量,通过tf.reduce_mean可以将其缩减为一个单一的值。对这个最终值取指数,就能得到困惑度(perplexity)。

改变RNN输出的形状,一方面是为了便于教学,因为这样可以复用tf.matmul;另一方面是出于计算的考虑,它能使数据符合稀疏softmax所需的形状。不过,在其他情况下,下游计算可能需要原始形状,这时我们可以使用TensorFlow中处理多维张量的函数,例如:

tf.tensordot(outputs, W, [[2], [0]])

这段代码会在outputs的第二个分量(从0开始计数)和W </

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/3 5:45:03

UI-TARS桌面版:零代码AI自动化操作完整指南

UI-TARS桌面版&#xff1a;零代码AI自动化操作完整指南 【免费下载链接】UI-TARS-desktop A GUI Agent application based on UI-TARS(Vision-Lanuage Model) that allows you to control your computer using natural language. 项目地址: https://gitcode.com/GitHub_Trend…

作者头像 李华
网站建设 2026/5/7 6:20:16

8051单片机仿真中Proteus示波器配置手把手教程

手把手教你用Proteus示波器调试8051单片机信号你有没有遇到过这种情况&#xff1a;在Keil里写好了代码&#xff0c;烧进8051单片机仿真&#xff0c;可LED就是不闪、串口发不出数据&#xff1f;想查问题吧&#xff0c;又没有真实示波器&#xff0c;只能靠“猜”和“试”。别急—…

作者头像 李华
网站建设 2026/5/7 1:24:13

NSFC数据查询工具:科研工作者的高效数据获取解决方案

NSFC数据查询工具&#xff1a;科研工作者的高效数据获取解决方案 【免费下载链接】nsfc 国家自然科学基金查询 项目地址: https://gitcode.com/gh_mirrors/nsf/nsfc 在科研工作中&#xff0c;快速获取和分析国家自然科学基金项目数据是每个研究者面临的共同挑战。面对海…

作者头像 李华
网站建设 2026/5/2 14:38:44

Python PSD解析实战:告别手动操作,拥抱智能自动化

还在为处理复杂的PSD文件而烦恼吗&#xff1f;&#x1f914; 面对层层嵌套的图层、五花八门的特效&#xff0c;传统的图像处理方式显得力不从心。今天&#xff0c;我将带你探索Python PSD解析的高效解决方案&#xff0c;让你在自动化设计资源管理和批量PSD处理方面游刃有余&…

作者头像 李华
网站建设 2026/4/23 22:52:25

Dify Webhook事件通知机制集成教程

Dify Webhook 事件通知机制集成实践 在企业级 AI 应用快速落地的今天&#xff0c;一个常见的挑战是&#xff1a;如何让大模型驱动的智能系统与现有的业务流程真正“打通”&#xff1f;比如&#xff0c;当用户在聊天界面问完“怎么退货”&#xff0c;客服系统能不能立刻记录这条…

作者头像 李华