news 2026/4/15 18:32:56

交互式世界建模新方案!腾讯混元发布世界模型WorldPlay,兼顾实时生成与长期几何一致性;5万条样本!Med-Banana-50K支持增删病灶双向编辑

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
交互式世界建模新方案!腾讯混元发布世界模型WorldPlay,兼顾实时生成与长期几何一致性;5万条样本!Med-Banana-50K支持增删病灶双向编辑

世界模型正驱动计算智能领域的重心逐渐从语言任务拓展至视觉与空间推理,通过构建动态三维环境的模拟能力,这些模型使智能体得以感知并与复杂场景交互,从而为具身智能、游戏开发等领域开启了新的研究与应用前景。世界模型的前沿正聚焦于实时交互式视频生成,尽管已取得显著进展,但如何同时达成实时生成的低延迟与长期几何的高一致性,仍然是该领域悬而未决的关键问题。

基于此,腾讯混元团队推出了世界模型 WorldPlay,能够实现实时、交互式的世界建模,并保持长期的几何一致性,从而有效解决了现有方法在生成速度与内存占用之间的固有权衡。该系统的实现包括三项关键技术创新:

*双重动作表示法:采用双重动作表示,实现对用户键盘与鼠标输入的稳健动作控制,确保交互响应的准确性与稳定性。

*重构上下文记忆机制:为保障长期一致性,该模型设计了一种动态重构上下文记忆模块,能够重建历史帧的上下文信息,并通过时间重构策略,保持几何关键但时间久远的帧仍可被访问,从而显著缓解记忆衰减问题。

*情境强迫(Context Forcing)蒸馏方法:研究团队提出了一种专为记忆感知模型设计的新型蒸馏方法,称之为「情境强迫」。该方法通过对齐教师模型与学生模型之间的记忆上下文,使学生模型在保持实时推理速度的同时,不丧失利用远程信息的能力,有效抑制误差偏移。

WorldPlay 能够以 24 FPS 的速率稳定生成长序列、720p 的高清流媒体视频,在多项指标上优于现有技术,并在多样化场景中展现出优秀的泛化能力。通过提供系统化的控制、记忆和提炼框架,WorldPlay 在创建实时且一致的世界模型领域迈出了关键一步。

目前,HyperAI超神经官网已上线了「HY-World 1.5: 交互式世界建模系统框架」,快来试试吧~

在线使用:https://go.hyper.ai/Dgd3Z

12 月 29 日-1 月 2 日,hyper.ai 官网更新速览:

  • 优质教程精选:3 个

  • 热门百科词条:5 条

  • 1 月截稿顶会:10 个

访问官网:hyper.ai

公共教程精选

1. HY-World 1.5: 交互式世界建模系统框架

HY-World 1.5(WorldPlay)是腾讯混元团队发布的首个具有长期几何一致性的开源实时交互世界模型。该模型通过流式视频扩散技术实现实时交互世界建模,解决了当前方法中速度与内存之间的权衡问题。

在线运行:https://go.hyper.ai/Dgd3Z



Demo 页面

2. Maya1:高真实感情感语音生成服务

Maya1 是由 Maya Research 发布的一款高保真情感文本转语音(TTS)模型,专为高质量的语音合成任务设计,具有丰富的情感表达和可控的语音风格。该模型专注于通过自然语言描述准确建模说话者的情绪状态、说话速度、语调、音色和表现力,能够生成高度逼真的语音输出,极其接近人类表达。

在线运行:https://go.hyper.ai/RmmI3

效果示例

3. RFdiffusion3:蛋白质设计模型

RFdiffusion3(RFD3)是华盛顿大学蛋白质设计研究所发布的一个模型。这一最先进的生物设计 AI 模型能够生成几乎与活细胞中任何分子相互作用的新型蛋白质,解决了长期以来令蛋白质工程师感到沮丧的研究难题。

效果示例

在线运行:https://go.hyper.ai/gv4Rz

热门百科词条精选

1. 每秒帧数 Frames Per Second (FPS)

2. 双向长短期记忆 Bi-LSTM

3. 门控注意力 Gated Attention

4. 具身导航 Embodied Navigation

5. 门控循环单元 Gated Recurrent Unit

这里汇编了数百条 AI 相关词条,让你在这里读懂「人工智能」:

https://go.hyper.ai/wiki

一站式追踪人工智能学术顶会:https://go.hyper.ai/event

以上就是本周编辑精选的全部内容,如果你有想要收录 hyper.ai 官方网站的资源,也欢迎留言或投稿告诉我们哦!

下周再见!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/27 17:44:02

js获取本地视频流并播放

直接上代码<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width, i…

作者头像 李华
网站建设 2026/4/8 8:55:32

wazuh-主动拉黑

拉黑命令 cd /var/ossec/active-response/bin ls default-firewall-drop firewall-drop ipfw npf restart-wazuh disable-account host-deny kaspersky pf route-null firewalld-drop ip-customblock kaspersky.py re…

作者头像 李华
网站建设 2026/4/11 4:00:02

ue4 我的ai要用到的一下方法汇总 + ue的ai编程助手

Epic Developer Assistant For Unreal Engine | Epic Developer Community 不懂就问 import unrealfolder_path "/Game/Characters/MainChar/W/Meshes" print(f"正在扫描文件夹: {folder_path}")asset_registry unreal.AssetRegistryHelpers.get_asset_…

作者头像 李华
网站建设 2026/4/1 8:41:10

DAB加ai加蓝牙音箱有市场吗

简短结论&#xff1a;DAB AI 蓝牙音箱是有市场潜力的&#xff0c;但定位和目标用户很关键。 下面我分几个维度分析这个产品组合的市场机会&#xff1a; &#x1f4c8; 1. DAB/DAB 市场在增长 ✔️ DAB&#xff08;数字音频广播&#xff09;是全球多个国家正在推广的数字无线…

作者头像 李华
网站建设 2026/4/6 15:48:12

AI模型训练震荡?解决方案汇总

点赞、关注&#xff0c;不迷路 点赞、关注&#xff0c;不迷路 一、核心成因分类 震荡的根源可归纳为5类&#xff0c;需先定位再针对性解决&#xff1a; 优化器参数不合理&#xff1a;学习率过高、动量设置不当&#xff0c;导致梯度更新幅度过大。数据层面问题&#xff1a;批次过…

作者头像 李华