news 2026/5/9 13:47:35

CANN运行时TDT队列路由示例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN运行时TDT队列路由示例

1_queue_route

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

概述

本示例演示 TDT Queue 路由对象的创建、绑定、查询和解绑流程。

产品支持情况

本样例支持以下产品:

产品是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品

功能说明

  • 创建两个独立 Queue 作为路由源和目的。
  • 创建 Route 与 RouteList 并绑定到运行时。
  • 通过 QueryInfo 按源队列和目的队列查询路由。
  • 读取路由的源、目的和状态字段。
  • 完成路由解绑与资源释放。

编译运行

环境安装详情以及运行详情请见 example 目录下的 README。

运行步骤如下:

# ${install_root} 替换为实际 CANN 安装根目录,默认安装在 /usr/local/Ascend source ${install_root}/cann/set_env.sh export ASCEND_INSTALL_PATH=${install_root}/cann # 编译运行 bash run.sh

CANN RUNTIME API

在该Sample中,涉及的关键功能点及其关键接口,如下所示:

  • 初始化
    • 调用 aclInit 接口初始化 AscendCL 配置。
    • 调用 aclFinalize 接口实现 AscendCL 去初始化。
  • Device管理
    • 调用 aclrtSetDevice 接口指定用于运算的 Device。
    • 调用 aclrtResetDeviceForce 接口强制复位当前 Device,回收 Device 上的资源。
  • Queue 创建与属性配置
    • 调用 acltdtCreateQueueAttr 接口创建 Queue 属性对象。
    • 调用 acltdtSetQueueAttr 接口设置 Queue 名称和深度。
    • 调用 acltdtCreateQueue 接口创建源 Queue 和目的 Queue。
    • 调用 acltdtDestroyQueueAttr 接口销毁 Queue 属性对象。
  • Route 创建与绑定
    • 调用 acltdtCreateQueueRoute 接口创建路由对象。
    • 调用 acltdtCreateQueueRouteList 和 acltdtAddQueueRoute 接口组装路由列表。
    • 调用 acltdtBindQueueRoutes 接口将路由关系绑定到运行时。
  • Route 查询与参数获取
    • 调用 acltdtCreateQueueRouteQueryInfo 和 acltdtSetQueueRouteQueryInfo 接口构造查询条件。
    • 调用 acltdtQueryQueueRoutes 接口查询匹配的路由列表。
    • 调用 acltdtGetQueueRouteNum、acltdtGetQueueRoute 和 acltdtGetQueueRouteParam 接口读取路由数量及路由参数。
  • Route 解绑与资源释放
    • 调用 acltdtUnbindQueueRoutes 接口解除路由绑定。
    • 调用 acltdtDestroyQueueRouteList、acltdtDestroyQueueRouteQueryInfo 和 acltdtDestroyQueueRoute 接口释放路由相关对象。
    • 调用 acltdtDestroyQueue 接口销毁源 Queue 和目的 Queue。

已知 issue

暂无。

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 13:46:23

CANN/ops-transformer块稀疏注意力梯度算子

aclnnBlockSparseAttentionGrad 【免费下载链接】ops-transformer 本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-transformer 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DTAtla…

作者头像 李华
网站建设 2026/5/9 13:45:36

概念可解释性:让AI决策从黑盒走向白盒的技术路径与实践

1. 从“黑盒”到“白盒”:为什么我们需要概念可解释性在深度学习模型横扫各个领域的今天,我们常常面临一个尴尬的局面:模型预测得越准,我们越不知道它为什么这么准。一个在皮肤癌诊断上达到专家水平的卷积神经网络,可能…

作者头像 李华
网站建设 2026/5/9 13:44:46

长期使用后回顾 Taotoken 平台模型服务的整体可用性表现

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 长期使用后回顾 Taotoken 平台模型服务的整体可用性表现 在持续使用 Taotoken 平台数月后,我想从一个实际用户的角度&a…

作者头像 李华
网站建设 2026/5/9 13:44:45

CANN竞赛:江西农大勇往直前小队作品

团队信息 【免费下载链接】cann-competitions 本仓库用于 CANN 开源社区各类竞赛、开源课题、社区任务等课题发布、开发者作品提交和展示。 项目地址: https://gitcode.com/cann/cann-competitions 团队名称:勇往直前小队所属单位:江西农业大学大…

作者头像 李华
网站建设 2026/5/9 13:39:33

AI与XR技术驱动的心脏数字孪生:构建、算法与临床应用

1. 项目概述:当数字心脏开始跳动“数字孪生”这个概念,这几年在工业制造、智慧城市领域已经不算陌生了。简单说,就是给一个物理实体(比如一台发动机、一座桥梁)在数字世界里造一个一模一样的“双胞胎”,实时…

作者头像 李华
网站建设 2026/5/9 13:38:30

Agent安全与防护:防止Prompt注入和数据泄露

🔒 企业级Agent安全指南 | Prompt注入防御 输入验证 输出审核 审计日志 | 完整安全中间件实现 📖 为什么Agent安全至关重要? 真实案例 2023年某公司客服Agent被攻击: 攻击者输入: "忽略之前的指令&#xff…

作者头像 李华