CANN/hcomm AI CPU任务编排指南

任务编排

【免费下载链接】hcommHCOMM（Huawei Communication）是HCCL的通信基础库，提供通信域以及通信资源的管理能力。项目地址: https://gitcode.com/cann/hcomm

编排步骤

参与集合通信的各个rank协调有序地进行同步与数据搬运，完成一个集合通信操作的过程，称为任务编排。任务编排的主要目的是将不同通信线程上的任务并行执行，实现资源的最大化利用，从而提升整体性能。

任务编排主要包含以下几个步骤：

1. 获取本端通信内存，在HCCL中称其为HCCL Buffer。

2. 拷贝算子输入数据到HCCL Buffer，常用的数据面接口为HcommLocalCopyOnThread。

   [!NOTE]说明 HCCL Buffer是HCCL每个通信域所管理的一块Device上的锁页内存（Pinned Memory），由于通信任务是异步执行的，为确保用户输入的数据在通信任务实际执行时依然有效，因此需要首先将输入数据拷贝到拥有固定内存地址的HCCL Buffer中。

3. 切分输入数据，计算偏移量。

   HCCL Buffer默认大小是200MB，若输入数据大小超过该值，则需要切分成多个数据块，分别进行处理。

4. 前同步，主Thread通知从Thread启动任务，从Thread等待主Thread通知。常用的数据面接口为HcommThreadNotifyRecordOnThread和HcommThreadNotifyWaitOnThread。

5. 进行数据搬运，将远端数据拷贝至本端的HCCL Buffer中。常用的数据面接口为HcommReadOnThread、HcommReadReduceOnThread等。

6. 后同步，从流通知主流任务完成，主流等待从流通知。

7. 拷贝HCCL Buffer中的结果数据到算子输出内存。常用的数据面接口为HcommLocalCopyOnThread。

代码示例

• 以自定义Send算子为例，其在AI CPU侧的任务编排代码片段如下：

  uint64_t size = count * dataTypeSize; // 数据量 = 数据数量 * 数据类型大小 // 1. 拷贝到中转内存 HcommLocalCopyOnThread(threadHandle, localAddr, inputPtr, size); // 2. 通知接收端，本端已经准备好数据 HcommChannelNotifyRecordOnThread(threadHandle, channelHandle, 0); // 3. 等待接收端，告知已经读完本端数据 HcommChannelNotifyWaitOnThread(threadHandle, channelHandle, 1, 1800);

• 以自定义Receive算子为例，其在AI CPU侧的任务编排代码片段如下：

  // 1. 等待发送端，告知本端可以开始读数据 HcommChannelNotifyWaitOnThread(threadHandle, channelHandle, 0, 1800); // 2. 读取发送端的数据 HcommReadOnThread(threadHandle, channelHandle, outputPtr, remoteAddr, size); // 3. 通知发送端，本端已经读完数据 HcommChannelNotifyRecordOnThread(threadHandle, channelHandle, 1);

【免费下载链接】hcommHCOMM（Huawei Communication）是HCCL的通信基础库，提供通信域以及通信资源的管理能力。项目地址: https://gitcode.com/cann/hcomm