随路转换ND2NZ搬运产品支持情况产品是否支持Global Memory - Local Memory是否支持Local Memory - Local MemoryAscend 950PR/Ascend 950DT√√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√√Atlas 200I/500 A2 推理产品xxAtlas 推理系列产品 AI Core√xAtlas 推理系列产品 Vector CorexxAtlas 训练系列产品xxKirin X90√xKirin 9030√x功能说明支持在数据搬运时进行ND到NZ格式的转换。函数原型Global Memory - Local Memorytemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)// 该函数原型仅支持Ascend 950PR/Ascend 950DT template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)Local Memory - Local Memorytemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const Nd2NzParams intriParams)[!NOTE]说明 各原型支持的具体数据通路和数据类型请参考支持的通路和数据类型。参数说明表 1模板参数说明参数名描述T源操作数或者目的操作数的数据类型。支持的数据类型请参考支持的通路和数据类型。enableSmallC0SmallC0模式开关当dValue小于等于4的时候C0_SIZE会补齐到4 * sizeof(T) Bytes。默认不开启。表 2参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor。src输入源操作数类型为LocalTensor或GlobalTensor。intriParams输入搬运参数类型为Nd2NzParams。具体定义请参考${INSTALL_DIR}/include/ascendc/basic_api/interface/kernel_struct_data_copy.h${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。表 3Nd2NzParams结构体参数定义参数名称含义ndNum传输ND矩阵的数目取值范围ndNum∈[0, 4095]。nValueND矩阵的行数取值范围nValue∈[0, 16384]。dValueND矩阵的列数取值范围dValue∈[0, 65535]。srcNdMatrixStride源操作数相邻ND矩阵起始地址间的偏移取值范围srcNdMatrixStride∈[0, 65535]单位为元素。srcDValue源操作数同一ND矩阵的相邻行起始地址间的偏移取值范围srcDValue∈[1, 65535]单位为元素。dstNzC0StrideND转换到NZ格式后源操作数中的一行会转换为目的操作数的多行。dstNzC0Stride表示目的NZ矩阵中来自源操作数同一行的多行数据相邻行起始地址间的偏移取值范围dstNzC0Stride∈[1, 16384]单位C0_SIZE32B。dstNzNStride目的NZ矩阵中Z型矩阵相邻行起始地址之间的偏移。取值范围dstNzNStride∈[1, 16384]单位C0_SIZE32B。dstNzMatrixStride目的NZ矩阵中相邻NZ矩阵起始地址间的偏移取值范围dstNzMatrixStride∈[1, 65535]单位为元素。ND2NZ转换示意图如下样例中参数设置值和解释说明如下ndNum 2表示传输ND矩阵的数目为2 (ND矩阵1为A1~A2 B1~B2ND矩阵2为C1~C2 D1~D2)。nValue 2ND矩阵的行数也就是矩阵的高度为2。dValue 24ND矩阵的列数也就是矩阵的宽度为24个元素。当dValue不满足32B对齐时在目的操作数中不足的部分会被补齐为0例如图示中A2所在DataBlock的空白部分会被补齐为0。srcNdMatrixStride 144表达相邻ND矩阵起始地址间的偏移即为A1~C1的距离即为9个DataBlock9 * 16 144个元素。srcDValue 48表示一行的所含元素个数即为A1到B1的距离即为3个DataBlock3 * 16 48个元素dstNzC0Stride 11。ND转换到NZ格式后源操作数中的一行会转换为目的操作数的多行例如src中A1和A2为1行dst中A1和A2被分为2行。多行数据起始地址之间的偏移就是A1和A2在dst中的偏移偏移为11个DataBlock。dstNzNStride 2表示src中一个ND矩阵的第x行和第x1行转换为NZ格式后在dst中的偏移即A1和B1在dst之间的偏移为2个DataBlock。dstNzMatrixStride 96表达dst中第x个ND矩阵的起点和第x1个ND矩阵的起点的偏移即A1和C1之间的距离即为6个DataBlock6 * 16 96个元素。图 1ND2NZ转换示意图half数据类型enableSmallC0开启模式下的ND2NZ转换示意图如下图 2enableSmallC0开启模式下的ND2NZ转换示意图 half数据类型返回值说明无约束说明针对Atlas 推理系列产品AI Core使用Global Memory - Local Memory通路的ND2NZ搬运接口时需要预留8K的UB空间作为接口的临时数据存放区。支持的通路和数据类型下文的数据通路均通过逻辑位置TPosition来表达并注明了对应的物理通路。TPosition与物理内存的映射关系见表1。表 4Global Memory - Local Memory具体通路和支持的数据类型产品型号数据通路源操作数和目的操作数的数据类型 (两者保持一致)Ascend 950PR/Ascend 950DTGM - VECINGM - UBbool、int8_t、uint8_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32GM - A1、B1GM - L1 Bufferbool、int8_t、uint8_t、fp4x2_e2m1_t、fp4x2_e1m2_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32Atlas 推理系列产品 AI CoreGM - VECINGM - UBint8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、floatGM - A1、B1GM - L1 Bufferint16_t、uint16_t、int32_t、uint32_t、half、floatAtlas A2 训练系列产品 / Atlas A2 推理系列产品GM - VECINGM - UBGM - A1、B1GM - L1 Bufferint8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、floatAtlas A3 训练系列产品 / Atlas A3 推理系列产品GM - VECINGM - UBGM - A1、B1GM - L1 Bufferint8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、floatKirin X90GM - A1、B1GM - L1 Bufferhalf、int8_t、uint8_t、int16_t、uint16_tKirin 9030GM - A1、B1GM - L1 Bufferhalf、int8_t、uint8_t、int16_t、uint16_t表 5Local Memory - Local Memory具体通路和支持的数据类型产品型号数据通路源操作数和目的操作数的数据类型 (两者保持一致)Ascend 950PR/Ascend 950DTVECIN、VECCALC、VECOUT - TSCMUB - L1 Bufferbool、int8_t、uint8_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32Atlas A2 训练系列产品 / Atlas A2 推理系列产品VECIN、VECCALC、VECOUT - TSCMUB - L1 Bufferint8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、floatAtlas A3 训练系列产品 / Atlas A3 推理系列产品VECIN、VECCALC、VECOUT - TSCMUB - L1 Bufferint8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、float调用示例intriParams参数解析请参考图1。// srcLocal为half类型的L1 Buffer空间上的LocalTensorworkLocal为half类型的UB空间上的LocalTensorsrcGlobal为half类型的GlobalTensor AscendC::Nd2NzParams intriParams{1, 32, 32, 0, 32, 32, 1, 0}; // Global Memory - Local Memory AscendC::DataCopy(srcLocal, srcGlobal, intriParams); // Local Memory - Local Memory AscendC::DataCopy(srcLocal, workLocal, intriParams);结果示例输入数据(srcGlobal): [1 2 3 ... 1024] 输出数据(dstGlobal):[1 2 ... 15 16 33 34 ... 47 48 65 66 ... 79 80 97 98 ... 111 112 ... 1009 1010... 1023 1024]创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考