本文分享自华为云社区《使用ATC工具将主流开源框架模型转换为昇腾模型-云社区-华为云》,作者: 昇腾CANN。
昇腾张量编译器(Ascend Tensor Compiler,简称ATC)是昇腾CANN架构体系下的模型转换工具:什么是ATC,它能做什么?
模型转换过程中,ATC会进行算子调度优化、权重数据重排、内存使用优化等操作,对开源框架的网络模型做进一步调优,使其高效地在昇腾AI处理器上执行。
下面以Caffe框架ResNet-50网络模型为例,介绍如何使用ATC工具转换模型。
1. 将Caffe框架ResNet-50网络模型的模型文件*.prototxt、权重文件*.caffemodel上传至ATC工具所在的Linux服务器。
2. 执行如下命令进行模型转换。
atc --framework=0 --soc_version=${soc_version}
--model=$HOME/mod/resnet50.prototxt
--weight=$HOME/mod/resnet50.caffemodel
--output=$HOME/module/out/caffe_resnet50
参数解释如下:
3. 若提示ATC run success信息,则说明模型转换成功。
在--output参数指定的路径下,可查看转换后的模型文件,例如caffe_resnet50.om。
上述只给出了ATC工具进行模型转换最基本的命令,本章节给出ATC工具支持的更多特性,方便用户进一步了解。
模型转换时支持指定网络模型的输入或输出节点的数据类型、Format,支持设置精度等。
此处的示例命令场景:针对Caffe框架ResNet50网络模型,转换后的模型输入为FP16类型,指定Pooling算子作为输出,并且该输出节点为FP16类型。
atc --framework=0 --soc_version=${soc_version}
--model=$HOME/mod/resnet50.prototxt
--weight=$HOME/mod/resnet50.caffemodel
--output=$HOME/mod/out/caffe_resnet50 --input_fp16_nodes="data"
--out_nodes="pool1:0" --output_type="pool1:0:FP16"
某些推理场景,如检测出目标后再执行目标识别网络,由于目标个数不固定导致目标识别网络输入BatchSize不固定;如果每次推理都按照最大的BatchSize或最大分辨率进行计算,会造成计算资源浪费,因此,模型转换需要支持动态BatchSize和动态分辨率的设置,实际推理时,通过AscendCL接口设置本次推理所需的BatchSize和动态分辨率。
- 动态BatchSize
atc --framework=0 --soc_version=${soc_version}
--model=$HOME/mod/resnet50.prototxt
--weight=$HOME/mod/resnet50.caffemodel
--output=$HOME/mod/out/caffe_resnet50
--input_shape="data:-1,3,224,224" --dynamic_batch_size="1,2,4,8"
其中,“--input_shape ”中的“-1”表示设置动态BatchSize,具体支持哪些BatchSize由“--dynamic_batch_size”决定。
- 动态分辨率
atc --framework=0 --soc_version=${soc_version}
--model=$HOME/mod/resnet50.prototxt
--weight=$HOME/mod/resnet50.caffemodel
--output=$HOME/mod/out/caffe_resnet50
--input_shape="data:1,3,-1,-1" --dynamic_image_size="224,224;448,448"
其中,“--input_shape ”中的“-1,-1”表示设置动态分辨率,具体支持哪些分辨率由“--dynamic_image_size ”决定。
关于ATC工具更多参数和特性说明,请登录昇腾社区查阅:
[1]昇腾文档中心
[2]昇腾社区在线课程
[2]昇腾论坛
点击下方,第一时间了解华为云新鲜技术~
华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云
#华为云开发者联盟#
页面更新:2024-04-23
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号