在計(jì)算機(jī)視覺與模式識(shí)別(CVPR)大會(huì)上,NVIDIA發(fā)布了TensorRT 4,它能夠加速常見推理應(yīng)用,如神經(jīng)機(jī)器翻譯、推薦系統(tǒng)和語音。用戶還可通過ONNX格式輕松地從常見的深度學(xué)習(xí)框架(如Caffe 2、Chainer、MxNet、Microsoft Cognitive Toolkit和PyTorch)導(dǎo)入模型。
TensorRT特性包括:
· 借助針對(duì)多層感知器(MLP)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的新層,吞吐量高達(dá)CPU的45倍
· 對(duì)于TensorRT中使用ONNX解析器導(dǎo)入的ONNX模型,在Tesla V100 GPU上的推理性能相當(dāng)于僅使用CPU的50倍
· 支持面向自動(dòng)駕駛汽車的AI計(jì)算平臺(tái)NVIDIA DRIVE Xavier
· 借助用于在Volta Tensor Core上運(yùn)行的API,F(xiàn)P16自定義圖層可實(shí)現(xiàn)3倍的推理加速
其他功能包括可使用FP16精度執(zhí)行自定義神經(jīng)網(wǎng)絡(luò)層,以及通過NVIDIA DRIVE AI平臺(tái)支持Xavier SoC。