人工智能、機(jī)器深度學(xué)習(xí)技術(shù)的發(fā)展和應(yīng)用使圖像識(shí)別技術(shù)獲得了關(guān)鍵性的突破，不同應(yīng)用場景的圖像識(shí)別率已經(jīng)可以滿足各方面的應(yīng)用要求，并開始逐步應(yīng)用于身份識(shí)別、商品識(shí)別、金融支付、安全防范、智能安檢等諸多領(lǐng)域，呈現(xiàn)出高速發(fā)態(tài)展勢(shì)，使視頻監(jiān)控系統(tǒng)的功能和效能出現(xiàn)質(zhì)的飛躍，而這些智能功能的實(shí)現(xiàn)都離不開算力的支持。

　　主流的智能運(yùn)算如果全部依賴云端大規(guī)模GPU服務(wù)器集群，其高昂的運(yùn)營成本就會(huì)讓大多用戶無法承擔(dān)。邊緣計(jì)算作為5G和高清時(shí)代非常重要的網(wǎng)絡(luò)組成部分，主要價(jià)值在于減少超大流量對(duì)網(wǎng)絡(luò)的消耗，同時(shí)為各種應(yīng)用提供低延時(shí)和開放的網(wǎng)絡(luò)能力。相比于傳統(tǒng)集中部署的云計(jì)算，邊緣計(jì)算在靠近數(shù)據(jù)源或用戶的地方提供計(jì)算能力不失為明智的選擇。a&s本次測(cè)試的比特大陸SE5 AI計(jì)算盒是基于芯片和模組，但比模組形態(tài)的產(chǎn)品面向場景更加廣泛的高性能、低功耗邊緣計(jì)算產(chǎn)品，搭載比特大陸自主研發(fā)的第三代TPU芯片BM1684，INT8算力高達(dá)17.6TOPS，可同時(shí)處理16路高清視頻，為諸多安防、泛安防、教育、金融、安檢、雪亮工程等行業(yè)項(xiàng)目智能運(yùn)算提供算力。

　　工業(yè)級(jí)標(biāo)準(zhǔn)設(shè)計(jì)

　　比特大陸SE5 AI計(jì)算盒尺寸只有188mm×148mm×44.5mm(長×寬×高)，小巧嚴(yán)謹(jǐn)，盒子上部有工業(yè)級(jí)散熱齒， 可適應(yīng)工作溫度為-20℃ ~ +60℃(具體視配置而定)，工業(yè)級(jí)寬溫設(shè)計(jì)，可以適應(yīng)嚴(yán)苛的工作環(huán)境，在復(fù)雜條件下進(jìn)行邊緣側(cè)智能分析。

　　該設(shè)備包含USB3.1×2、 MicroSD ×1 、 HDMI ×1、 RS-232×1 、RS-485 ×1、I/O ×4、自適應(yīng)10/100/1000Mbps網(wǎng)口×2等接口，接口豐富，使得產(chǎn)品可以面向的場景更加豐富、靈活。內(nèi)置12GB內(nèi)存，市場上的同類產(chǎn)品基本為8GB，可以說是高規(guī)格配置。

　　無線傳輸 部署靈活

　　比特大陸SE5 AI計(jì)算盒內(nèi)置4G卡槽，支持LTE無線回傳，在網(wǎng)絡(luò)布線不方便的室內(nèi)外環(huán)境，可以直接使用無線傳輸，方便用戶便捷安裝部署。

　　計(jì)算盒內(nèi)置SATA接口，用戶可以直接添加硬盤，可靈活應(yīng)用在小型利舊項(xiàng)目或者有存儲(chǔ)需求的小型安防項(xiàng)目中。目前市場上的同類的AI計(jì)算盒大多不具備存儲(chǔ)功能，而具有存儲(chǔ)功能的盒子又體積較大，部署不夠靈活方便。比特大陸SE5 AI計(jì)算盒子在外觀、體積、算力性能優(yōu)異的情況下，還可以外接硬盤的設(shè)計(jì)，非常便于用戶未來應(yīng)用的擴(kuò)容，優(yōu)勢(shì)不言而喻。

　　算力優(yōu)勢(shì)明顯

　　AI計(jì)算的核心是芯片，邊緣計(jì)算盒產(chǎn)品的主芯片選定后，其計(jì)算能力基本可以確定，比特大陸SE5 AI計(jì)算盒是基于其自主研發(fā)的BM1684芯片，比特大陸深耕芯片產(chǎn)品多年，BM168X系列芯片已經(jīng)第三次流片，經(jīng)過了充分的市場檢驗(yàn)，滿足所有邊緣側(cè)推理需求。

　　算力作為最為主要的AI芯片評(píng)判標(biāo)準(zhǔn)，只看廠家的標(biāo)稱算力并不能準(zhǔn)確的去評(píng)定產(chǎn)品。在實(shí)際的應(yīng)用中，標(biāo)稱只能作為輔助的判斷尺，采用標(biāo)準(zhǔn)算法模型進(jìn)行圖片分析，實(shí)際的圖片分析能力對(duì)用戶來說才是實(shí)實(shí)在在的收益。

　　a&s本次測(cè)試采用業(yè)界標(biāo)準(zhǔn)測(cè)試模型，因各個(gè)芯片支持的量化精度不同，有FP32、 INT16、INT8等。這里采用各顆芯片同時(shí)支持的INT8做橫向?qū)Ρ?。原始?shù)據(jù)即是在常見標(biāo)準(zhǔn)模型下的實(shí)測(cè)結(jié)果。將BM1684與TX2、Hi3559A、Atlas200等市場常見芯片對(duì)比測(cè)試，實(shí)際測(cè)試結(jié)果如下。

　　Mobilenet是輕量級(jí)模型，針對(duì)產(chǎn)品主要應(yīng)用在手機(jī)或者移動(dòng)端較多，目前數(shù)據(jù)可以超過2500張/秒。Resnet 50典型模型測(cè)試中，圖片處理達(dá)到914.9張/秒。從評(píng)測(cè)對(duì)比數(shù)據(jù)來看，BM1684的處理能力普遍超過Atlas200 50%以上，而與其上一代的Hi3559A相比，更是超出其處理能力5倍以上。正是得益于強(qiáng)大的算力，所以SE5 AI計(jì)算盒才能在典型人臉識(shí)別算法下做到至少實(shí)時(shí)16路全流程比對(duì)。

　　目前業(yè)界許多AI產(chǎn)品標(biāo)稱的AI分析路數(shù)一般只是指人臉檢測(cè)，并不包含圖像識(shí)別功能，而比特大陸的單路計(jì)算包含了人臉檢測(cè)，人臉特征值提取和識(shí)別、人臉比對(duì)，即人臉全流程比對(duì)。

　　性價(jià)比之王 單路AI成本最低

　　從TX2、Hi3559A、Atlas200、BM1684四種市場常見芯片對(duì)比測(cè)試結(jié)果來看，不同的測(cè)試模型，BM1684與TX2相比有5.4-22.9倍級(jí)別的性能優(yōu)勢(shì)。相比Atlas200，雖然理論峰值標(biāo)稱算力BM1684和Atlas200很接近(17.6T vs 16T)，但是從實(shí)測(cè)來看，BM1684的性能倍數(shù)在最典型Resnet 152上有1.4倍的優(yōu)勢(shì)，在Mobilenet上有2.36倍的優(yōu)勢(shì)!這說明，標(biāo)稱算力和實(shí)際獲得的算力具有一定的差別。BM1684具有較高的有效計(jì)算利用率。相應(yīng)的，基于BM1684芯片的比特大陸SE5 AI計(jì)算盒實(shí)際計(jì)算有效利用率也在同等水平。

　　在以上公開測(cè)試數(shù)據(jù)中，與業(yè)界主流的AI盒子相比，INT8的算力在同類產(chǎn)品中可以說達(dá)到最高。結(jié)合產(chǎn)品性能和價(jià)格，比特大陸SE5 AI計(jì)算盒的單路成本競爭力強(qiáng)大，可以稱為業(yè)內(nèi)性價(jià)比之最。

　　除了算力、功耗，量化精度是另外一個(gè)重要評(píng)判指標(biāo)，精度降低后，在有限的芯片面積下可以得到更大的算力，比特大陸的AI計(jì)算盒采用自研芯片是產(chǎn)品在實(shí)際應(yīng)用中能夠發(fā)揮更大作用的原因。

　　軟件生態(tài)完備 百度認(rèn)證授權(quán)合作

　　對(duì)于AI芯片來講，更需要為開發(fā)者提供完備，可靠的工具鏈和系統(tǒng)軟件。比特大陸在這個(gè)領(lǐng)域耕耘多年，隨著AI芯片已經(jīng)發(fā)展到第三代，相應(yīng)的工具鏈也非常成熟，所有的產(chǎn)品線保持統(tǒng)一的編譯工具鏈，經(jīng)過多個(gè)合作客戶檢驗(yàn)。

　　市面上常見的AI計(jì)算盒劣勢(shì)就在于支持的框架少，比特大陸SE5 AI計(jì)算盒采用的芯片支持Tensorflow、PyTorch、MXNet、 Caffe等多種深度學(xué)習(xí)框架，同時(shí)對(duì)于國產(chǎn)深度學(xué)習(xí)框架，也有完善的支持。2020年3月24日，百度宣布，比特大陸的算豐BM168X系列AI芯片，已經(jīng)通過百度飛槳的輕量化推理引擎Paddle Lite的兼容性驗(yàn)證。這意味著百度所有生態(tài)合作伙伴可以直接采用百度框架和算法移植，不存在任何兼容性問題。目前國家政策支持硬件、軟件的國產(chǎn)化，百度Paddle深度學(xué)習(xí)框架是國產(chǎn)化中具有優(yōu)勢(shì)的企業(yè)，比特大陸與百度合作，實(shí)現(xiàn)軟硬件的同時(shí)國產(chǎn)化，在國內(nèi)具有發(fā)展優(yōu)勢(shì)。

　　比特大陸SE5 AI計(jì)算盒隨機(jī)配套BMNNSDK一站式工具包，提供底層驅(qū)動(dòng)環(huán)境、編譯器、推理部署工具等一系列軟件工具。幫助開發(fā)者快速高效的在SE5上部署深度學(xué)習(xí)算法應(yīng)用。BMNNSDK最大程度降低算法和軟件的開發(fā)周期和成本，使用者能快速在算豐各系列AI硬件產(chǎn)品上部署深度學(xué)習(xí)算法，便捷實(shí)現(xiàn)智能應(yīng)用。

　　應(yīng)用領(lǐng)域廣泛

　　比特大陸SE5 AI計(jì)算盒是基于邊緣計(jì)算的小微型服務(wù)器，不論算法類型，基本可以支持各個(gè)行業(yè)的算法，通過完備的生態(tài)方便用戶將訓(xùn)練好的模型移植，不光支持人臉識(shí)別算法模型，還支持?jǐn)?shù)十種輔助模型，所以面向場景非常廣泛?？梢詰?yīng)用在園區(qū)、社區(qū)、商業(yè)樓宇等室內(nèi)外場景，以及集成類室外半封閉場景，不需要依托X86架構(gòu)服務(wù)器，充分利用其內(nèi)部ARM資源，直接獨(dú)立一體化開發(fā)應(yīng)用。

　　該計(jì)算盒的算力性能高，市場競爭力強(qiáng)，但同樣保留了一部分高精度的算力。在需要高精度算力的場景，保留了高精度優(yōu)勢(shì)，如動(dòng)態(tài)視覺無人零售柜、智慧冰箱系統(tǒng)中商品識(shí)別等。

　　SE5實(shí)際可應(yīng)用場景如，作為邊緣人臉服務(wù)器布置在園區(qū)，進(jìn)行園區(qū)通行識(shí)別比對(duì)或園區(qū)監(jiān)控;在智慧食堂進(jìn)行人臉支付;在家?；ヂ?lián)系統(tǒng)做學(xué)生人臉識(shí)別;在學(xué)校宿舍系統(tǒng)做出入管理;在餐飲系統(tǒng)中植入菜品識(shí)別算法進(jìn)行菜品結(jié)算;替代傳統(tǒng)安檢人員識(shí)圖，機(jī)器判圖準(zhǔn)確度更高、降低安檢員培訓(xùn)成本，通行速度更快，實(shí)現(xiàn)智能輔助安檢?？梢灾踩氲乃惴Ｐ投喾N多樣，從而實(shí)現(xiàn)應(yīng)用場景的多樣化。

　　產(chǎn)品特色

　　1、強(qiáng)勁算力：高達(dá)17.6T的INT8峰值算力或2.2T的FP32高精度算力。

　　2、超高性能：16路高清視頻處理能力，38路1080P硬件解碼與2路編碼。

　　3、快速移植：支持Caffe/TensorFlow/Pytorch/Mxnet/Paddle Lite等主流深度學(xué)習(xí)框架。

　　4、接口豐富：持USB、HDMI、RS-485、RS-232、SATA、自定義I/O等多種接口

　　5、寬溫設(shè)計(jì)：適應(yīng)溫度-20℃至+60℃。支持無風(fēng)扇被動(dòng)散熱。

　　6、應(yīng)用場景豐富：支持智慧園區(qū)/安防/工控/商業(yè)等多領(lǐng)域多場景靈活部署。

　　點(diǎn)評(píng)

　　人工智能的需求貫穿了從端邊云到整個(gè)網(wǎng)絡(luò)，基于視覺的人工智能應(yīng)用場景最豐富、市場需求最旺盛，而邊緣端的計(jì)算需求又比云端多一個(gè)數(shù)量級(jí)，所以安全和實(shí)時(shí)響應(yīng)的邊緣端智能分析成為發(fā)展的必然趨勢(shì)。

　　比特大陸在芯片行業(yè)深耕多年，BM168X系列經(jīng)受住了市場的考驗(yàn)，SE5 AI計(jì)算盒是基于第三代TPU芯片BM1684研發(fā)的AI產(chǎn)品，更是具有了這個(gè)芯片的特性。INT8算力高達(dá)17.6TOPS，在具有高算力的同時(shí)保持了低功耗、被動(dòng)式散熱、接口豐富、軟件生態(tài)完備等優(yōu)勢(shì)，算法移植便捷，不光支持人臉識(shí)別算法模型，還支持?jǐn)?shù)十種輔助模型，所以可面向應(yīng)用場景非常廣泛，是一款性價(jià)比非常高的邊緣智能分析設(shè)備。

　　主要規(guī)格參數(shù)

　　TPU BM1684 峰值算力：17.6 TOPS (INT8) / 2.2 TFLOPS (FP32)

　　CPU 8核 ARM A53 2.3GHz

　　典型功耗 ≤20W

　　視頻解碼 960FPS 1080p(38路1080P@25FPS)

　　視頻編碼 50FPS 1080p(2路1080P@25FPS)

　　接口 USB3.1 *2 / MicroSD *1 / HDMI *1 / RS-232 *1 / RS-485 *1 / I/O *4