深度學(xué)習(xí)以不少于兩個隱含層的神經(jīng)網(wǎng)絡(luò)對輸入進(jìn)行非線性變換或表示學(xué)習(xí)的技術(shù)，通過構(gòu)建深層神經(jīng)網(wǎng)絡(luò)，進(jìn)行各項(xiàng)分析活動。深層神經(jīng)網(wǎng)絡(luò)由一個輸入層，數(shù)個隱層，以及一個輸出層構(gòu)成。每層有若干個神經(jīng)元，神經(jīng)元之間有連接權(quán)重。每個神經(jīng)元模擬生物的神經(jīng)細(xì)胞，而結(jié)點(diǎn)之間的連接模擬神經(jīng)細(xì)胞之間的連接。總結(jié)起來是這個樣子的：
這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。深度學(xué)習(xí)并非一個新的概念，但在2006年由Hinton等人引領(lǐng)了一波爆發(fā)。然而近年來雖然許多人都在談?wù)撋疃葘W(xué)習(xí)，但這項(xiàng)技術(shù)在實(shí)際應(yīng)用時到底有哪些坑?創(chuàng)辦一家成熟的依賴深度學(xué)習(xí)的公司需要哪些要素?下面我們將來重點(diǎn)講解下深度學(xué)習(xí)之計(jì)算能力。
計(jì)算能力
首先，深度神經(jīng)網(wǎng)絡(luò)復(fù)雜，訓(xùn)練數(shù)據(jù)多，計(jì)算量大。深度神經(jīng)網(wǎng)絡(luò)中神經(jīng)元多，神經(jīng)元間連接數(shù)量也相當(dāng)驚人。從數(shù)學(xué)的角度看，每個神經(jīng)元都要包含數(shù)學(xué)計(jì)算(如Sigmoid、ReLU或者Softmax函數(shù))，需要估計(jì)的參數(shù)量也極大。語音識別和圖像識別應(yīng)用中，神經(jīng)元達(dá)數(shù)萬個，參數(shù)數(shù)千萬，模型復(fù)雜導(dǎo)致計(jì)算量大。所以計(jì)算能力是深度學(xué)習(xí)應(yīng)用的基礎(chǔ)。
不僅如此，計(jì)算能力還是推動深度學(xué)習(xí)的利器，計(jì)算能力越強(qiáng)，同樣時間內(nèi)積累的經(jīng)驗(yàn)就越多、迭代速度也越快，百度首席科學(xué)家吳恩達(dá)博士認(rèn)為深度學(xué)習(xí)的前沿正轉(zhuǎn)移到高性能計(jì)算(HPC)，這也是他目前在百度的工作重心之一，吳博士認(rèn)為深度學(xué)習(xí)上的很多成功得益于主動地追求可用的計(jì)算能力，2011年Jeff Dean(谷歌第二代人工智能學(xué)習(xí)系統(tǒng)Tensorflow的設(shè)計(jì)者之一)創(chuàng)立并領(lǐng)導(dǎo)了谷歌深度學(xué)習(xí)小組，使用谷歌云擴(kuò)展深度學(xué)習(xí);這使得深度學(xué)習(xí)得以推向工業(yè)界。在2013年，科茨博士等人建立了第一個HPC式的深度學(xué)習(xí)系統(tǒng)，可擴(kuò)展性提升了1-2個數(shù)量級，使深度學(xué)習(xí)有了革命性的進(jìn)步——計(jì)算能力這種對于深度學(xué)習(xí)的支撐與推動作用是不可替代的。
目前這方面技術(shù)處于領(lǐng)先地位的還是像百度、谷歌這樣的大型互聯(lián)網(wǎng)公司，當(dāng)然也有一些像地平線機(jī)器人這樣的初創(chuàng)公司在該領(lǐng)域頗有成就，由百度深度學(xué)習(xí)研究院負(fù)責(zé)人余凱博士創(chuàng)立的地平線機(jī)器人公司設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)芯片相比傳統(tǒng)的CPU芯片能夠支持深度神經(jīng)網(wǎng)絡(luò)中圖像、語音、文字、控制等方面的任務(wù)而不是去做所有事情，這樣比在CPU上用軟件要高效，會提高2-3個數(shù)量級。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
