當前神經網絡的局限性：無法預測，無法解釋理由，以及暫時的不穩(wěn)定性，因此我們需要一種新的神經網絡。神經網絡膠囊(Neural Network Capsules)就是解決當前神經網絡局限性的一種方法，但我們認為它必須有些額外的特點：
1)視頻幀操作：這很簡單，因為我們需要做的就是讓膠囊路由查看最近時間的多個數(shù)據點。這相當于在最近的重要數(shù)據點上建立起關聯(lián)內存。請注意，這些不是最近幀的最新表達，而是它們最新的不同表達?？梢酝ㄟ^僅保存與預定義值不同的表達來獲得不同內容的不同表達。這個重要的細節(jié)只允許保存最近歷史上的相關信息，而不是一系列無用的相關數(shù)據點。
2)預測神經網絡能力：這已經是動態(tài)路由的一部分，它迫使各層預測下一層表達。這是一種非常強大的自我學習技巧，在我們看來，它勝過了我們在社區(qū)中發(fā)展的所有其他非監(jiān)督表現(xiàn)學習。膠囊現(xiàn)在需要能夠預測長期的時空關系，但目前還沒有實現(xiàn)。
持續(xù)學習：這是很重要的，因為神經網絡需要不斷地學習新的數(shù)據點來維持生存。目前的神經網絡不能學習新的數(shù)據，而每次都需要從頭開始重新訓練。神經網絡需要能夠自我評估接受重新訓練的必要性，以及它們確實知道某些事情的事實。這也需要在現(xiàn)實生活和強化學習任務中表現(xiàn)出來，我們想讓機器在不忘記舊任務的情況下完成新任務。
轉移學習：或者稱我們如何讓這些算法通過觀看視頻自學，就像我們學習如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強學習也很重要?，F(xiàn)在你可以通過舉例子的方式來訓練你的機器去做你想讓它做的事情，就像我們人類一樣。
強化學習：這是深神經網絡研究的“圣杯”，即教機器如何在真實的世界環(huán)境中學習!這需要自學、持續(xù)學習、預測能力，還有很多我們不知道的東西。在強化學習領域有很多東西需要了解，但對作者們來說，這只觸及到問題的表面。
強化學習通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓練。但是，我們如何才能得到一個“通用”大腦輕松地解決所有的問題呢?這是個“先有雞還是先有蛋”的問題!今天，要想一個個地解決強化學習的問題，我們需要使用標準神經網絡：一個深度的神經網絡，它接收大量的數(shù)據輸入，如視頻或音頻，并將其壓縮成表示;一個序列學習神經網絡，如RNN，以便了解任務。
這兩個部分都是問題的明顯解決方案，目前顯然是錯誤的，但這是每個人都在使用的，因為它們是當前可用的構建塊。這樣的結果并不令人印象深刻：我們可以從頭開始學習玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀察的游戲，但無需多言，與在復雜的世界中解決問題相比，這些都是微不足道的。想象下，AI可以比人類更好地玩轉《Horizon Zero Dawn》，對此我拭目以待!
但這恰是我們想要看到的，即能像我們人類這樣運作的機器。我們對強化學習的建議是，使用可以連續(xù)操作的預測神經網絡和聯(lián)想存儲器來存儲最近的經驗。
不要更多的遞歸神經網絡(RNN)：因為它們在并行化方面表現(xiàn)特別糟糕，甚至在特殊的定制機器上也很慢，因為它們的內存帶寬使用率很高，內存帶寬存在限制?；谧⒁饬Φ纳窠浘W絡更高效，可更快速地進行訓練和部署，并且在訓練和部署方面的可伸縮性更少。在神經網絡中，注意力有可能使許多架構發(fā)生真正的改變，但它并沒有得到應有的認可。聯(lián)想記憶和注意力的結合是下一波神經網絡發(fā)展的核心。我們認識到，基于注意力的神經網絡將逐漸取代基于RNN的語音識別，并在強化學習構架和通用人工智能中找到它們的方法。
分類神經網絡中信息的定位：實際上這是一個已經解決的問題，將被嵌入到未來的神經網絡架構中。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
