人工智能->互聯網->北京知識產權律師-中國知識產權律師網-專利律師-商標律師-版權律師-商業秘密律師-不正當競爭律師-徐新明律師"/> 人工智能->互聯網->北京知識產權律師-中國知識產權律師網-專利律師-商標律師-版權律師-商業秘密律師-不正當競爭律師-徐新明律師"/>
13910160652
010-52852558
| |EN
首頁 > 互聯網 > 人工智能

人工智能使神經網絡設計速度提高200倍

日期:2019-06-17 來源:北方防務(NISTIdefensereport) 作者: 瀏覽量:
字號:

利用算法自動設計神經網絡是人工智能的新領域,但稱為神經架構搜索(NAS)的技術非常昂貴。美國麻省理工學院開發一種新的NAS算法,可以直接學習針對目標硬件平臺的專門卷積神經網絡。當在一個大型圖像數據集運行時,只需200 GPU小時,而谷歌開發的最佳NAS算法則需要4.8萬GPU小時來產生一個卷積神經網絡。研究人員利用“路徑級二值化”與“路徑級修剪”相結合的技術,修剪整個路徑,剔除所有低概率路徑,只保留概率最高的路徑,最終完全改變神經網絡的架構。算法針對特定硬件進行了優化,效率大幅提高。這類新算法不會取代人類工程師,但可以減輕設計和改進神經網絡所帶來的重復性繁瑣工作。


MIT電子工程和計算機科學助理教授Song Han表示:“在模型大小、推理延遲、準確性和模型容量之間存在各種各樣的權衡。”他補充說:“(這些)加起來就是一個巨大的設計空間。以前,人們設計了基于啟發法的神經網絡。神經架構搜索試圖將這種勞動密集型的、基于啟發法的探索轉變為基于學習的、基于AI的設計空間探索。就像AI可以學習下圍棋一樣,AI也可以學習如何設計一個神經網絡。”


就像在圍棋和國際象棋中獲勝的AI程序已經向這些游戲的大師們教授新策略一樣,AI優化的AI設計結果為AI神經網絡設計提供了新的方法。


MIT的新算法加速了其開發的AI神經網絡的類型為卷積神經網絡 (CNN)。CNN通常是用于圖像識別程序的首選神經網絡。除了圖像和視頻領域的應用外,CNN在自然語言處理和藥物發現等領域也有所應用。


MIT的Han指出,一旦他們的算法建立起最優的CNN,所得到的系統很可能將圖像分類的速度提高到其他神經架構搜索構建的AI的1.8倍。


Han的團隊能夠以如此驚人的速度精確定位最優的CNN設計,得益于三個重要的想法。


首先,他們減少了運行神經架構搜索的GPU的內存負載。一個標準的神經結構搜索可以同時檢查網絡中神經層之間所有可能的連接。相反,Han的團隊每次只在GPU的內存中保存一條路徑。這個技巧可以在僅使用十分之一內存空間的情況下對參數空間進行完整的搜索,從而使他們的搜索覆蓋更多的網絡配置,而不會耗盡芯片上的空間。


他們的第二個錦囊妙計是從已被丟棄的神經網絡搜索中刪除整個路徑,這顯著加快了神經網絡搜索的速度。(通常,神經結構搜索只丟棄單個“神經元”,刪除掉所有次優的神經網絡連接。)


第三個創新之處涉及使神經網絡搜索意識到AI系統可能正在運行的每種類型硬件的延遲時間——無論是直接的CPU還是用于移動平臺的GPU加速系統。


令人驚訝的是,關于一些類型的圖像識別神經網絡的傳統觀點是錯誤的。從某種意義上說,AI網絡設計師在設計主要運行在GPU系統上的網絡時,他們的想法仍然停留在CPU時代。


CNN在其圖像識別算法中使用過濾器,這些過濾器是由3×3、5×5或7×7像素組成的正方形網格。傳統上,很少使用7×7大小的過濾器,因為人們認為運行多層3×3過濾器比運行單個7×7過濾器更快。


然而,AI優化的AI使用了相當數量的7×7過濾器——Han認為,這是當今大多數AI計算中GPU占主導地位的一個原因。


“我們發現,在GPU上運行多層7×7過濾器更容易,因為GPU具有很大的并行性,”Han說。“而且調用一個大型內核調用比調用幾個小型內核調用更有效。”

360老时时彩开奖结果