在人工智能的“算法江湖”上,有著眾多“門派”,比如谷歌、亞馬遜、臉書、微軟、百度等。這些“門派”都發展了一套自己的“武功秘籍”—— Tensorflow、MXNet、Pytorch、PaddlePaddle等不同的深度學習框架,并培養了一大批“追隨者”——使用這些深度學習框架的企業和科研機構。而這僅僅是人工智能科研與產業鏈上“五花八門”的一個縮影。
從算法到芯片,從軟件到硬件,不同組合的人工智能實現系統給大規模應用造成了平臺兼容性差、運行效率低等瓶頸問題。這使得人工智能在研發到大規模產業應用之間存在一道天然鴻溝。
1月13日,張江實驗室腦與智能科技研究院/上海腦科學與類腦研究中心思凱邁(Skymind)軟腦聯合實驗室,推出全球首個人工智能規?;a業應用統一部署平臺(Konduit),從底層破解了瓶頸難題,有望讓鴻溝變通途。
群雄并起的人工智能存在天然鴻溝
人工智能浪潮興起時間不長,群雄并起的局面猶在。目前,全球針對模型訓練的主流開源人工智能深度學習框架有10個之多,包括谷歌的Tensorflow、思凱邁的Deeplearning4j、亞馬遜的MXNet、臉書的Pytorch、百度的PaddlePaddle、微軟的CNTK等。
全球人工智能企業中,不超過5%數量的企業能夠掌握自主的人工智能技術,剩下的95%以上需要基于這10個框架。然而,基于這些框架生產部署的應用端,相互之間存在兼容難和兼容差的難題。再加上基礎芯片和硬件的不同,一道天然鴻溝出現在人工智能模型訓練和產業應用兩大環節之間。
與此同時,一個典型的機器學習模型需要經歷數據提取、數據預處理、特征選取、模型訓練、模型測試及結果展示、模型部署等多個環節,每個環節又有一個或多個小步驟組成。模型開發更是一個循環迭代的過程,需要多次重復才能最終達到一個意向的結果。
在目前的人工智能企業,開發人員需要花費大量時間解決多平臺兼容性問題,如識別人臉的算法與識別物品的算法不同,但卻要在一個畫面中實現同時識別,就需要運行兩次算法,造成效率低下。
除此之外,天然鴻溝還表現在:訓練與應用在不同語言之間的二次開發、不同的代碼形態和路徑;各框架間的底層運算庫的不同,導致優化困難;處理多個模型及批量推理工作時,效率低下;第三方系統框架升級,常常會導致無法同步兼容新的版本……
這些瓶頸問題都成為人工智能產業應用發展的阻礙。
統一平臺實現流水化機器學習模型
隨著張江實驗室腦與智能科技研究院/上海腦科學與類腦研究中心思凱邁(Skymind)軟腦聯合實驗室一項科學研究的完成,全球首個人工智能規?;a業應用統一部署平臺在張江誕生,人工智能模型訓練和產業應用之間的天然鴻溝將成通途。
這個平臺解決了人工智能從科研到生產部署的技術障礙,兼容了目前全球主流的深度學習框架、主流芯片商和大數據系統平臺,支持通過云端或本地化部署,為開發人員提供基礎服務模塊,從數據預處理到最終的模型服務應用,讓開發人員能夠編寫屬于自己的機器學習模型工作管道機制,并通過簡單的應用程序編程接口來實現對外開放。
一個叫做工作流水線步驟(Pipeline Step)的首創概念被引入該平臺。在實際部署中,一個流水線步驟將執行機器學習模型生產周期中的一部分任務。而多個流水線步驟組成了一個完整的模型生產流水線。
研究人員表示,通過步驟的流水化封裝和管理,可以使模型開發和部署更加高效和易用,從而幫助開發者們創建機器學習領域的“生產流水線”,把人工智能模型快速地部署到各類實際應用場景,實現模型成果的快速轉化,創造人工智能的社會和商業價值。
新型研發機構搭建全球化科研網絡
“Skymind的人工智能算法工程師們想知道神經網絡是如何工作的,并應用到之后的算法開發中去,我們的其他項目參與研究團隊在神經網絡模型、智能芯片、整機研制等方面具有特長。”張江實驗室腦與智能科技研究院院長、上海腦科學與類腦研究中心執行主任、中國科學院院士張旭說,“這恰恰是張江腦智院和上海腦中心的科研方向,也是我們有足夠號召力吸引Skymind來上海成立聯合實驗室的原因。”
在他看來,科研國際化的難度要高于經濟全球化,“經濟上引入跨國企業,引入投資就可以。但科研上,人家要跟你合作,你這里必須要有真真切切研究,并能與人家產生重要的聯系。”
“Skymind擁有一個全球化的科研網絡,來自美國、德國、澳大利亞、加拿大、日本、中國等世界各地的成百上千名研究人員共同開發人工智能領域新技術。其中的核心人物都是產業界赫赫有名的領軍人物。”張旭說,“這樣的國際化新型研發機構模式值得上海借鑒,也是上海建設全球科創中心需要探索的道路。軟腦聯合實驗室將通過全球化科研網絡,在科研上走通國際化道路。”
上??萍紙?/p>