今天的機(jī)器學(xué)習(xí)領(lǐng)域就像航空業(yè)的早期。1903年萊特兄弟的驚天一飛迎來了航空業(yè)的先鋒時(shí)代。之后的十年之內(nèi)，人們普遍認(rèn)為動(dòng)力飛行將革命性地改變交通行業(yè)和整個(gè)社會(huì)。今天，機(jī)器學(xué)習(xí)（ML）也在迅速發(fā)展。它在重要問題（包括圖像識(shí)別、語言翻譯和自然語言處理等）上實(shí)現(xiàn)了顯著的突破。而主要的技術(shù)公司正投入數(shù)十億美元，期待將自己轉(zhuǎn)變?yōu)橐詸C(jī)器學(xué)習(xí)為中心的組織。人們?cè)絹碓较嘈牛瑱C(jī)器學(xué)習(xí)是解決一些社會(huì)最緊迫問題的關(guān)鍵。
圖1 萊特兄弟的首架動(dòng)力飛機(jī)。在1903年12月7日的Kitty Hawk市，它在12秒的首飛中飛翔了120英尺。圖片來自Stacy Pancake
但是這種熱情與興奮也需要謹(jǐn)慎對(duì)待。盡管萊特兄弟帶來了巨大的熱情，但最終廣泛的商業(yè)航空成為現(xiàn)實(shí)卻花了將近半個(gè)世紀(jì)。在先鋒時(shí)代，飛行還主要是用于個(gè)人愛好、體育運(yùn)動(dòng)和軍事用途。進(jìn)入噴氣機(jī)時(shí)代要經(jīng)歷航空工程的一系列基礎(chǔ)性的創(chuàng)新：?jiǎn)我頇C(jī)翼、鋁制設(shè)計(jì)、渦輪發(fā)動(dòng)機(jī)、壓力測(cè)試、大型噴氣式飛機(jī)等。
圖2 幾十年來航空工程的進(jìn)步才帶來了20世紀(jì)50年代的噴氣時(shí)代。它從根本上改變了我們社會(huì)的形態(tài)，使我們能夠應(yīng)對(duì)新的挑戰(zhàn)，例如太空探索。圖片來自Stacy Pancake
簡(jiǎn)而言之，我們是發(fā)明了航空工程才改變了航空業(yè)。同理，我們需要發(fā)明一種新的工程來構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用。數(shù)據(jù)驅(qū)動(dòng)的軟件開發(fā)與傳統(tǒng)的軟件開發(fā)完全不同，因?yàn)樗槍?duì)的是更復(fù)雜的應(yīng)用領(lǐng)域（例如，視覺、語音、語言），并側(cè)重于學(xué)習(xí)行為（例如在大規(guī)模數(shù)據(jù)集上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)）而不是基于規(guī)則的操作（例如手工編碼的if-then-else語句）。目前，只有很少的組織機(jī)構(gòu)擁有進(jìn)行此類工程的專業(yè)知識(shí)，而我們還只是剛剛接觸到機(jī)器學(xué)習(xí)技術(shù)潛力的表面。我們?cè)谙挛闹忻枋隽诉@種新發(fā)展模式的三個(gè)關(guān)鍵挑戰(zhàn)。
圖3 經(jīng)歷了幾十年才研發(fā)出來的渦輪發(fā)動(dòng)機(jī)。它讓飛機(jī)速度更快、效率更高，從而能在一天之內(nèi)環(huán)游世界。圖片來自Stacy Pancake
挑戰(zhàn)1：效率
現(xiàn)代機(jī)器學(xué)習(xí)應(yīng)用通常涉及復(fù)雜的模型和海量的數(shù)據(jù)，需要大量的計(jì)算力和存儲(chǔ)資源。例如，Google Brain的工程師使用超過250000 GPU小時(shí)才能完成對(duì)一組語言（例如英語和德語）的神經(jīng)翻譯模型的訓(xùn)練。這在Google云上相應(yīng)的費(fèi)用大約是20萬美元[1]。相應(yīng)的，目前出現(xiàn)了各種專用硬件解決方案（例如，GPU、TPU、大規(guī)模并行CPU和FPGA）來提高機(jī)器學(xué)習(xí)應(yīng)用的速度和能效，并降低成本。
但是，想要有效地利用異構(gòu)硬件需要我們從根本上重新設(shè)計(jì)機(jī)器學(xué)習(xí)軟件本身。特別是系統(tǒng)感知算法和軟件（i）要能在大規(guī)模并行、異構(gòu)的硬件上有效地訓(xùn)練模型；（ii）要能滿足在生產(chǎn)系統(tǒng)的延遲、功耗和內(nèi)存占用限制相關(guān)的服務(wù)水平協(xié)議（SLA）。硬件的進(jìn)步必須與算法和軟件創(chuàng)新緊密結(jié)合，以便能及時(shí)和經(jīng)濟(jì)地開發(fā)和部署基于機(jī)器學(xué)習(xí)的應(yīng)用。
圖4 自動(dòng)化在現(xiàn)代商業(yè)航空中被廣泛使用，包括飛機(jī)制造/測(cè)試、空中交通管制甚至操作飛機(jī)。圖片來自Stacy Pancake
挑戰(zhàn)2：自動(dòng)化
除了計(jì)算密集之外，對(duì)機(jī)器學(xué)習(xí)工程師而言，機(jī)器學(xué)習(xí)驅(qū)動(dòng)的應(yīng)用的模型訓(xùn)練、調(diào)試和部署也是非常人力密集的。首先，考慮到快速變化的硬件環(huán)境和各種可用的基于云的產(chǎn)品，僅僅選擇合適的計(jì)算平臺(tái)就有挑戰(zhàn)性。其次，機(jī)器學(xué)習(xí)模型的質(zhì)量對(duì)超參數(shù)非常敏感。調(diào)優(yōu)這些超參數(shù)對(duì)于模型的準(zhǔn)確性至關(guān)重要。但調(diào)優(yōu)工作通常是勞動(dòng)密集型的且計(jì)算成本昂貴。第三，在訓(xùn)練時(shí)使用并行硬件非常重要。 只是提高計(jì)算能力通常不會(huì)帶來真正的加速。并且在用戶之間公平有效地共享群集資源可能也有挑戰(zhàn)性。
更糟糕的是，開發(fā)機(jī)器學(xué)習(xí)應(yīng)用不是一次性的過程：數(shù)據(jù)隨時(shí)間而變化，因此模型和系統(tǒng)必須適應(yīng)。診斷和更新陳舊的模型具有挑戰(zhàn)性，并且由于再現(xiàn)機(jī)器學(xué)習(xí)應(yīng)用的行為是驚人得困難（有時(shí)是不可能的[2]）。這些問題是由許多因素造成的，包括（i）這些應(yīng)用自身的統(tǒng)計(jì)或“模糊”性質(zhì)；（ii）機(jī)器學(xué)習(xí)應(yīng)用的復(fù)雜性（例如管道叢林[3]）；（iii）動(dòng)態(tài)的開發(fā)過程，即代碼和數(shù)據(jù)隨著時(shí)間的推移而變化且缺乏控制（有時(shí)甚至不存在）。鑒于機(jī)器學(xué)習(xí)人才的短缺和成本高，以及對(duì)機(jī)器學(xué)習(xí)技術(shù)的需求增加，迫切需要自動(dòng)化和簡(jiǎn)化這些開發(fā)和部署流程。
圖5 商用航空的大范圍應(yīng)用依賴于航空安全的顯著進(jìn)步，包括飛機(jī)設(shè)計(jì)和測(cè)試的進(jìn)步，以及國(guó)際和國(guó)內(nèi)監(jiān)管機(jī)構(gòu)的建立，例如國(guó)際民航組織（ICAO）和聯(lián)邦航空管理局（FAA）。圖片來自Stacy Pancake
挑戰(zhàn)3：安全性
隨著機(jī)器學(xué)習(xí)應(yīng)用變得越來越普遍并且越來越多地影響社會(huì)生活（例如，編寫新聞、決定信用值、影響刑事判決、自主駕駛車輛），與它的誤用或誤解相關(guān)的安全風(fēng)險(xiǎn)越來越大。因此，理解和審計(jì)機(jī)器學(xué)習(xí)應(yīng)用的行為變得至關(guān)重要。我們是否了解模型如何做出決策？與單個(gè)決策相關(guān)的信心度和不確定性是什么？這些預(yù)測(cè)會(huì)對(duì)個(gè)人或社會(huì)構(gòu)成直接威脅嗎？特定機(jī)器學(xué)習(xí)應(yīng)用的更廣泛的道德后果是什么？機(jī)器學(xué)習(xí)用什么信息做的決定？個(gè)人隱私是否得到充分地保護(hù)？
不幸的是，機(jī)器學(xué)習(xí)應(yīng)用并沒有為我們提供這些問題的直接答案。它們本質(zhì)上是數(shù)據(jù)驅(qū)動(dòng)的，而不是基于簡(jiǎn)單的規(guī)則。甚至我們對(duì)于為什么先進(jìn)的機(jī)器學(xué)習(xí)方法（例如深度學(xué)習(xí)模型）能起作用的基本原理還缺乏理解。除了提高我們的基本科學(xué)理解外，我們還必須開發(fā)強(qiáng)大的以機(jī)器學(xué)習(xí)為中心的工程流程，從而降低潛在的安全風(fēng)險(xiǎn)。這些新流程必須考慮到機(jī)器學(xué)習(xí)應(yīng)用固有的復(fù)雜性和不確定性。
跨學(xué)科的前進(jìn)道路
效率、自動(dòng)化和安全性三大挑戰(zhàn)不會(huì)在一夜之間得到解決。很明顯，這會(huì)涉及到非常廣泛的學(xué)科。相應(yīng)衍生出的解決方案將會(huì)需要學(xué)術(shù)界的研究人員和業(yè)界的工程師之間的緊密配合。
從學(xué)術(shù)界的視角看，我們已經(jīng)看到了跨學(xué)科進(jìn)展的信號(hào)，因?yàn)樯鲜龅暮诵奶魬?zhàn)已經(jīng)激發(fā)了新的研究社區(qū)的出現(xiàn)。兩個(gè)知名的例子是(i)SysML研究社區(qū)，他們正致力于系統(tǒng)和機(jī)器學(xué)習(xí)的交互，并為學(xué)習(xí)系統(tǒng)設(shè)計(jì)出系統(tǒng)感知算法和找到最佳實(shí)踐。(ii)FatML研究社區(qū)，他們吸引了來自社會(huì)學(xué)和定性分析領(lǐng)域的研究者和行業(yè)從業(yè)人員。他們共同關(guān)注機(jī)器學(xué)習(xí)的公平性、可靠性和透明性。
然而，最終我們是希望走出純學(xué)術(shù)研究，利用最前沿的理論發(fā)展，設(shè)計(jì)和構(gòu)建出越來越魯棒和復(fù)雜的工程系統(tǒng)。想實(shí)現(xiàn)這一目標(biāo)，將需要學(xué)術(shù)界的研究人員專注于更抽象和理論化的問題，并且和理解行業(yè)流程和真實(shí)世界開發(fā)需求的工程師協(xié)同工作。在到達(dá)機(jī)器學(xué)習(xí)的噴氣時(shí)代之前我們還有很長(zhǎng)的路要走。而持續(xù)的合作努力將會(huì)真正地讓機(jī)器學(xué)習(xí)開始騰飛。
?[1]?Britz等，《Massive Exploration of Neural Machine Translation Architectures》，2017年Conference on Empirical Methods in Natural Language Processing會(huì)議。
[2]?例如，TensorFlow在GPU或多核CPU上的各種運(yùn)算是非確定性的。查看https://github.com/tensorflow/tensorflow/issues/3103了解更多。
?[3]?Sculley等，《Hidden Technical Debt in Machine Learning Systems》，2015年Neural Information Processing Systems會(huì)議。
?[4]?http://www.sysml.cc
?[5]?https://fatconference.org
相關(guān)內(nèi)容：
- 《如何大規(guī)模訓(xùn)練和部署深度學(xué)習(xí)》：Ameet Talwalkar討論大規(guī)模機(jī)器學(xué)習(xí)。
Ameet Talwalkar
Ameet Talwalkar是卡耐基梅隆大學(xué)機(jī)器學(xué)習(xí)系的助理教授。他還是Determined AI公司的聯(lián)合創(chuàng)始人和首席科學(xué)家。Determined AI是一家軟件公司，旨在幫助讓機(jī)器學(xué)習(xí)工程師和數(shù)據(jù)科學(xué)家更有生產(chǎn)力。
