MIT長篇論文：我們熱捧的AI翻譯和自動(dòng)駕駛，需要用技術(shù)性價(jià)比來重估

深度學(xué)習(xí)在計(jì)算上受到限制并不是一件「新鮮事」。

創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為海棠企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、外貿(mào)營銷網(wǎng)站建設(shè)，海棠網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

只是在過去十年里面，這種計(jì)算限制被「淡化」了。人們專注于「算法」優(yōu)化和「硬件」性能的提升，以及愿意投入更高的「成本」來獲得更好的性能。

性價(jià)比這件事，從來沒被嚴(yán)肅以待。

但是現(xiàn)在，深度學(xué)習(xí)的計(jì)算需求越來越大，這些所謂的「方法」開始變得無濟(jì)于事了。

最近，MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的研究科學(xué)家 Neil Thompson 發(fā)表了最新研究，主題旗幟鮮明：「Computational Limits of Deep Learning」。

用46 頁、研究千余篇論文告訴你，深度學(xué)習(xí)的算力局限在哪里。

從設(shè)置的生成模型中發(fā)現(xiàn)理論上的算力局限。

首先，來看看理論上的算力局限。

他們設(shè)置了一個(gè)生成模型，在可能的 1000 個(gè)參數(shù)中，有 10 個(gè)非零參數(shù)，并考慮 4 個(gè)模型來嘗試發(fā)現(xiàn)這些參數(shù)。

Oracle model：在模型中有完全正確的 10 個(gè)參數(shù)。

Expert model：模型中恰好有 9 個(gè)正確參數(shù)和 1 個(gè)錯(cuò)誤參數(shù)。

Flexible model：擁有模型中所有1000 個(gè)潛在參數(shù)，并使用「最小二乘估計(jì)」。

Regularized model：跟「Flexible model」一樣，它擁有模型中所有參數(shù)，但是是在正則化模型中。

于是，就得出了這樣的結(jié)果——模型復(fù)雜度與正則化對模型性能和對計(jì)算要求的影響。

其中模型性能，是以與預(yù)測器相比預(yù)測的歸一化平均平方誤差的負(fù)對數(shù)（以 10 為底）。

可以看到，隨著樣本量的增加，Oracle model 跟 Expert model 一開始表現(xiàn)出更好的性能，而 Flexible model 和 Regularized model 這兩個(gè)模型后進(jìn)之勢十分猛烈。

而與之相應(yīng)的「計(jì)算要求」，F(xiàn)lexible model 和 Regularized model 跟前兩個(gè)壓根就不是一個(gè)量級的。

這恰好印證了吳恩達(dá)的一個(gè)觀點(diǎn)：

當(dāng)數(shù)據(jù)量小的時(shí)候，傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)做得更好，但靈活的深度學(xué)習(xí)模型在數(shù)據(jù)量更大的情況下做得更好 。

那么這篇論文將這一見解推向了更加廣泛的結(jié)論：

靈活的深度學(xué)習(xí)模型有更大的潛力，但也有更大的數(shù)據(jù)和計(jì)算要求。

1058 篇論文看到實(shí)際中的算力需求

直接上圖。

可以看到，所有的深度學(xué)習(xí)模型的實(shí)際算力需求，在近幾年里，遠(yuǎn)遠(yuǎn)高于「硬件性能」提升中需要的計(jì)算能力。

為了研究深度學(xué)習(xí)對計(jì)算的依賴性，團(tuán)隊(duì)研究了1058 篇研究論文。

涵蓋了圖像分類（ImageNet 基準(zhǔn)）、對象檢測（MS COCO）、問題回答（SQuAD 1.1）、命名實(shí)體識別（COLLN 2003）和機(jī)器翻譯（WMT 2014 En-to-Fr）等領(lǐng)域。

以圖像分類為例。

ImageNet 為基準(zhǔn)，顯示了 ImageNet 數(shù)據(jù)集上圖像識別錯(cuò)誤率的下降及其與這些模型的計(jì)算要求的相關(guān)性。

除此之外，在問題回答、命名實(shí)體識別、機(jī)器翻譯等領(lǐng)域也表現(xiàn)出了對計(jì)算能力的依賴性。

除了機(jī)器翻譯（英語到德語），使用的計(jì)算能力的變化很小。其他的模型的依賴性都很強(qiáng)，其中問題回答的依賴性達(dá)到了 7.7。

總的來說，在深度學(xué)習(xí)的許多領(lǐng)域中，訓(xùn)練模型的進(jìn)展都依賴于計(jì)算能力的大量增加。

但隨之而來的，就是「高昂的研究成本」。

MIT 助理教授，清華大學(xué)校友韓松，就曾說過：

深度神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)在計(jì)算上非常昂貴，這是一個(gè)關(guān)鍵的問題。

今年一月，F(xiàn)acebook 的 AI 副總裁 Jerome Pesenti 在接受《連線》采訪時(shí)，就表示，該領(lǐng)域很快就會(huì)「碰壁」。

AI 科研成本的持續(xù)上漲，或?qū)е挛覀冊谠擃I(lǐng)域的研究碰壁，現(xiàn)在已經(jīng)到了一個(gè)需要從成本效益等方面考慮的地步，我們需要清楚如何從現(xiàn)有的計(jì)算力中獲得的收益。

現(xiàn)在，用千余篇論文研究再次證實(shí)了這一結(jié)論。

那么對于現(xiàn)在的機(jī)器翻譯、自動(dòng)駕駛等項(xiàng)目需要重新考慮一下，「如何實(shí)現(xiàn)以低的成本實(shí)現(xiàn)收益化」。

換而言之，作為商業(yè)模型來落地的 AI 翻譯和自動(dòng)駕駛項(xiàng)目，是時(shí)候要用「性價(jià)比」來重估了。

你覺得呢？

論文地址：

http://www.neil-t.com/moores-law-and-computer-performance/

參考鏈接：

https://www.wired.com/story/prepare-artificial-intelligence-produce-less-wizardry/

本文標(biāo)題：MIT長篇論文：我們熱捧的AI翻譯和自動(dòng)駕駛，需要用技術(shù)性價(jià)比來重估
轉(zhuǎn)載來源：http://muchs.cn/article44/cghdhe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、響應(yīng)式網(wǎng)站、網(wǎng)站維護(hù)、網(wǎng)站策劃、企業(yè)建站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)