DeepMind與Waymo合作提高AI精度 加速模型訓(xùn)練

據(jù)美國科技媒體Venturebeat報(bào)道，谷歌的兩家兄弟公司——Waymo與DeepMind正在合作。他們最近在一篇博客文章中透露，雙方共同開發(fā)受進(jìn)化生物啟發(fā)的技術(shù)。

Waymo解釋說，AI算法通過反復(fù)試驗(yàn)和試錯(cuò)來自我改進(jìn)。模型被賦予一個(gè)任務(wù)，需要通過根據(jù)其收到的反饋，持續(xù)嘗試和調(diào)整，來學(xué)習(xí)如何完成任務(wù)。任務(wù)的完成情況很大程度上取決于訓(xùn)練的方案，而尋找最合適的訓(xùn)練方案經(jīng)常是經(jīng)驗(yàn)豐富的研究人員和工程師的工作。他們精心挑選接受培訓(xùn)的AI模型，剔除表現(xiàn)最差的模型并釋放資源，從零開始訓(xùn)練新算法。

DeepMind在PBT（基于人口的訓(xùn)練）中設(shè)計(jì)了一種勞動(dòng)密集度較低的方法，該方法從隨機(jī)變量（超參數(shù)）生成的多個(gè)機(jī)器學(xué)習(xí)模型開始。模型定期進(jìn)行評估，并以進(jìn)化的方式互相競爭，從而表現(xiàn)不佳的模型會(huì)被“后代”取代（具有微量變異變量的表現(xiàn)更好的模型的副本）。PBT不需要從零開始重新訓(xùn)練，因?yàn)槊總€(gè)后代都會(huì)繼承父網(wǎng)絡(luò)的狀態(tài)，并且整個(gè)訓(xùn)練過程中會(huì)積極更新超參數(shù)。最終結(jié)果是，PBT可以將其大量資源用于訓(xùn)練“好的”超參數(shù)值。

PBT并不完美——它傾向于優(yōu)化當(dāng)前，但并不考慮長期結(jié)果，這就不利于后期發(fā)展的AI模型。為了緩解這種情況，DeepMind的研究人員培訓(xùn)了大量模型（“人口”）并創(chuàng)建稱為“利基”的子人口，其中算法只會(huì)跟他們自己子群中的模型競爭。

在最近數(shù)項(xiàng)研究中，DeepMind和Waymo已嘗試將PBT應(yīng)用于行人、自行車和摩托車的識別任務(wù)，目的是調(diào)查算法是否進(jìn)一步提升。最終，兩家公司希望訓(xùn)練處一個(gè)AI模型，可以保持99%以上的總體障礙物識別率，并減少誤報(bào)。

Waymo表示，這些實(shí)驗(yàn)為評估真實(shí)世界模型的穩(wěn)健性提供了一個(gè)“現(xiàn)實(shí)的”框架，這反過來又為PBT的算法選擇競爭提供了依據(jù)。他們還稱，實(shí)驗(yàn)還反應(yīng)了用快速評估支持進(jìn)化競爭的需求；PBT模型可以每15分鐘評估一次。

結(jié)果令人印象深刻。Waymo表示，PBT算法可以實(shí)現(xiàn)更好的精度，與手工調(diào)整的等效物相比，誤報(bào)率可以減少24%，而識別率仍舊維持在較高水平。此外，PBT算法還可以節(jié)省時(shí)間和資源。

Waymo稱，其已經(jīng)將PBT直接納入Waymo的技術(shù)基礎(chǔ)架構(gòu)，使得公司的研究人員都可以通過點(diǎn)擊按鈕來應(yīng)用該算法。公司在博客中寫道：“PBT可以讓我們超越用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的更新規(guī)則，并向著能夠優(yōu)化我們需要之功能的復(fù)雜指標(biāo)?！?/p>