史上首次，強(qiáng)化學(xué)習(xí)算法控制核聚變登上Nature：DeepMind讓人造太陽向前一大步

過去三年，DeepMind 和瑞士洛桑聯(lián)邦理工學(xué)院 EPFL 一直在進(jìn)行一個(gè)神秘的項(xiàng)目：用強(qiáng)化學(xué)習(xí)控制核聚變反應(yīng)堆內(nèi)過熱的等離子體，如今它已宣告成功。

DeepMind研究科學(xué)家David Pfau在論文發(fā)表后感嘆道：「為了分享這個(gè)時(shí)刻我已經(jīng)等了很久，這是第一次在核聚變研究設(shè)備上進(jìn)行深度強(qiáng)化學(xué)習(xí)的演示！」
可控核聚變、強(qiáng)人工智能、腦機(jī)接口是人類科技發(fā)展的幾個(gè)重要方向，有關(guān)它們何時(shí)可以實(shí)現(xiàn)，科學(xué)家們的說法永遠(yuǎn)是「還需幾十年」——面臨的挑戰(zhàn)太多，手頭的方法卻很有限。
那么用人工智能去控制核聚變，是不是一個(gè)有前途的方向？這個(gè)問題可能需要由提出 AlphaGo 的 DeepMind 來回答了。
最近，EPFL 和 DeepMind 使用深度強(qiáng)化學(xué)習(xí)控制托卡馬克裝置等離子體的研究登上了《自然》雜志。

論文地址：https://www.nature.com/articles/s41586-021-04301-9
首先，我們來思考一個(gè)問題：為什么要用人工智能控制核聚變？
托卡馬克是一種用于容納核聚變反應(yīng)的環(huán)形容器，其內(nèi)部呈現(xiàn)出一種特殊的混亂狀態(tài)。氫原子在極高的溫度下被擠壓在一起，產(chǎn)生比太陽表面還熱的、旋轉(zhuǎn)的、翻滾的等離子體。找到控制和限制等離子體的方法將是釋放核聚變潛力的關(guān)鍵，而后者被認(rèn)為是未來幾十年清潔能源的源泉。
在這一點(diǎn)上，科學(xué)原理似乎是說得通的，剩下的就是工程挑戰(zhàn)。參與該研究的瑞士等離子體中心（SPC）主任 Ambrogio Fasoli 表示：「我們需要能夠加熱這個(gè)裝置，并保持足夠長的時(shí)間，以便我們從中吸取能量?！?/span>

在同樣由聚變驅(qū)動(dòng)的恒星中，僅依靠引力質(zhì)量就足以將氫原子拉到一起并克服它們的相反電荷。在地球上，科學(xué)家們改為使用強(qiáng)大的磁線圈來限制核聚變反應(yīng)，將其推到所需的位置。這些線圈必須仔細(xì)控制，以防止等離子體接觸容器本身：這會(huì)損壞容器壁并減慢聚變反應(yīng)。 
但每次研究人員想要改變等離子體的配置并嘗試不同的形狀，以產(chǎn)生更多的能量或更純凈的等離子體時(shí)，都需要大量的工程和設(shè)計(jì)工作。傳統(tǒng)的系統(tǒng)是由計(jì)算機(jī)控制的，基于模型和模擬，但 Fasoli 表示傳統(tǒng)方法「復(fù)雜且不一定能起到優(yōu)化的作用」。
DeepMind 控制團(tuán)隊(duì)負(fù)責(zé)人 Martin Riedmiller 表示：「人工智能，特別是強(qiáng)化學(xué)習(xí)，特別適合解決托卡馬克中控制等離子體的復(fù)雜問題?！笵eepMind 在論文中詳細(xì)介紹了所提的可以自主控制等離子體的 AI。

技術(shù)概覽
DeepMind 提出的模型架構(gòu)如下圖所示，該方法具有三個(gè)階段：

• 第一階段：設(shè)計(jì)者為實(shí)驗(yàn)指定目標(biāo)，可能伴隨著隨時(shí)間變化的控制目標(biāo)；

• 第二階段：深度 RL 算法與托卡馬克模擬器交互，以找到接近最優(yōu)的控制策略來滿足指定目標(biāo)；

• 第三階段：以神經(jīng)網(wǎng)絡(luò)表示的控制策略直接在托卡馬克硬件上實(shí)時(shí)運(yùn)行（零樣本）。

圖 1：控制器設(shè)計(jì)架構(gòu)（controller design architecture）的各組件示意圖。
在第一階段，實(shí)驗(yàn)?zāi)繕?biāo)由一組目標(biāo)指定，這些目標(biāo)包含不同的期望特性。特性范圍包括位置和等離子體電流的基本穩(wěn)定，以及多個(gè)時(shí)變目標(biāo)的復(fù)雜組合。然后，這些目標(biāo)被組合成一個(gè)獎(jiǎng)勵(lì)函數(shù)，在每個(gè)時(shí)間步驟中為狀態(tài)分配一個(gè)標(biāo)量質(zhì)量度量。該獎(jiǎng)勵(lì)函數(shù)還懲罰控制策略，讓其不會(huì)達(dá)到終端狀態(tài)。至關(guān)重要的是，精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)將被最低限度地指定，從而為學(xué)習(xí)算法提供最大的靈活性以達(dá)到預(yù)期的結(jié)果。
在第二階段，高性能 RL 算法通過與環(huán)境交互來收集數(shù)據(jù)并找到控制策略，如圖 1a、b 所示。該研究使用的模擬器具有足夠的物理保真度來描述等離子體形狀和電流的演變，同時(shí)保持足夠低的計(jì)算成本來學(xué)習(xí)。具體來說，該研究基于自由邊界等離子體演化（free-boundary plasma-evolution ）模型，對(duì)等離子體狀態(tài)在極向場線圈電壓的影響下的演化進(jìn)行建模。
RL 算法使用收集到的模擬器數(shù)據(jù)來找到關(guān)于指定獎(jiǎng)勵(lì)函數(shù)的最優(yōu)策略。由于演化等離子體狀態(tài)的計(jì)算要求，模擬器的數(shù)據(jù)速率明顯低于典型 RL 環(huán)境的數(shù)據(jù)速率。該研究通過最大后驗(yàn)策略優(yōu)化 (MPO) 來克服數(shù)據(jù)不足問題。MPO 支持跨分布式并行流的數(shù)據(jù)收集，并以高效的方式進(jìn)行學(xué)習(xí)。
在第三階段，控制策略與相關(guān)的實(shí)驗(yàn)控制目標(biāo)綁定到一個(gè)可執(zhí)行文件中，使用量身定制的編譯器（10 kHz 實(shí)時(shí)控制），最大限度地減少依賴性并消除不必要的計(jì)算。這個(gè)可執(zhí)行文件是由托卡馬克配置變量（TCV）控制框架加載的（圖 1d）。每個(gè)實(shí)驗(yàn)都從標(biāo)準(zhǔn)的等離子體形成程序（plasma-formation procedures）開始，其中傳統(tǒng)控制器維持等離子體的位置和總電流。在預(yù)定時(shí)間里，稱為「handover」，控制切換到控制策略，然后啟動(dòng) 19 個(gè) TCV 控制線圈，將等離子體形狀和電流轉(zhuǎn)換為所需的目標(biāo)。訓(xùn)練完成后將不會(huì)進(jìn)一步調(diào)整網(wǎng)絡(luò)權(quán)值，換句話說，從模擬到硬件實(shí)現(xiàn)了零樣本遷移。
基本功能演示
該研究在 TCV 實(shí)驗(yàn)中展示了所提架構(gòu)在控制目標(biāo)上的能力。首先他們展示了對(duì)等離子體平衡基本質(zhì)量的精確控制。控制策略性能如圖 2 所示。所有任務(wù)都成功執(zhí)行，跟蹤精度低于期望的閾值。結(jié)果表明 RL 體系架構(gòu)能夠在放電實(shí)驗(yàn)的所有相關(guān)階段進(jìn)行精確的等離子體控制。

圖 2：等離子體電流、垂直穩(wěn)定性、位置與形狀控制的演示。
控制演示
接下來，該研究展示了所提架構(gòu)為科學(xué)研究生成復(fù)雜配置的能力。結(jié)果如圖 3 所示：

圖 3 控制演示。
全新多域等離子體演示
最后展示了架構(gòu)在探索全新等離子配置方面的強(qiáng)大功能。DeepMind 測試了「液滴」（droplets）的控制，這是一種在容器內(nèi)部同時(shí)存在兩個(gè)獨(dú)立等離子體的配置。通過提出的方法，DeepMind 簡單地調(diào)整了模擬切換狀態(tài)，以考慮來自單軸等離子體的不同切換條件，并定義一個(gè)獎(jiǎng)勵(lì)函數(shù)以保持每個(gè)液滴組件的位置穩(wěn)定，同時(shí)增加域等離子體電流。

圖 4：整個(gè) 200 毫米控制窗口內(nèi)對(duì) TCV 上兩個(gè)獨(dú)立液滴的持續(xù)控制演示。
未來展望
總而言之，隨著聚變反應(yīng)堆變得越來越大，與 DeepMind 展開合作或許是最關(guān)鍵的。盡管物理學(xué)家已經(jīng)很好地掌握了如何通過傳統(tǒng)方法控制小型托卡馬克中的等離子體，但隨著科學(xué)家們嘗試令核電站規(guī)模的版本可行，挑戰(zhàn)只會(huì)更多。該領(lǐng)域正取得緩慢但穩(wěn)定的進(jìn)展。 
上周，位于英國牛津郡的歐洲聯(lián)合環(huán)狀反應(yīng)堆（JET）項(xiàng)目取得了突破，創(chuàng)造了從聚變實(shí)驗(yàn)中提取能量的新紀(jì)錄，在 5 秒時(shí)間內(nèi)產(chǎn)生了 59 兆焦耳的能量。與此同時(shí)，位于法國的國際熱核聚變實(shí)驗(yàn)反應(yīng)堆（ITER）國際合作項(xiàng)目正在建設(shè)當(dāng)中，預(yù)計(jì)將于 2025 年啟動(dòng)并成為世界上最大的實(shí)驗(yàn)性聚變反應(yīng)堆。
圣地亞哥能源研究中心的副研究科學(xué)家 Dmitri Orlov 表示，「托卡馬克裝置越復(fù)雜，性能越高，就越需要通過越來越高的可靠性和準(zhǔn)確性來控制更多數(shù)量?！笰I 控制的托卡馬克裝置可以通過優(yōu)化，以控制熱量從反應(yīng)中轉(zhuǎn)移到容器壁上，并防止破壞性的「等離子體不穩(wěn)定性」。反應(yīng)堆本身可以重新設(shè)計(jì)，以利用強(qiáng)化學(xué)習(xí)所提供的更嚴(yán)格控制。
最終，Ambrogio Fasoli 認(rèn)為，與 DeepMind 的合作可以讓研究人員突破界限，加速通往聚變能量的漫長旅程。人工智能將賦能我們探索人類無法探索的東西，因?yàn)槲覀兛梢允褂米约翰桓颐半U(xiǎn)的控制系統(tǒng)來達(dá)到目標(biāo)?！溉绻覀兇_定自己有一個(gè)控制系統(tǒng)，讓我們接近極限但不會(huì)超出極限，則實(shí)際上可以用來探索那些不存在的可能性。」
參考鏈接：https://www.wired.com/story/deepmind-ai-nuclear-fusion/