中科院香港創(chuàng)新院發(fā)布具身智能手術(shù)大模型，可用于手術(shù)指導(dǎo)

11月22日，中國(guó)科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心發(fā)布CARES Copilot具身智能手術(shù)AI大模型2.0版本，可為臨床診斷和決策提供支持。

中國(guó)科學(xué)院香港創(chuàng)新研究院是中央批準(zhǔn)的內(nèi)地在港設(shè)立的首個(gè)國(guó)家級(jí)科研機(jī)構(gòu)，人工智能與機(jī)器人創(chuàng)新中心是其下設(shè)兩家中心之一，圍繞多模態(tài)AI手術(shù)大模型、具身智能醫(yī)療機(jī)器人、人工智能基礎(chǔ)理論等方面開展研究工作，目標(biāo)是打造香港人工智能品牌。

今年3月，AI多模態(tài)大模型CARES Copilot 1.0發(fā)布，可以在手術(shù)階段自動(dòng)識(shí)別病灶和解剖結(jié)構(gòu)，以識(shí)別和輔助醫(yī)生的功能為主。

而CARES Copilot 2.0的突破性主要在四方面：提供高效醫(yī)學(xué)搜索與內(nèi)容生成功能，幫助醫(yī)療專業(yè)人士快速檢索與生成結(jié)構(gòu)化醫(yī)學(xué)報(bào)告；提供藥物相互作用、適應(yīng)癥與禁忌癥等多層次查詢，利用AI技術(shù)自動(dòng)解析并生成精準(zhǔn)用藥建議；能快速生成針對(duì)呼吸系統(tǒng)診斷的詳細(xì)且專業(yè)的手術(shù)報(bào)告；基于大語(yǔ)言模型技術(shù)，集成數(shù)字人定位、機(jī)器人運(yùn)動(dòng)控制與三維重建，實(shí)現(xiàn)全自動(dòng)超聲檢查。

中科院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心主任劉宏斌教授接受界面新聞采訪時(shí)指出，2.0版本大模型的突破性體現(xiàn)在，首先從整體架構(gòu)來(lái)看，為了保證回答的安全性、可解釋性和可追溯性，整體技術(shù)設(shè)計(jì)上做了全面升級(jí)。另外是多模態(tài)能力，即處理不同模態(tài)的圖像，大模型可以理解核磁共振、CT、超聲影像，并進(jìn)行圖像轉(zhuǎn)換。

“我們將1.0大模型給醫(yī)生后，他們使用最多的功能是手術(shù)規(guī)劃。以前做手術(shù)規(guī)劃要翻書，決定術(shù)式后還有一系列注意事項(xiàng)，如腫瘤的位置、怎樣開缺口?，F(xiàn)在大模型能幫助規(guī)劃。”劉宏斌提到，醫(yī)生反饋指，手術(shù)規(guī)劃找顱骨缺口角度時(shí)，一般要用CT拍骨性結(jié)構(gòu)，但神經(jīng)外科手術(shù)里一般只有核磁影像，所以就產(chǎn)生了核磁共振跟CT轉(zhuǎn)化的需求和相應(yīng)的技術(shù)迭代。

在1.0版本，CARES Copilot使用3000多本國(guó)內(nèi)外的神經(jīng)外科教材以及指南訓(xùn)練作為數(shù)據(jù)進(jìn)行訓(xùn)練。劉宏斌表示，2.0版本的數(shù)據(jù)大幅增加，“1.0只有神經(jīng)外科一個(gè)科室的數(shù)據(jù)，2.0增加了呼吸科、超聲科、麻醉科等科室數(shù)據(jù)。”

在手術(shù)領(lǐng)域，具身智能技術(shù)正逐步滲透到微創(chuàng)手術(shù)和手術(shù)機(jī)器人中。2.0大模型主要聚焦術(shù)中的人機(jī)交互，即大模型在手術(shù)過(guò)程中要跟醫(yī)生進(jìn)行互動(dòng)、理解醫(yī)生的提問(wèn)，進(jìn)一步聚焦具身應(yīng)用。

“比如醫(yī)生會(huì)告訴大模型，需要腫瘤的某個(gè)切面圖。傳統(tǒng)手術(shù)中，完成這個(gè)指令需要幾個(gè)步驟，首先對(duì)掃描圖像進(jìn)行3D重構(gòu)，分割腫瘤區(qū)域，并考慮從哪個(gè)地方做切面，最后展示。一個(gè)受過(guò)訓(xùn)練的醫(yī)生會(huì)自然而然做這些工作，但是讓一個(gè)AI系統(tǒng)來(lái)做的話，它需要知道怎么分解這個(gè)任務(wù)、調(diào)動(dòng)相應(yīng)功能、組合起每個(gè)環(huán)節(jié)。這個(gè)是我們?cè)?span style="background: 0px center; border: 0px; margin: 0px; padding: 0px; vertical-align: baseline; font: inherit;">2.0的時(shí)候重點(diǎn)開發(fā)的?！眲⒑瓯笳J(rèn)為，具身智能體現(xiàn)在，AI系統(tǒng)能夠跟人交互，并進(jìn)行任務(wù)的規(guī)劃和執(zhí)行。

基于多科室的數(shù)據(jù)訓(xùn)練，CARES Copilot2.0也進(jìn)一步完善手術(shù)指導(dǎo)功能。例如在神經(jīng)外科中，可以進(jìn)行手術(shù)導(dǎo)航，給醫(yī)生一些實(shí)時(shí)的提醒，比如應(yīng)該看哪個(gè)部位、重點(diǎn)關(guān)注核磁影像上的哪個(gè)區(qū)域；麻醉科中，可以實(shí)現(xiàn)輸血決策，在術(shù)中指導(dǎo)如何輸血。

中科院香港創(chuàng)新院在辦公室展廳中展出了正在打造的人工智能體（Embodied AI）手術(shù)室。雖然稱之為“手術(shù)室”，更多是智能的技術(shù)集合體，包括微創(chuàng)手術(shù)機(jī)器人，部署在邊緣計(jì)算系統(tǒng)上的AI大模型，內(nèi)窺鏡、手術(shù)室監(jiān)控?cái)z像頭、超聲等實(shí)時(shí)影像設(shè)備。中心人員介紹指，該系統(tǒng)已經(jīng)完成了四次的尸體實(shí)驗(yàn)。

人工智能體（Embodied AI）手術(shù)室 拍攝：張熹瓏

劉宏斌告訴記者，手術(shù)室可能會(huì)在CARES Copilot 3.0時(shí)發(fā)布，目前機(jī)械臂也具備幫醫(yī)生拿工具的功能。

“傳統(tǒng)手術(shù)室中，醫(yī)生想一直有一個(gè)好助手，其實(shí)是一個(gè)悖論。好助手很難找，加上助手能很好地配合后就想去當(dāng)主刀了。”劉宏斌提到，所以可行的方式是，機(jī)器人經(jīng)過(guò)跟醫(yī)生的交互學(xué)習(xí)后，熟悉其操作方式和習(xí)慣用語(yǔ)，擔(dān)任助手的角色，“這個(gè)功能我們現(xiàn)在正在跟醫(yī)生一起開發(fā)，這也對(duì)連續(xù)學(xué)習(xí)能力提出要求?！?/p>

正在打造國(guó)際創(chuàng)科中心的香港，將人工智能視為重點(diǎn)發(fā)展的賽道。香港2024《施政報(bào)告》提出，擴(kuò)大研究和創(chuàng)科產(chǎn)業(yè)投資，設(shè)立100億元“創(chuàng)科產(chǎn)業(yè)引導(dǎo)基金”，加強(qiáng)引導(dǎo)市場(chǎng)資金投資指定策略性新興和未來(lái)產(chǎn)業(yè)，包括生命健康科技、人工智能與機(jī)械人、半導(dǎo)體與智能設(shè)備、先進(jìn)材料和新能源等。

CARES Copilot為香港最早落地的垂直領(lǐng)域大模型之一。此外，香港科技大學(xué)研發(fā)出四個(gè)AI醫(yī)學(xué)大模型，涵蓋乳腺癌診斷、病理輔助和全科醫(yī)學(xué)等，可為癌癥等多達(dá)30種疾病提供診斷和預(yù)后評(píng)估；香港城市大學(xué)孵化的增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航能將CT的2D影像轉(zhuǎn)化為3D手術(shù)導(dǎo)航系統(tǒng)。

另一方面，香港通過(guò)引進(jìn)重點(diǎn)企業(yè)完善生態(tài)圈。近日落戶的百度智能云（香港）人工智能創(chuàng)新中心，就是通過(guò)香港引進(jìn)重點(diǎn)企業(yè)辦公室落戶本地的首批重點(diǎn)企業(yè)。這次合作為跨界別、跨地域——香港千帆科技負(fù)責(zé)投資和日常營(yíng)運(yùn)，北京百度負(fù)責(zé)技術(shù)和軟硬件建設(shè)，并派駐人員進(jìn)行培訓(xùn)和技術(shù)支持。

位于瑞士洛桑的國(guó)際管理發(fā)展學(xué)院發(fā)布的《2024年世界數(shù)碼競(jìng)爭(zhēng)力排名》顯示，香港上升3位至全球第7位，其中“科技”和“知識(shí)”排名分別位列全球第3位及第5位。不過(guò)，香港于研發(fā)總支出百分比和用于教育的總公共開支分別居全球第38及第50位，屬于需要改善的項(xiàng)目。

香港數(shù)碼港的人工智能超算中心首階段設(shè)施將于年內(nèi)投入服務(wù)，將提供約每秒浮點(diǎn)運(yùn)算300千萬(wàn)億次（PFLOPS）的算力，并會(huì)逐步提升至3000 PFLOPS的水平，相當(dāng)于一小時(shí)可完成近100億張圖像處理。

港府此前亦推出30億元的“人工智能資助計(jì)劃”，資助本地大學(xué)、研發(fā)機(jī)構(gòu)及企業(yè)等運(yùn)用數(shù)碼港超算中心的算力。

劉宏斌透露，有意向跟超算中心合作，“之前跟算力中心的負(fù)責(zé)人有很多次交流，他們表示很愿意支持我們的科研。等中心正式運(yùn)營(yíng)后，我們會(huì)再跟進(jìn)具體的合作形式?！?/p>