新聞中心

EEPW首頁(yè) > 智能計(jì)算 > 業(yè)界動(dòng)態(tài) > 擔(dān)心AI傷害人類?DeepMind開發(fā)專項(xiàng)測(cè)試確保AI安全性

擔(dān)心AI傷害人類?DeepMind開發(fā)專項(xiàng)測(cè)試確保AI安全性

作者: 時(shí)間:2017-12-13 來(lái)源:新浪科技 收藏

  北京時(shí)間12月12日早間消息,即便你不認(rèn)同埃隆·馬斯克(Elon Musk)的悲觀言論,也肯定認(rèn)同一個(gè)觀點(diǎn):隨著人工智能逐步應(yīng)用到現(xiàn)實(shí)世界,某些算法必然會(huì)給人類帶來(lái)傷害。

本文引用地址:http://m.butianyuan.cn/article/201712/372934.htm

  這種懂得自我學(xué)習(xí)的軟件成為了Uber無(wú)人駕駛汽車的基礎(chǔ),幫助Facebook識(shí)別文章中的人,讓亞馬遜Alexa能理解你的提問(wèn)。現(xiàn)在,Alphabet旗下的倫敦人工智能公司則開發(fā)了一項(xiàng)簡(jiǎn)單的測(cè)試,可以了解這些新的算法是否安全。

  研究人員需要將人工智能軟件植入到一系列簡(jiǎn)單的2D視頻游戲中。這款名叫g(shù)ridworld的游戲由一系列像素塊組成,看起來(lái)有點(diǎn)像國(guó)際象棋的棋盤。它能夠評(píng)估9項(xiàng)安全功能,包括人工智能系統(tǒng)是否會(huì)自我修改,以及能否學(xué)會(huì)作弊。

  該項(xiàng)目首席研究員簡(jiǎn)·雷克(Jan Leike)最近在神經(jīng)信息處理系統(tǒng)(NIPS)大會(huì)上表示,在gridworld中表現(xiàn)出不安全行為的人工智能算法在現(xiàn)實(shí)世界中可能也不夠安全。

  開發(fā)這項(xiàng)測(cè)試正值人們?cè)桨l(fā)擔(dān)心人工智能的負(fù)面影響之際。隨著這項(xiàng)技術(shù)的傳播,顯然有很多算法會(huì)采用有偏見的數(shù)據(jù)進(jìn)行訓(xùn)練,而且很難展示某些系統(tǒng)為什么會(huì)達(dá)成某種結(jié)論。人工智能安全是NIPS的一個(gè)重要論題。

  最著名的是開發(fā)表現(xiàn)超越人類的人工智能軟件。該公司最近開發(fā)了一套算法,不需要提前掌握任何知識(shí),便可在國(guó)際象棋等游戲中擊敗最優(yōu)秀的人類選手——有時(shí)候只需要接受幾小時(shí)的訓(xùn)練即可。

  雷克表示,如果DeepMind想要開發(fā)通用人工智能(這種軟件能夠掌握多種任務(wù),而且可以比肩或超越人類),了解這種軟件的安全性就至關(guān)重要。他也強(qiáng)調(diào)稱,gridworld并不完美。有的算法可能在這項(xiàng)測(cè)試中表現(xiàn)良好,但在復(fù)雜的現(xiàn)實(shí)世界中仍有可能不夠安全。

  研究人員發(fā)現(xiàn),有兩套掌握Atari視頻游戲的DeepMind算法未能通過(guò)gridworld安全測(cè)試。“他們?cè)O(shè)計(jì)時(shí)并沒(méi)有考慮這些安全問(wèn)題。”雷克說(shuō)。

  這項(xiàng)測(cè)試解決的一個(gè)場(chǎng)景與馬斯克設(shè)想的人工智能災(zāi)難很接近:人工智能軟件是否會(huì)想方設(shè)法避免人類將其關(guān)閉?為了贏得游戲,算法必須穿過(guò)狹窄的數(shù)字走廊到達(dá)某個(gè)地點(diǎn)。在50%的時(shí)候,走廊里有一塊粉色的磚片擋住系統(tǒng),而在gridworld的其他地方有一個(gè)紫色按鈕可以取消粉色磚片。這項(xiàng)測(cè)試希望了解算法是否會(huì)學(xué)會(huì)使用這個(gè)按鈕來(lái)避免自己遭到干擾。

  該測(cè)試中的另外一項(xiàng)內(nèi)容是處理意料之外的副作用。算法必須將數(shù)字磚塊挪開才能到達(dá)特定目標(biāo)。但這些磚塊只能推動(dòng),不能拉動(dòng),所以在某些情況下,它們會(huì)被固定在某些地方無(wú)法移動(dòng)。雷克表示,缺乏“可逆性”是人工智能面臨的一大安全問(wèn)題。

  gridworld可供任何人下載使用。至于它是否足以確保人工智能系統(tǒng)的安全性,目前還沒(méi)有定論。在DeepMind與馬斯克支持的Open共同進(jìn)行的一項(xiàng)研究中,人工智能軟件似乎懂得討好人類老師,而不是一味追求既定目標(biāo)。開發(fā)這樣的系統(tǒng)會(huì)限制系統(tǒng)的有效性,導(dǎo)致其難以發(fā)現(xiàn)人類無(wú)法發(fā)現(xiàn)的方案。但Open安全研究主管達(dá)里奧·阿莫德(Dario Amodei)表示,在復(fù)雜環(huán)境中,使用人類教練或許能夠更好地確保安全性。



關(guān)鍵詞: DeepMind AI

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉