【億邦動(dòng)力訊】9月2日消息，在“創(chuàng)響中國(guó)·哈爾濱站”啟動(dòng)儀式暨哈爾濱新區(qū)雙創(chuàng)峰會(huì)上，網(wǎng)絡(luò)空間安全專家、中國(guó)工程院院士方濱興發(fā)表了《人工智能安全之我見(jiàn)》的主題演講，他指出，當(dāng)一個(gè)新技術(shù)用于安全時(shí)，會(huì)存在兩種情況：一種是用新技術(shù)支撐安全，當(dāng)然它可以做攻擊，也可以做防御；第二種是一個(gè)新技術(shù)本身就會(huì)帶來(lái)一個(gè)新的安全問(wèn)題。

據(jù)了解，本次大會(huì)由2018年“創(chuàng)響中國(guó)”活動(dòng)組委會(huì)、黑龍江省發(fā)展和改革委員會(huì)、黑龍江省科學(xué)技術(shù)廳、黑龍江省教育廳指導(dǎo)，哈爾濱市人民政府主辦，哈爾濱市發(fā)展和改革委員會(huì)、哈爾濱新區(qū)管理委員會(huì)承辦，哈爾濱工業(yè)大學(xué)、億邦動(dòng)力聯(lián)合承辦。

網(wǎng)絡(luò)空間安全專家，中國(guó)工程院院士方濱興

溫馨提示：本文為速記初審稿，保證現(xiàn)場(chǎng)嘉賓原意，未經(jīng)刪節(jié)，或存紕漏，敬請(qǐng)諒解。

方濱興：我們先從一個(gè)宏觀的角度來(lái)看，作為一個(gè)新技術(shù)和安全有什么樣的關(guān)系？當(dāng)一個(gè)新技術(shù)用于安全時(shí)，它會(huì)存在著兩種情況，一種是把新技術(shù)支撐安全，當(dāng)然它可以做攻擊，也可以做防御，這個(gè)新技術(shù)實(shí)際上是被安全領(lǐng)域來(lái)利用了。第二種是出現(xiàn)了一個(gè)新技術(shù)，它本身就會(huì)帶來(lái)一個(gè)新的安全問(wèn)題，也就是說(shuō)它有可能是自身還不夠安全就用了。我們有時(shí)候說(shuō)它可能是一個(gè)潘多拉的盒子，把魔鬼放出來(lái)了，危害了其他的領(lǐng)域。我們可以把它看成四種情況：

第一種情況，它用于助力防守，助力攻擊，內(nèi)生安全，衍生安全。我們從這個(gè)視角來(lái)看看人工智能是什么情況。首先人工智能會(huì)助力防御，人工智能供給，樣本攻擊，威脅人類。這是國(guó)外開(kāi)發(fā)的一個(gè)系統(tǒng)，叫做ai2，用人工智能方法來(lái)分析你是不是有攻擊的情況，它通過(guò)大量的數(shù)據(jù)學(xué)習(xí)讓人給它做一個(gè)判斷，是不是攻擊。這種知識(shí)就能夠判斷是否會(huì)出現(xiàn)新的攻擊。最后得到了很好的效果，發(fā)現(xiàn)攻擊的情況比過(guò)去提高了3倍。

第二種情況，人工智能助力于網(wǎng)絡(luò)攻擊，我們叫做自動(dòng)化的網(wǎng)絡(luò)攻擊。在美國(guó)2013年就準(zhǔn)備推這件事，他就說(shuō)我要搞機(jī)器人的自動(dòng)攻擊。我們兩年后要搞一次比賽，來(lái)干這個(gè)事兒。2016年就做了這個(gè)比賽，進(jìn)入了初選，一年時(shí)間進(jìn)行決賽。這是等于通過(guò)機(jī)器人，完全在人不干預(yù)的情況下自己去搞計(jì)算機(jī)的攻擊，來(lái)看人工智能能夠發(fā)揮什么樣的作用。

在這里面一個(gè)核心是要編一個(gè)“網(wǎng)絡(luò)推理”系統(tǒng)，也就是計(jì)算機(jī)一定要能夠自動(dòng)的去發(fā)現(xiàn)程序有沒(méi)有漏洞可以被利用，如果可有的話，我們就想法自動(dòng)生成一個(gè)程序攻擊你，同時(shí)也防止我讓人家利用。

2015年的初賽提供了大概131個(gè)程序，覆蓋了53種不同類型的漏洞。而且要求你的計(jì)算機(jī)運(yùn)行時(shí)間只有24小時(shí)，也就是說(shuō)你得算得很快，要算幾天這個(gè)事就做不下去了。而且這53類里面涵蓋了590個(gè)漏洞。但是結(jié)果是，所有這590個(gè)漏洞都被發(fā)現(xiàn)了。這里面有很多的團(tuán)隊(duì)，但是事實(shí)證明沒(méi)有一個(gè)漏洞不被計(jì)算機(jī)發(fā)現(xiàn)。從這來(lái)看計(jì)算機(jī)的能力有多強(qiáng)，它當(dāng)時(shí)有100多個(gè)隊(duì)伍，其中有70多個(gè)是政府資助，其他的是自己報(bào)名的。那么報(bào)名的結(jié)果，初賽結(jié)果選了7個(gè)團(tuán)隊(duì)，這7個(gè)團(tuán)隊(duì)就進(jìn)入決賽。決賽和初賽是什么呢？初賽是自動(dòng)生成程序，分析生成的效果如何，包括防御、攻擊、監(jiān)測(cè)。最終有7個(gè)團(tuán)隊(duì)入圍決賽。

賽就開(kāi)始有人機(jī)對(duì)抗。通過(guò)計(jì)算機(jī)生成的打補(bǔ)丁的程序，最后是看誰(shuí)強(qiáng)大。最后是卡內(nèi)基梅隆大學(xué)的一個(gè)程序獲勝了，它獲勝了之后，就讓它去參加人類的比賽，在人類比賽的最后決賽的過(guò)程中，前20名里面它排列了第18，換句話說(shuō)它在一個(gè)頂級(jí)團(tuán)隊(duì)中干掉了兩個(gè)團(tuán)隊(duì)。所以說(shuō)人工智能在助力攻擊的時(shí)候還是很可怕的。

第三，人工智能自身存在著脆弱性，我們有一個(gè)“對(duì)抗樣本”。就是無(wú)論在一個(gè)場(chǎng)景下，我們做什么都是機(jī)器學(xué)習(xí)，這個(gè)場(chǎng)景與原來(lái)學(xué)的東西無(wú)效，它就是讓你判斷失誤。像自動(dòng)駕駛在我看來(lái)，還有很長(zhǎng)的路要走，它還是成為輔助駕駛。大家開(kāi)車(chē)從高速要下來(lái)要變道，在北京從主干道往下變非常難，自動(dòng)駕駛我認(rèn)為不可能下去。因?yàn)槿斯ぶ悄芩欢ㄒＷo(hù)一個(gè)安全距離，但是人開(kāi)車(chē)的時(shí)候打心理戰(zhàn)。

對(duì)抗樣本會(huì)出現(xiàn)什么情況？這是一個(gè)圖像，這一側(cè)是原圖，是一個(gè)熊貓，我加一個(gè)噪音，大家看這個(gè)噪音很大，但是我把這個(gè)噪音加了一個(gè)千分之七的比例，所以核對(duì)的結(jié)果是這邊，人一看還是熊貓，但是這個(gè)圖已經(jīng)是這個(gè)圖+上了這個(gè)噪音圖，人看是熊貓。那么計(jì)算機(jī)看到的是長(zhǎng)臂猿。甚至能夠做到修改一個(gè)像素，讓你完全分類錯(cuò)誤，或者把你的標(biāo)簽改變了，然后對(duì)你做欺騙。這是對(duì)抗樣本的結(jié)果。這個(gè)想識(shí)別男人還是女人，對(duì)抗者就把上面這個(gè)女人加了那么一個(gè)框圖，加的結(jié)果是旁邊人看還是女人，但是計(jì)算機(jī)去分類說(shuō)上面的是男人。同樣下面的男人給他加一個(gè)對(duì)抗噪音，人一看他還是一個(gè)男人，但是計(jì)算機(jī)一看就是女人。

甚至有對(duì)抗的競(jìng)賽，這是中國(guó)清華大學(xué)有一位叫張?jiān)菏繋ьI(lǐng)的團(tuán)隊(duì)參加的競(jìng)賽，第一，給定一個(gè)輸入圖像，生成一個(gè)對(duì)抗圖像，盡可能使一個(gè)未知分類器給出錯(cuò)誤的分類結(jié)果。就是攻擊者我拿這個(gè)對(duì)抗樣本能不能讓你分類錯(cuò)誤。第二，我你給一個(gè)圖像，明明是貓，你分成馬，我能不能做到。第三，我防止別人來(lái)攻我，我設(shè)計(jì)的東西別人拿什么樣本我都分類不錯(cuò)誤，這三種比賽清華大學(xué)都拿了第一。

其中攻擊別人的方法主要是把他們加動(dòng)亂性，把穩(wěn)定做一個(gè)破壞。這明明是一個(gè)雪山，加了一個(gè)噪音，結(jié)果絕大多數(shù)的分類器都把它理解為是一個(gè)狗。這明明是一個(gè)河豚，加上一個(gè)噪音之后變成這個(gè)圖像，把它理解為是一個(gè)螃蟹。它防止別人去攻擊他，他采取的方法就是去噪音。這是一個(gè)原始的圖像熊貓，加上了噪音，它試圖讓分類器把它理解為是一個(gè)狗，但是清華在這里面去噪音，讓它不被理解為是狗。總之這里面就是存在這種對(duì)抗。

最后一個(gè)就是人工智能具有危及人類的潛在威脅，特斯拉大家都知道，開(kāi)車(chē)自動(dòng)駕駛的過(guò)程當(dāng)中，撞到了一個(gè)白色的箱貨車(chē)，車(chē)毀人亡。這是因?yàn)樘厮估臄z像頭焦距很窄，高清的，所以他先頭看的是白云，突然看到車(chē)廂中間一塊，認(rèn)為這還是白云，就撞上去了。所以這個(gè)就等于對(duì)它的傳感器的識(shí)別做出了欺騙。這個(gè)車(chē)，自動(dòng)駕駛車(chē)把人撞死了，發(fā)現(xiàn)這個(gè)系統(tǒng)里面看到這個(gè)人了，沒(méi)有任何決定剎車(chē)的動(dòng)作。這個(gè)自動(dòng)駕駛怎么了？我們說(shuō)你可能有你的失誤，但是你危害了人類。人們已經(jīng)開(kāi)始關(guān)注這類的問(wèn)題了，國(guó)際社會(huì)宣言說(shuō)不能拿人工智能用于武器，國(guó)際著名的學(xué)者馬斯克認(rèn)為，人工智能是要威脅到人們的未來(lái)，需要加強(qiáng)管理。霍金也認(rèn)為人工智能一旦脫離約束，這個(gè)是不可控的。彼爾蓋茨認(rèn)為人工智能最終構(gòu)成一個(gè)現(xiàn)實(shí)性的威脅。

怎么防止它？阿西莫夫提出機(jī)器人三大定律，第一，機(jī)器人不得傷害人類或看到人類受到傷害而袖手旁觀。第二，在不違反第一定律的前提下，機(jī)器人必須絕對(duì)服從人類給與的任何命令，第三，在不違反第一定律和第二定律的前提下，機(jī)器人必須盡力保護(hù)自己。所以最早人們的期望現(xiàn)在已經(jīng)被研究者給破壞掉了。

人工智能為什么會(huì)危害人類？前提它是要有一個(gè)人工智能的行為體，行為體有四個(gè)要素，感知外部環(huán)境，內(nèi)部算法，自身驅(qū)動(dòng)裝置，還要有交互行為。所以說(shuō)外部需要能夠感知，我內(nèi)部算法要做決策，驅(qū)動(dòng)裝置你是要移動(dòng)起來(lái)。然后要自治，你要決定自己做什么。這里面人工智能行為有很多，自動(dòng)駕駛機(jī)器人，自動(dòng)駕駛汽車(chē)，人工智能武器等等，我們說(shuō)它都是人工智能行為體，因?yàn)樗行袨椤?/p>

人工智能在什么情況下會(huì)危害人類呢？我認(rèn)為要同時(shí)滿足三個(gè)條件，第一，有行為能力，能動(dòng)；第二，有破壞力，有危害性；第三，能夠自治。

首先能動(dòng)的問(wèn)題早就解決了。第二，有沒(méi)有破壞力，這是一個(gè)學(xué)者他做的一個(gè)演講，這是一個(gè)名字叫殺人蜂，有這種破壞力的時(shí)候，這是一個(gè)危險(xiǎn)因素。

第三個(gè)要素，就是它得是一個(gè)自動(dòng)行為體。facebook曾經(jīng)在做研究的時(shí)候突然發(fā)現(xiàn)它研究的兩個(gè)機(jī)器人之間發(fā)生了這樣的對(duì)話，這個(gè)對(duì)話屏幕上是亂碼，但是一看是有規(guī)律的操作，所以嚇一跳就關(guān)了。因?yàn)槲覀冊(cè)谧匀徽Z(yǔ)言翻譯的時(shí)候，在機(jī)器里面是機(jī)器的原語(yǔ)，我們有狀態(tài)圖，但是你要展現(xiàn)出來(lái)，及其可以用原語(yǔ)對(duì)話的時(shí)候，它就堅(jiān)決不翻譯，繼續(xù)用原語(yǔ)對(duì)話，那么人怎么辦？人根本不知道它進(jìn)展到什么程度，如果機(jī)器人對(duì)話的時(shí)候人知道它進(jìn)展到什么程度，你會(huì)防范一些。所以只要有你不能理解的地方，你就不知道它會(huì)走在哪一步。

人類的學(xué)習(xí)是需要建筑在洞察力之上，這是因?yàn)槿祟惖挠洃浭怯邢薜摹lphago它把圍棋看成一個(gè)點(diǎn)陣，這個(gè)點(diǎn)陣只有19*19，我們看一個(gè)圖現(xiàn)在都是幾千乘幾千了，只有三個(gè)顏色，黑、白和非黑非白，那么這個(gè)機(jī)器人它無(wú)非就是把它19乘19，這個(gè)圖都是很小的，而且從一個(gè)圖到另一個(gè)圖的躍遷無(wú)非就是這么幾種可能。到底哪個(gè)圖更好，人永遠(yuǎn)不是這么下棋的，既然它能夠做到和你完全不一樣，它走到哪一步你怎么知道？所以他能不能失控你怎么知道？搞ai的人從來(lái)不這么想，但是我們老百姓覺(jué)得它挺可怕。所以說(shuō)是否能自治，這是我們需要認(rèn)真思考的。

運(yùn)動(dòng)體已經(jīng)比比皆是了，破壞力已經(jīng)突破掉了，關(guān)鍵就是能不能自治，我們現(xiàn)在碰到了很多事故了，是事故還是失控你控制不了，它還是有規(guī)律的，這就是一個(gè)很大的風(fēng)險(xiǎn)。但是人工智能你不教它干什么，它就不會(huì)干什么。我們叫做自我目標(biāo)。

但是我們不能太相信機(jī)器人不會(huì)危害人類，所以要對(duì)它有約束。有一個(gè)國(guó)際標(biāo)準(zhǔn)，提出了四種約束條件，第一種安全級(jí)的監(jiān)控停止，當(dāng)出現(xiàn)問(wèn)題的時(shí)候，有讓它停止的能力。第二，是手動(dòng)引導(dǎo)，做什么事兒我讓它做它開(kāi)始做，如果這個(gè)機(jī)器人只能手動(dòng)才開(kāi)始做的話，它就沒(méi)法給自己定宏觀目標(biāo)。第三，速度和距離監(jiān)控，當(dāng)它和人比較接近的時(shí)候，速度必須降下來(lái)。第四，功率和力的限制，當(dāng)和人接近的時(shí)候功率必須迅速降下來(lái)，這些都是要保護(hù)人類要做的事情。

我們提出一個(gè)ai保險(xiǎn)工作理念，任何一個(gè)機(jī)器人首先要有驅(qū)動(dòng)，然后要有決策，我就在驅(qū)動(dòng)和決策之間插入一個(gè)保險(xiǎn)箍，就是要防止它做危害人類的事。你要想做這個(gè)就必須要解決我們首先是遠(yuǎn)程控制，能夠讓它停下來(lái)，能夠限制它做事情。它有可能自己把自己摘除掉，所以我們需要反摘除。第三，把它形成一個(gè)閉環(huán)，當(dāng)它接近人的時(shí)候能夠馬上降低它的全部能力。第四，增強(qiáng)一些識(shí)別你是不是有黑科技，甚至在這里面去查傳感器都是假的，我用我不可修改的傳感器來(lái)做檢測(cè)。第五，要遠(yuǎn)程控制。

要想做到這一點(diǎn)，制定準(zhǔn)入制度，確保ai保險(xiǎn)箍能夠發(fā)揮作用。ai行為必須預(yù)留接口，支持ai保險(xiǎn)箍串聯(lián)接入。我們可以檢測(cè)是不是超越了它的技術(shù)能力，人工智能必須有可更改的算法，發(fā)現(xiàn)有沒(méi)有一些黑科技。

以上是網(wǎng)絡(luò)信息轉(zhuǎn)載，信息真實(shí)性自行斟酌。