原標題：人工智能要“撞墻”？無法理解語義將是巨大阻礙 ?編者按：ai已經在逐漸滲透生活的方方面面，算

原標題：人工智能要“撞墻”？無法理解語義將是巨大阻礙

編者按：ai已經在逐漸滲透生活的方方面面，算法的應用也越來越廣。在許多公眾人物公開擔憂ai會發展出“超級智能”讓人類失業，甚至主宰人類世界的時候，有些研究者卻擔心ai“太愚蠢”，“死板”，不靈活，給世界造成威脅。“機器學習驅動的算法還未能了解人類的行為方式，有時可能會帶來災難性后果。” 本文作者米切爾（melanie mitchell）是波特蘭州立大學計算機科學系的教授，她就有這樣的擔憂。她的新書《人工智能：思考人類的向導》（artificial intelligence: a guide for thinking humans）將于2019年出版面世。本文編譯自the new york times的原題為“artificial intelligence hits the barrier of meaning”的文章。

九月份南非人工智能博覽會的一名代表，圖片來自bothma/epa, shutterstock。

ai成為熱詞已經很久了，你可能聽過這樣的說法，“我們正處于一場ai革命之中。你可能還聽說過“神經網絡”，由深度學習算法驅動，利用海量數據訓練出的復雜程序。機器智能發展的速度之快，可能遠遠超過我們的想象。

目前的ai程序可以識別人臉，可以將語音轉錄成文字。有些程序甚至可以發現小型的金融詐騙; 給出模糊的關鍵字，就能找到相關的信息所在網頁; 給出目的地，就能找出兩點之間最優的路徑; 下棋能下過圍棋和國際象棋世界冠軍，還能在翻譯幾百種語言。重點是，ai在未來還有更多可能——自動駕駛汽車、自動化癌癥檢測工具、家居清潔機器人，甚至可能將科學發現也自動化...這些聽起來很遙遠，卻逐漸成為ai領域的主流。

facebook的創立者扎克伯格今日宣稱，在接下來的五到十年，facebook會繼續發展ai,，讓ai的“感官”比人類更靈敏，不管是視覺、聽覺、語言還是一般認知方面。谷歌deepmind團隊的首席科學家列格（shane legg）預測，“在20世紀的第三個十年中期，人工智能會達到人類智能水平。”

我本人已經在ai領域工作數十年，聽到過無數人預測“人工智能將與人類智能相當”的預測，見證一次又一次的失敗后，我很確定，最新的這些預測也有不足之處，也難以實現。現在的ai系統最大的痛點、最缺乏的就是人類智能的實質——理解人類所處的境況，并了解其意義的能力。數學家、哲學家 gian-carlo rota曾經問過，“我很想知道人工智能會不會跨越‘意義’的阻隔？什么時候才能理解事物背后的含義？”對我來說，這仍然是？人工智能發展過程中最重要的問題。

機器最大的問題就是缺乏人類的理解能力。這一點已經在現代人工智能基礎的缺陷中顯現出來。雖然現在的程序比起二三十年前復雜多了，功能也越來越強大，但是最近有一系列研究顯示，深度學習系統的學習方式和人類有很大差別，其結果可能不可靠。

我來舉幾個例子。

如果你用手機的語音識別將下面這句話轉成文字，“the bareheaded man needed a hat”（光頭男人需要一頂帽子），手機可能給出不同的結果“the bear headed man needed a hat.”（熊頭男人需要一頂帽子）。如果你用谷歌翻譯將如下句子翻譯成法語，“i put the pig in the pen”（我把豬放進豬圈），得到的結果中，“pen”（圈）會被誤譯成法語中的筆（“je mets le cochon dans le stylo” ）

研究發現，只要研究者在文本中加入一些“混淆視聽”的小片段，文本讀取程序就很容易被糊弄：有些可以“讀取”文本、然后回答問題的程序，會因為加入的無關細節導致“閱讀理解”有誤。另外一項研究指出，有些識別人臉和物體的程序被譽為深度學習領域里程碑式的進步。但這些程序在光線不同、有無使用濾鏡或者其他改變的不同情況下，也有可能出現嚴重失誤。而人類的識別幾乎不受這些）因素的影響。

最近一項研究顯示，給人臉圖像加上少量“底噪”就足以干擾最先進的人臉識別算法，使其表現水平大幅下跌。還有一項研究（花名“房中大象”，the elephant in the room，比喻顯而易見的事物）發現，如果一張房間客廳的圖像中，在某一個角落加入大象的圖像，深度學習視覺程序在將圖片中的物品歸類時，就會出差錯。

而且，很多程序已經“掌握”了某電子游戲或者某種棋類，水平遠超人類，但只要對游戲內容（背景顏色或目標位置）做小小的改變，程序就會書輸得一敗涂地。

即使是最優秀的ai程序，在環境不同時，哪怕只是和訓練數據有很小的差別，可靠程度也大大降低。不過，目前相關的例子并不多。這類系統犯錯的時候，看起來無傷大雅，影響不大，但是后果有可能很嚴重：比如，你要登機了，機場的安檢系統把你的臉和一個罪犯的臉相混淆; 或者你乘坐自動駕駛汽車，但由于光線原因，算法沒有意識到車即將穿過馬路...都有可能帶來災難性后果。

而更讓人擔憂的是近來ai系統在對抗性情況下展現出的脆弱性。在這些例子中，懷有惡意的黑客可以對某些圖像做出肉眼無法識別，但會影響程序正常運行的細微改變，使得程序出錯，引發危險和災難。

這種類型的攻擊幾乎在每個ai應用領域都有實例，包括計算機視覺、醫學影響處理、語音識別和語言處理等等。多項研究均表明，理論上，黑客只需要做很小規模的變動，很容易就能糊弄人臉識別和物體辨認系統：在“停止”路標上貼個貼紙，就能妨礙自動駕駛汽車的視覺系統，讓算法以為是“讓行”標志。黑客還能下“無聲命令”：對音頻做一些調整后，人耳聽起來像是背景音樂的音頻，siri或者alexa“聽來”卻是指令。

這些潛在的弱點都很清楚地展現了ai 領域的進展面臨的阻礙：真正理解事物背后的含義。任何和ai系統打交道的人都知道，在與人類相似的視覺能力、語言流利度和游戲天才的背后，這些程序的行事方式和人類截然不同：他們并不理解輸入數據和輸出結果的含義。這種理解能力的缺乏，會讓程序在難以預知的錯誤和惡意攻擊面前變的不堪一擊。

要跨過意義這層阻隔，我們需要什么？如何能讓機器更深入地理解自己所處的境況，而不是通過淺薄的表面特征來做判斷呢？要得到這個問題的答案，我們要先了解人類認知。

人類對自身面對情況的理解有廣泛、直覺般的“常識”作為基礎，我們知道世界如何運轉、其他生物可能出現的行為，尤其是其他人可能的舉動。另外，我們對于身邊世界的理解能力是基于自己的概括能力，根據經驗形成抽象概念，做類比。簡單說來，人類可以靈活地將自身形成的概念運用到新的環境中來。研究人員幾十年來不斷實驗，希望賦予ai系統這種人類只能，使其也具有直覺般的常識和人類概括的能力，但是即使科學家已經十分努力，這方面的的進展仍然非常緩慢。

很多已經投入實際應用的ai系統其實缺乏常識，也又不具備人類理解力其他關鍵因素。雖然有些人非常擔心“超級智能”ai系統會給人類世界造成威脅，但是ai系統帶來的最大威脅在于我們過度相信它們，在不了解他們的限制的前提下，就賦予他們很大的自主權。正如ai研究者pedro domingos在《主人算法》（the master algorithm）一書中所說的那樣，“人們都擔心電腦會越來越聰明，然后主宰世界，但是現實的問題是：它們太愚蠢，卻已經主宰了世界。”

ai的商業化競爭給了研究者巨大的壓力，因為他們必須在短暫的時間內做出“足夠好”的ai系統。但是，想要實現開發真正可靠的ai系統的目標，我們必須從自己身上找答案：更深入地認識人類認知能力，了解人類認識世界的穩定可靠的認知機制。要沖破ai面臨的“意義之墻”的阻隔，光是盯著更大規模的網絡、更多的數據集可能收效甚微; 把目光投向這個領域的根源，鉆研（人類智能與計算機智能的）交叉學科，去探索智能的本質，反而會讓我們離答案更近一步。

以上是網絡信息轉載，信息真實性自行斟酌。