原標題：“暗黑版”ai現身引憂慮 我們需要怎樣的人工智能？

近日，麻省理工學院媒體實驗室出品了一個“暗黑版ai”，再次將人工智能的黑箱隱憂這個經久不衰的話題送上熱門。據報道，實驗室的三人團隊聯手創造了一個叫諾曼(norman)的人工智能，與希區柯克經典電影《驚魂記》中的變態旅館老板諾曼·貝茲同名。

名如其人。諾曼會以負面想法來理解它看到的圖片。例如，一張在一般ai看來只是“樹枝上的一群鳥”的普通圖片，在諾曼眼中卻是“一名男子觸電致死”。

團隊希望通過諾曼的表現提醒世人：用來教導或訓練機器學習算法的數據，會對ai的行為造成顯著影響。ai會成為什麼樣，有時人類可能束手無策。

ta們的偏見就是人類的偏見

諾曼們從哪來？答案首先藏在數據裡。

“人工智能識別出的結果不是憑空而來，是大量訓練的結果。如果要訓練ai某一方面的能力，比如下棋，就需要收集、清洗、標記大量數據供機器學習。如果用於訓練的數據不夠多，就會造成ai學習的不充分，導致其識別結果的失誤。”中科院自動化研究所研究員王金橋對科技日報記者表示。數據本身的分布特性，如偏差甚至偏見，也會被機器“有樣學樣”。針對諾曼的表現，創造它的實驗室也指出，“當人們談論人工智能算法存在偏差和不公平時，罪魁禍首往往不是算法本身，而是帶有偏差、偏見的數據。因為當前的深度學習方法依賴大量的訓練樣本，網絡識別的特性是由樣本本身的特性所決定。盡管在訓練模型時使用同樣的方法，但使用了錯誤或正確的數據集，就會在圖像中看到非常不一樣的東西”。

另外是算法本身的影響。“這可能是無法完全避免的，由深度學習算法本身的缺陷決定，它存在內在對抗性。”王金橋表示，目前最流行的神經網絡不同於人腦的生物計算，模型由數據驅動，和人類的認知不具有一致性。基於深度學習的框架，必須通過當前訓練數據擬合到目標函數。在這個框架之下，如果機器要識別狗，它會通過狗的眼睛、鼻子、耳朵等局部特征進行可視化識別，而這些可視化特征卻能給想利用深度學習漏洞的人機會，后者可以通過偽造數據來欺騙機器。

除了人訓練機器的數據本身有偏差以外，機器通過對抗性神經網絡合成的數據也可能有問題。由於機器不可能“見過”所有東西(比如識別桌子，機器不可能學習所有長短寬窄各異的桌子)，人也不可能標記所有數據。如果研究者輸入一個隨機的噪音，機器可以向任何方向學習。這是一把雙刃劍，機器也可能合成一些有問題的數據，學習時間長了，機器就“跑偏”了。

數據的均衡或可減少“跑偏”

不少科學家以“garbage in, garbage out”來形容“數據和人工智能的關系”。中科視拓(北京)科技有限公司ceo劉昕說：“對機器學習而言，進什麼就出什麼。監督學習就是讓模型擬合標簽，比如訓練者把帥哥都標記成‘渣男’，那麼機器看到劉德華，就會認為他是……”談到諾曼引發的討論，劉昕表示：“不需要擔心，人類本身就有各種歧視和偏見，用人類生產的數據訓練ai，再批判ai不夠正直良善，這麼說有點危言聳聽。”

偏見、刻板印象、歧視都是人類社會的痼疾，有些流於表面，有些深入社會肌理，無法輕易剝離。在這樣的語境中產生的數據，攜帶著大量復雜、難以界定、泥沙俱下的觀點。如果研究者沒有意識到或著手處理這一問題，機器學習的偏見幾乎無解。真正的“公正算法”或許是不存在的。

據有關媒體報道，在谷歌研究自然語言處理的科學家 daphne luong 表示，正確地校準標簽對機器學習來說非常關鍵，有些數據集其實並不平衡，像維基百科上的數據，“他”(he)出現的次數遠比“她”(she)要多。

王金橋也著重強調了“數據的均衡”。就算對人來說，不同人秉持著不同的價值觀，但多聽多看多受教育可以讓人向良好的方向改進。機器學習也是如此。“訓練機器時，要注重數據的均衡，給它更多可靠的數據。研究團隊成員具有多元的學術背景(如吸納更多社會學、心理學等領域學者加入)、性別、年齡、價值觀，也可以幫助機器學習更加均衡，減少機器出現偏見、謬誤甚至失控的可能。”王金橋說。

“機器學習的模型本身也要有一定的防攻擊能力，從技術上防止本身結構設計的漏洞被攻擊，研究者可以使用各種數據攻擊機器，訓練機器的反攻擊能力。”王金橋說。

作惡還是向善，是人類的選擇

1942年，阿西莫夫在短篇小說《環舞》中首次提出著名的機器人三定律：機器人不得傷害人類，或因不作為使人類受到傷害﹔除非違背第一定律，機器人必須服從人類的命令﹔除非違背第一及第二定律，機器人必須保護自己。半個多世紀過去，人工智能在大數據的加持下迎來爆發式發展。某些專用型人工智能把人類智能甩在身后，人們開始擔憂，機器傷害人類的那一天是不是不遠了。

因此有一種看法很主流——人類訓練有意識、有自我覺知的人工智能是不明智的。開個腦洞，機器一旦發展出自我意識，要反向攻擊人類，場面或許失控。

前段時間，據路透社報道，韓國科學技術院的人工智能研發中心正在研發適用於作戰指揮、目標追蹤和無人水下交通等領域的人工智能技術，希望在今年年底前研發出基於人工智能的導彈、潛艇和四軸飛行器。此事引發學術界的巨大震動，抗議紛至沓來，並最終以院長保証無意於“殺手機器人”的研發並重申人類尊嚴和倫理收場。在美國，以“不作惡”為綱的谷歌也因與國防部的合作協議涉及“maven項目”被推上風口浪尖，反對者普遍認為，識別結果完全有可能被用於軍事用途，比如說精準打擊。谷歌最終表示終結協議。

相較於輿論環境的憂心忡忡，研究者對“技術向善”普遍樂觀。他們認為把ai和“殺人機器”聯系在一起，近乎“捧殺”，夸大ai能力之余，也引發不明真相的公眾恐慌，無益於人工智能的發展環境。

以上是網絡信息轉載，信息真實性自行斟酌。