原標題：人工智能專家曾毅：與人類價值觀校準是人工智能最大挑戰

曾毅認為，我國急需開展人工智能倫理與安全的研究，將人工智能風險、安全、倫理的思考模型化、算法化、系統化。

5月25日，北京智源人工智能研究院聯合北京大學、清華大學等單位發布《人工智能北京共識》，提出了各個參與方應遵循的有益于人類命運共同體的15條原則。

其中研發方面，要服從人類的整體利益，設計上要合乎倫理；使用方面要避免誤用和濫用，確保利益相關者對其權益所受影響有充分的知情與同意；治理方面，對人工智能部分替代人類工作保持包容和謹慎態度。共識的發布，為規范和引領人工智能健康發展提供了“北京方案”。

為降低人工智能發展過程中可能存在的技術風險和倫理隱患，北京智源人工智能研究院成立人工智能倫理與安全研究中心，中國科學院自動化研究所研究員曾毅任研究中心主任。研究中心將圍繞人工智能倫理與安全的理論探索、算法模型、系統平臺、行業應用等開展一系列研究。對此，新京報記者對曾毅進行了專訪。

在《人工智能北京共識》發布儀式上，曾毅介紹了人工智能倫理與安全研究中心的主要研究內容。新京報記者 吳寧 攝

人工智能系統還不能準確了解人類價值觀

新京報：研究人工智能倫理與安全是否具有緊迫性？

曾毅：作為顛覆性科技的人工智能，其機遇與挑戰并存。可以預見，隨著新一代人工智能的發展，預測、評估伴隨技術應用所帶來的社會影響并盡可能減小、避免相關風險尤為重要。

近年來，隨著人工智能研究與產業發展，一些相關倫理與社會問題逐漸凸顯，例如人工智能帶來的安全風險、隱私、算法歧視、行業沖擊、失業、收入分配差異擴大、責任分擔、監管難題以及對人類道德倫理價值的沖擊等。

因此，我國急需開展人工智能倫理與安全的研究，將人工智能風險、安全、倫理的思考模型化、算法化、系統化，融合技術與社會等多方的努力，確保人工智能向對人類和自然有益的方向發展。

新京報：其中，倫理研究出于何種考慮？

曾毅：人工智能倫理準則是各個國家、組織進行對話的重要議題。目前，人工智能系統不能真正理解人類的價值觀。

舉例說，你需要很快從a點跑到b點，如果中途有個孩子過來，你一定會繞開他。但是機器為了更快達到目標，可能會做出相反的選擇，對環境中的人類等造成不可逆的負面影響。

所以，如何使機器自主學習人類價值觀、避免風險，是人工智能倫理研究中的重要主題，這叫做價值觀校準，是人工智能研究中的圣杯，也是人工智能最大的挑戰之一，現在還沒有一臺機器能真正基于理解實現自主學習人類的倫理道德。

我們的研究中心將開展符合人類倫理道德的智能自主學習模型研究，實現人工智能行為與人類價值觀的校準，并在模擬環境與真實場景中進行驗證。例如通過機器的自我建模、自我經驗的獲取與思維揣測，實現避免對環境中其他智能體產生不可逆的傷害。

改變一個像素，機器可能將飛機認成狗

新京報：如何看待人工智能發展中的安全風險？

曾毅：人工智能的發展過程中已出現一些潛在的風險，例如一張飛機的圖片，如果改變其中關鍵的一個像素，人還是覺得圖片中的是飛機。但目前很多深度學習模型可能會顛覆認知，認為那是一只狗。這說明現在機器學習算法的自適應性還不能應對實時變化的環境、噪聲以及惡意攻擊。

機器學習的前提假設最好是輸入的數據能夠很好地描述實際世界，但實際情況是訓練數據往往比較理想化或者片面，而真實世界是非常復雜、多變的。因此，我們未來研發人工智能模型要向低風險、高安全的方向發展。

研究中心的研究內容之一就是低風險機器學習模型與平臺的構建，建立機器學習模型安全性的評估體系，并結合具體領域進行驗證。

新京報：在一些科幻作品中說，未來人工智能可能取代人類或者消滅人類。人們的擔心是否有必要？如何看待此次《北京共識》提出，對人工智能部分替代人類工作保持包容和謹慎態度？

曾毅：人工智能的研發如果不考慮潛在的風險，不考慮服務于人類、構建負責任的、對社會有益的人工智能，就有可能帶來不可估量的負面影響。因此在《人工智能北京共識》中，就倡導對通用智能、超級智能潛在的風險進行持續研究與分析。

不光中國科研人員有這方面的思考，英國劍橋大學就正在開展不同通用人工智能發展途徑可能存在的風險研究。美國生命未來研究所（future of life institute）也組織過多次有益的（通用）人工智能研討會，以進行充分考慮，發展有益的人工智能，避免人工智能取代和消滅人類的可能性。

研究中心將探索用戶撤銷個人數據授權

新京報：《人工智能北京共識》提到，避免技術誤用和濫用，如何做到？

曾毅：在構建人工智能平臺時，企業往往不知道用戶會如何使用平臺。其實應該做一些設計，如果出現人工智能濫用，平臺應該能自動化檢測、告知和避免，這是所有人工智能研究者和企業應該關注的問題。

新京報：如何保證人工智能中的數據安全？

曾毅：目前，很多人工智能應用收集了大量用戶數據，有一些雖然得到了用戶的許可，但是用戶很可能是在沒有充分理解數據用途的情況下做出的決策。若隨后希望修改這個決策，目前很多人工智能應用中并不支持這樣的嘗試。

歐盟相關企業對《通用數據保護條例（gdpr）》的實踐表明，采取更嚴格的數據保護機制，雖然一開始，相關企業和服務方需要付出額外努力適應條例，但是隨后往往帶來用戶量的增加。用戶反饋說明，用戶更相信遵守數據保護條例的企業，更愿意選擇為保護用戶數據安全做出努力的產品與服務。

研究中心將與企業開展聯合實踐，建設數據安全示范應用系統，最大限度防止數據泄密，降低風險，探索允許用戶撤銷個人數據授權的機制及計算平臺，提升個人數據安全。

新京報：《人工智能北京共識》的特色和作用是什么？

曾毅：有一些人工智能準則可能是人類中心主義的。然而北京共識更關注實現人類社會和自然的協同發展、可持續發展。此外，基于中國哲學中“和諧”的思想，北京共識倡導不同組織、機構、國家之間深度協作、合作，優化共生。

北京是人工智能國際化大都市和國家新一代人工智能創新發展試驗區首個城市，《人工智能北京共識》的發布是北京人工智能科技群體與世界其他人工智能群體的對話，有助于表達北京發展人工智能與其他地區和世界范圍形成的共識。

我們希望通過《人工智能北京共識》的努力，與國家各級有關部門、科技團體等協同推動我國新一代人工智能倫理與治理研究，使中國人工智能倫理與治理逐步與國際接軌，期待發展成為全球典范。

以上是網絡信息轉載，信息真實性自行斟酌。