ai安全是最新的技術，不僅需要考慮ai模型本身的安全性，還需要考慮整個系統的安全性。未來隨著模型變得越來越大，確保正確性將變得昂貴，開源一切可能不是最優路徑。

6月10日，openai聯合創始人兼ceo，薩姆·奧特曼(sam altman)以視頻連線的方式現身于中國北京舉辦的2023智源人工智能大會。

奧特曼表示，世界的注意力主要集中在解決當今的人工智能問題上，很多問題的解決非常迫切。人工智能能力正在迅速增長，現在需要負責任地將其應用到世界中去。

當下，人工智能變革正在迅速拓展人類的想象力，未來十年，奧特曼認為agi將會超過90年代初人類所具備的專業水平，最終可能超過人類最大體量公司的總體生產力，潛在收益是巨大的。

與此同時，管理風險、共同努力實現預期目標也是必需的。隨著越來越強大的人工智能系統的出現，全球合作的利益變得前所未有地重要。如果不做好規劃，一個未對齊的ai系統可能會通過提供不平衡的建議來破壞整個集體系統。因此，奧特曼強調，推進agi安全是行業尋找共同立場的最重要領域之一。

奧特曼認為 ，行業必須為開發和部署可能引發的問題負起責任。其中最重要的兩個領域是：一，建立起包容的國際準則和標準，并在所有國家對agi的使用中建立平等、統一的防護措施;二，需要國際合作，以可驗證的方式在全球范圍內建立對越來越強大的agi系統安全開發的信任。

奧特曼指出，要使ai系統成為一個有益和安全的助手，對應的是如何訓練模型，使其在沒有安全威脅的前提下發揮積極作用，主動應對agi帶來的潛在挑戰，將未來災難性后果的風險降至最低。

具體到gpt-4從完成預訓練到部署，奧特曼稱團隊花了八個月的時間來研究如何前置預判風險并給出對策的問題，團隊走在正確的道路上，gpt-4的對齊程度超過當前所有的代碼。但對于更高級的系統來說，對齊仍是一個尚未解決的問題，需要新的技術方法以及加強治理監督，畢竟未來的agi可能是一個十萬行二進制代碼的系統，人類監督者很難判斷如此規模的模型是否在做一些損害的事情。

奧特曼透露，其團隊正在投資新的方向。一是可擴展監督，嘗試使用ai系統來協助人類監督其他ai系統，例如訓練一個模型來幫助人類監督員找出其他模型代碼中的缺陷。二是可解釋性，更好地理解模型內部發生的事情，如用gpt-4來解釋計算機的復雜狀態。最終目標是訓練ai系統具備更好的優化自身的能力，而美國、中國乃至世界各地的研究人員，在應對ai領域技術挑戰上的合作存在巨大潛力。

“agi時代可能很快就會發生，未來十年內，行業可能會擁有超強的ai系統，這種情況下，全球監管便非常緊迫。而ai安全是最新的技術，不僅需要考慮ai模型本身的安全性，還需要考慮整個系統的安全性。因此需要構建安全的分類器和檢測器，來監測符合用戶政策的情況。”

問及openai會否重新開放gpt源代碼，奧特曼表示，目前openai開源了部分模型，隨著時間的推移，可以期望更多模型開源。未來隨著模型變得越來越大，確保正確性將變得昂貴，開源一切可能不是最優路徑。

以上是網絡信息轉載，信息真實性自行斟酌。