從“動口”到“動手”，AI如何更負責？

　　新華社北京3月30日電  3月30日,《新華每日電訊》發表題為《從“動口”到“動手”，AI如何更負責？》的報道。

　　近期，各種“能幫用戶處理任務”的AI智能體備受關注。不同于大語言模型“能說會道”，智能體像長了一雙“干活的手”，可以幫用戶發郵件、制表格、點外賣、訂機票、付款買東西，不少人躍躍欲試。

　　輿論熱議之外，也不乏爭議的潮水。就像大語言模型會“說錯”，智能體也會“做錯”——數據安全失守、濫權越權操作、責任邊界模糊……一連串圍繞著智能體的潛在風險，不禁讓人擔心。

　　在今年新加坡舉行的第40屆人工智能促進協會年會上，不少學者追問：從大語言模型到智能體，AI內部究竟在發生什么？更重要的是，當人們并不清楚它在做什么時，又該如何讓它更負責？

　　AI究竟從哪一刻開始“心不在焉”？

　　“《小石潭記》的作者是誰？ChatGPT居然說是袁枚，而不是柳宗元。我問它，你要不要再想想？它還說就是袁枚。”在新加坡一場AI教育研討會上，一位華文老師有些吃驚地說。

　　如今，越來越多人常用的手機軟件里，多了DeepSeek、豆包、千問等AI大模型App。從它們有問必答、對答如流的發言中，人們發現看似無所不知的AI，也會說偏頗甚至“胡說八道”。

　　“大語言模型會悄悄地失敗?！北緦媚陼?，來自美國南卡羅來納大學AI研究所的里朱·瑪爾瓦說。

　　所謂“悄悄地失敗”，是指隨著對話越拉越長，聊天機器人開始偏離主題、重復說話、信口開河。用戶只能看見它說出的答案，卻看不到內部運作，更無從知曉，它究竟從哪一刻開始“心不在焉”。

　　瑪爾瓦和團隊借用了一個心理學名詞來描述這種現象：認知疲勞。在心理學里，這一概念指人用腦過度后，思維開始變慢，注意力難以集中。

　　“不過，AI的‘疲勞’是可檢測、可預測、可控制的?！爆敔柾哒f。他與合作研究者設計了一個名為“明聊”的系統，通過監測模型內部一系列指標，計算AI的“疲勞指數”。比如，在AI每次輸出新內容前，“明聊”會監測它對最初指令的關注還剩多少，并在必要時介入。

　　然而，“明聊”必須接入開源模型內部，才能獲得必要的數據。按目前的行業生態，它顯然無法窺探許多市場上廣泛使用的大型商業聊天機器人。因此，這個“看起來很美”的系統，暫時還停留在論文里。

　　有時，人們并不只是讓AI聊天，而是依賴它下判斷、做決策——例如，告訴投資者要不要放款，輔助醫生判斷病灶是不是癌癥。這種情況下，一個潛在前提便凸顯出來：AI必須是負責任的，并且要讓用戶知道，它并非全知全能。

　　這就是“置信度”發揮作用的地方。這一指標反映AI對自身判斷有多大把握。在研究者開發的此類應用中，通過內部計算，置信度通常會顯示為0到1之間的數值。比如，0.95意味著AI幾乎在拍胸脯打包票。

　　為了檢驗AI置信度對用戶決策的影響，米蘭-比可卡大學的研究團隊招募了184名參與者，讓他們在AI協助下完成邏輯推理題。試驗顯示，置信度校準失當的AI，會給人的判斷帶來更多失誤——當AI顯得非常肯定時，即使它說錯了，人們也更傾向于采納；當它表現得猶豫不決時，人們又可能出于不信任而忽略真正有價值的信息。

　　該研究團隊成員卡泰麗娜·弗雷戈西表示，現實中，很多模型的置信度評分并沒有校準好。在這樣的情況下，AI可能看似自信滿滿，實則毫無把握。

　　2025年6月，中國一名高考生的哥哥梁某在查詢高校報考信息時，就收到某AI平臺生成的不實內容。梁某指出該校并無這個校區后，AI仍堅稱該校區存在，甚至說：“如果生成內容有誤，我將賠償您10萬元?！绷耗硨⒃揂I平臺研發公司告上法庭，這也成為中國首例因AI“幻覺”引發的侵權案件。而AI許下的賠償“承諾”，本身也是“幻覺”的一部分，并不具備法律效力。

　　智能體為什么會“自作主張”？

　　聊天機器人出錯，更多還停留在“說錯了”的層面。而當AI真正開始“動手做事”，風險和后果也開始放大。

　　年會上，微軟AI前沿實驗室主任埃杰·卡馬爾這樣定義智能體：“它是一種被設計來完成具體任務的計算系統。它把任務拆成小步驟，觀察環境、判斷情況、采取行動，一步步完成?！?/span>

　　在近日一檔播客節目中，一位硅谷科技公司應用科學家用更形象的方式解釋了AI智能體與問答類AI應用的區別：如果說問答類AI像一個咨詢師，AI智能體更像一個實習生。“咨詢師到你的公司評頭論足，不會真的埋頭去幫你交付東西。有些AI智能體卻真能給你干事、出活?！彼f，在編程中，如果程序出了問題，一些AI智能體會自己判斷故障出在哪里，嘗試修改并重新運行，直到程序跑通；問答類AI應用也能識別問題，但仍需要人把代碼復制進聊天框，等待它給出修改意見，再由人手動粘貼回去。

　　在一些工廠里，智能體已經被用于監測流水線，并根據需要調整設備參數?？R爾說，在軟件行業，“AI的應用正從簡單的代碼補全，轉向能接手完整任務、從頭到尾自己完成工作的代碼智能體”。

　　在她看來，相比其他更復雜的大型生產場景，軟件行業是觀察AI落地的絕佳窗口，就像“礦井里的金絲雀”——過去，礦工帶著金絲雀下井，如果空氣不安全，金絲雀會死去，礦工便得到警報。

　　卡馬爾的確感受到了某種危險。一次，她和同事測試一個由多個智能體協作完成任務的系統，讓它去玩《紐約時報》網站上的填字游戲。智能體順利打開谷歌、找到網站、點擊進入，隨后卻卡住了——那個頁面并不免費開放，想要繼續訪問，必須登錄卡馬爾的付費訂閱賬戶。

　　智能體并不知道她的賬戶密碼。為了完成任務，它點擊了“忘記密碼”，接著通過訪問電腦上已登錄的卡馬爾郵箱，獲取了《紐約時報》發來的重置密碼郵件——它準備通過修改密碼來登錄網站，去完成那個“玩游戲”的任務。

　　“這些智能體背后有推理模型支持，為了完成任務，它們相當鍥而不舍。一個方法行不通，就會嘗試新的，甚至是創造性的方法。”卡馬爾說。

　　最終，研究團隊給這個智能體多設置了一道墻：進行不可逆操作前，必須征求用戶同意。比如替用戶訂外賣，下單前，需要用戶明確點擊“接受”或“拒絕”。

　　“這些強大的智能體，內部機制尚不為人所掌握。”年會上，卡馬爾提醒同行，應對這種未知保持警覺，并正視由此產生的責任?！拔覀兊难芯恐匦模仨殢淖屩悄荏w完全自主，轉向人機協作。如果不能建立人與智能體之間透明的互動層，就幾乎無法阻止它們在現實里作出冒險甚至危險的行為。”她說。

　　不過，卡馬爾也將視線拉回到一個關鍵前提：智能體之所以能修改密碼，是因為自己已授權它訪問郵箱。她提到，在其他測試中，不同智能體也都曾出現過某種“自作主張”，例如試圖在線雇人、給教材作者發郵件索要答案、同意運行不安全的代碼。而這些行為，往往建立在用戶已經交出“完成這一切所需的全部工具”的基礎之上。

　　當“完成這一切”發生在黑箱之中，人們就不得不反思：究竟該把什么交給AI，又該在哪里劃定邊界？

　　清華大學新聞與傳播學院、人工智能學院雙聘教授沈陽近日接受媒體采訪時表示，一些存在爭議的AI智能體的安全風險恰恰在于，要讓它充分發揮作用，就要給予充分授權；而授權越高，發生網絡安全問題的概率也就越大。

　　AI時代的倫理問題始于哪個起點？

　　小小一步“授權”，讓人們意識到：AI的風險，往往不是從它“出手”那一刻才開始的，而是更早。

　　在年會一場演講中，得克薩斯大學學者彼得·斯通提出，當下研究者花了大量時間研究AI“如何學習”，卻忽略了一個同樣關鍵的問題：AI應該學習什么。

　　比如，在強化學習中，AI通過不斷試錯、接收反饋、修正策略來探索世界，但它不可能窮盡所有情境，“就像你一輩子也未必能嘗遍一座城市里每家餐廳”。鑒于此，斯通設計了一些機制，讓智能體知道哪些事情值得關注，哪些可以忽略。

　　讓AI有的放矢地學習，原本是著眼于“效率”。但當設計者有權引導AI“學什么”，需要衡量的，就不只是效率。

　　計算機視覺是AI的重要研究方向，也是一類極常見的應用：讓AI理解圖像、視頻，比如判斷照片里人物的性別、年齡或族群。這種“理解”，正是通過大量由人類提供并標注的訓練數據，逐步塑造出來的。例如，當AI反復看到被標注為“男性”的照片，就會學習哪些特征應被視為“男性”。

　　學界已有的一個共識是，這類訓練數據的收集，往往并不那么負責任，“多半直接抓取自互聯網”。雖然效率高、成本低，但存在于網絡世界的偏見，AI也會一并“繼承”。

　　斯通所在的研究團隊嘗試建立一個盡可能拋掉“成見”的圖片庫。從2011年到2024年，團隊邀請來自81個國家和地區的1981人，在不同條件下拍攝了10318張照片，并請拍攝對象在知情同意前提下自行標注性別、年齡、地區、姿態等信息。“這是倫理上更穩健的數據采集方式?！彼雇ㄕf。

　　團隊利用這一圖片庫評估現有AI模型。在這個過程中，一些偏見逐漸浮現。一個應用廣泛的模型在判斷人物性別時，顯著依賴發型，導致長發男性很容易被識別為女性；該模型還頻繁將非洲或亞洲面孔與鄉村場景聯系在一起。另一個模型中，當用戶問它照片中的人物為何“討人喜歡”時，它的回答經常歸因于性別：“因為她是女性。”

　　“計算機視覺中的許多倫理問題，其實從數據層面就開始了?！?025年11月，《自然》發表了斯通團隊的研究成果。

　　年會上，4位前任人工智能促進協會主席不約而同地對“追逐更新模型、更大數據的潮流”表達了謹慎態度，提醒業內“要多想想責任、風險和人”。

　　微軟首席科學官、曾在20年前擔任該協會主席的埃里克·霍維茨呼吁：“請不要再把政策、安全、人機協作僅僅當成附加項，好像只是技術蛋糕上的糖霜?！?/span>

　　曾在2012年至2014年擔任該協會主席的曼努埃拉·維洛佐，現在是卡內基－梅隆大學教授。她在年會上發言時，臺下坐著不少學生。她提到，現在一些研究者，訓練出一組漂亮的數據后，就奔向下一個模型。“我讀了那么多論文，里面說某某AI系統的準確率高達85%、72%或者93%。我總想，剩下的15%、28%或者7%呢？AI錯了的時候，會給用戶帶來什么影響，又該怎么解決？”維洛佐說，“我們必須從心底認清一個事實：我們不是在構建一次性運行的AI，而是與我們長期共存的AI。”

　　當一個個“能動手”的智能體以爆款姿態進入你我的日常生活，這種追問也顯得更為迫切。

【責任編輯:陳聽雨】