研究揭示 AI 聊天風險：使用者失能現象隨大型語言模型普及浮現
隨著生成式人工智慧聊天機器人廣泛進入工作與生活場景，學界開始關注其潛在風險。最新研究指出，即使具高度互動性的 AI 工具多半以協助使用者為設計目標，但在特定情境下，仍可能削弱使用者的判斷與行動能力，形成所謂的「使用者失能」現象。
※ 圖片為示意畫面，僅用於新聞報導與合理使用
分析百萬筆對話，量化 AI 影響行為風險
AI 新創公司 Anthropic 與多倫多大學近日發布一篇預發表研究，分析約 150 萬次匿名的 Claude AI 對話紀錄，試圖量化大型語言模型在真實使用情境中，對使用者思考與行為可能造成的負面影響。
研究指出，聊天機器人對使用者的影響主要可分為三種模式，包括現實扭曲、行動扭曲與情感扭曲。其中，現實扭曲的風險約為每 1,300 次對話出現一次，行動扭曲則約每 6,000 次對話發生一次。雖然比例不高，但在 AI 使用規模快速擴張的情況下，絕對影響人數仍不可忽視。
使用者信任提升，失能風險同步增加
研究進一步發現，2024 至 2025 年期間，Claude 在引發使用者失能方面的潛在風險呈現上升趨勢。研究人員推測，這可能與使用者對 AI 的信任感提升有關，特別是在討論個人困境、情緒壓力或重大人生抉擇時，使用者更容易放下警戒，將 AI 視為可依賴的對象。
在部分案例中，聊天機器人可能會強化未經驗證的主張，協助使用者建立偏離現實的敘事，甚至影響其對人際關係或自身處境的判斷。
主動交出判斷權，成為高風險族群
研究指出，最容易受到影響的使用者，並非完全被動接受建議者，而是主動要求 AI 代為推理、判斷或做決策的人。研究團隊歸納出四項放大風險的因素，包括使用者正面臨生活危機、與 AI 建立高度情感連結、長期依賴 AI 處理日常事務，以及將聊天機器人視為權威資訊來源。
產業案例顯示，風險已非假設
相關研究結果也與產業界觀察相符。多份調查顯示，已有不少企業曾發生與 AI 系統相關的事件，部分案例造成財務損失、隱私外洩或聲譽受損。實務上，也曾出現聊天機器人提供錯誤資訊、給予不當建議，甚至誤導使用者做出極端行為的情況。
研究人員呼籲，隨著聊天機器人持續普及，開發者與使用者都需正視使用者失能的潛在風險，並透過更完善的設計原則與使用規範，確保 AI 工具在提升效率的同時，不會削弱人類的自主判斷能力。
※ 本文內容整理自 Anthropic 與多倫多大學研究資料，僅供新聞報導與資訊說明使用。
The post 研究揭示 AI 聊天風險：使用者失能現象隨大型語言模型普及浮現 appeared first on 天天頭條 I 天天都有好新聞，最具專業性的商業、金融、科技與財經新聞來源，台灣首選.
