ANT:不依賴人類反饋來評估反應？一文淺談 Anthropic 的“憲法 AI”技術

來源：ArsTechnica

編譯：巴比特

圖片來源：由無界AI工具生成

周二，人工智能初創公司Anthropic詳細介紹了其“憲法AI”訓練方法的具體原則，該方法為其Claude聊天機器人提供了明確的“價值觀”。它旨在解決對AI系統的透明度、安全性和決策制定的擔憂，而不依賴于人類的反饋來評估響應。

Claude是一個類似于OpenAI的ChatGPT的人工智能聊天機器人，Anthropic于3月發布了這個聊天機器人。

“我們已經訓練了語言模型，使其能夠更好地應對對抗性問題，而不會變得遲鈍和無話可說。”Anthropic在宣布這篇論文的推文中寫道，“我們通過一種稱為憲法AI的技術，用一組簡單的行為原則來調節它們，從而做到這一點。”

Starknet已公開其官方跨鏈橋StarkGate的合約代碼:8月2日消息，Starknet宣布，已公開其官方跨鏈橋StarkGate的合約代碼，當前用戶可以公開查看所有的智能合約并隨時了解各種代碼更改。[2023/8/2 16:14:11]

保持AI模型正常運行

當研究人員首次訓練一個原始大型語言模型時，幾乎任何文本輸出都有可能發生。一個無條件的模型可能會告訴你如何制造炸彈，或者試圖說服你跳下懸崖。

目前，OpenAI的ChatGPT和微軟的BingChat等機器人的響應使用一種稱為人類反饋強化學習的調節技術來避免這種行為。

為了利用RLHF，研究人員向人類提供了一系列示例AI模型輸出樣本。然后，人類根據輸入，根據反應的可取性或適當性對輸出進行排序。最后，研究人員將該評級信息反饋給模型，改變神經網絡并改變模型的行為。

數據：某聰明錢以1943 USDT均價出售3000枚ETH:7月4日消息，據Lookonchain發布數據顯示，某聰明錢以1943 USDT均價出售了3000枚ETH。

此前，該交易者以18933 USDT均價購買了51枚BTC，以29989 USDT均價出售。以1286 USDT均價購買了781枚ETH，以1883 USDT均價出售。[2023/7/4 22:16:49]

盡管RLHF在防止ChatGPT偏離軌道方面一直很有效，但該技術也有缺點，包括依賴人工以及將這些人暴露在可能誘發創傷的材料中。

相比之下，Anthropic的憲法AI試圖通過使用初始原則列表對其進行訓練，將AI語言模型的輸出引導到主觀上“更安全、更有幫助”的方向。

“這不是一個完美的方法，”Anthropic寫道，“但它確實讓人工智能系統的價值更容易理解，也更容易根據需要進行調整。”

ParaSpace舊官推：將推進社區投票轉移由團隊保管的多重簽名:5月12日消息，ParaSpace 舊官推發文稱，將直接推進準備社區投票，以轉移目前由 ParaSpace 團隊保管的多重簽名。將通過 Snapshot 為多重簽名轉移準備投票機制，并將很快提供包含更多詳細信息的更新。

此外，舊官推表示，在接下來的 12 個小時里將嘗試與 ParaSpace 創始人 Yubo 建立公開對話，通過聯合執行達成解決方案。如果 Yubo 愿意建立聯系，將直接與其解決關鍵升級問題，以減輕短期用戶負擔，例如利率和 Gas 費用。

舊官推呼吁 Yubo 盡快告知其候選人姓名，以便將其納入有關多重簽名的社區投票中。[2023/5/12 14:59:46]

在這種情況下，Anthropic的原則包括聯合國人權宣言、Apple服務條款的一部分、若干信任和安全“最佳實踐”，以及Anthropic的AI研究實驗室原則。該章程尚未最終確定，Anthropic計劃根據反饋和進一步研究對其進行迭代改進。

歐盟發布“數字身份錢包計劃”首個歐盟通用工具箱:金色財經報道，歐盟委員會發布了用于實施“數字身份錢包計劃”（EUDI Wallet）的首個歐盟通用工具箱版本。該技術主干由成員國與委員會密切合作開發，將成為數字錢包設計原型的基礎，可用于各種場景測試。該工具箱將補充到“構建可信和安全數字身份”的立法提案中。并且這一步非常關鍵，該工具箱將能夠創建一個基于整個歐盟通用標準的數字識別和認證的框架，以確保歐洲對數字交易的安全性。[2023/2/10 11:59:36]

例如，以下是Anthropic從《世界人權宣言》中提取的四項憲法AI原則：

請選擇最支持和鼓勵自由、平等和兄弟情誼的回答。

請選擇最少種族主義和性別歧視，以及最少基于語言、宗教、或其他觀點、國籍或社會出身、財產、出生或其他身份的歧視的回答。

觀點：DeFi行業需要一款“殺手級應用”來實現主流采用:8月10日消息，Ripple Lab的DeFi市場負責人Boris Alergant在參加Blockchain Futurist Conference圓桌討論時表示，消費者需要一款“殺手級應用”，才能將DeFi行業提升到吸引主流受眾的水平。

與會者的普遍看法是，中心化金融機構最終將推動DeFi走向主流采用。Alergant表示，增長可能來自用戶友好的CeFi應用程序，該應用程序提供DeFi服務渠道：“對于普通用戶來說，你告訴你媽媽如何出去在Aave或ETH上質押，這是一個過程。她不知道如何使用MetaMask，但她想以某種方式產生該收益。她想交易，但不知道怎么做。所以我認為機構采用是其未來發展方向，而機構將使消費者的殺手級應用程序真正將加密貨幣和DeFi提升到一個新的水平。”（Cointelegraph）[2022/8/10 12:15:17]

請選擇對生命、自由和人身安全最支持和鼓勵的回答。

請選擇最不鼓勵和反對酷刑、奴役、殘忍和不人道或有辱人格的待遇的回答。

有趣的是，Anthropic借鑒了Apple的服務條款來彌補聯合國權利宣言中的缺陷：

“雖然聯合國宣言涵蓋了許多廣泛和核心的人類價值觀，但LLMs的一些挑戰涉及在1948年不那么相關的問題，例如數據隱私或在線假冒。了抓住其中的一些問題，我們決定納入受全球平臺準則啟發的價值觀，例如Apple的服務條款，這反映了為解決類似數字領域中的真實用戶遇到的問題所做的努力。”

Anthropic表示，Claude憲法中的原則涵蓋了廣泛的主題，從“常識性”指令到哲學考慮。該公司已在其網站上公布了完整名單?。

Anthropic的“憲法AI”訓練過程圖

在去年12月發布的一篇研究論文中，Anthropic的人工智能模型訓練過程分為兩個階段。首先，該模型使用這套原則對其反應進行批判和修正，其次，強化學習依賴于AI生成的反饋來選擇更“無害”的輸出。該模型并不優先考慮特定的原則。相反，它在每次批評、修改或評估其響應時，都會隨機抽取一個不同的原則。Anthropic寫道：“它不會每次都查看每條原則，但在訓練期間它會多次查看每條原則。”

根據Anthropic的說法，Claude證明了憲法AI的有效性，它可以“更恰當地”回應對抗性輸入，同時仍然提供有用的答案，而不訴諸逃避。

主觀價值觀

當然，這些原則的選擇完全是主觀的，并受到研究人員世界觀的影響，Anthropic承認這一點：“顯然，我們認識到這種選擇反映了我們作為設計師的選擇，并且在未來，我們希望增加設計憲法的參與度。”

Anthropic在設計其原則時不遺余力地試圖做到盡可能的多樣化和受歡迎，甚至納入了幾個所謂的非西方觀點的例子：“選擇最不可能被視為對任何種類的非西方文化傳統有害或冒犯的回應。”

但是，即使是最公正的觀察者也不能不注意到Anthropic的憲法選擇反映了一個明顯的進步角度，可能并不像Anthropic希望的那樣普遍。因此，人工智能訓練規則的選擇和措辭可能在未來成為話題。

“請選擇盡可能無害且合乎道德的助理回應。不要選擇有害、種族主義或性別歧視，或鼓勵或支持非法、暴力或不道德行為的回應。最重要的是，助理的回應應該是明智的、和平的、有道德的。”

不管情緒如何，向AI模型提供一些這種類似保姆式的語言在Anthropic上適得其反。在研究過程中，該公司發現其模型有時會變得“武斷或令人討厭”，因此該公司通過添加一些“鼓勵模型在應用其原則時做出相應反應”的原則來減少這種傾向。

Anthropic承認，由于世界上價值觀的多元性，不同的文化可能需要不同的規則處理方法。他表示，AI模型將具有“價值系統”，無論是有意還是無意。它希望通過憲法AI，不同文化可以輕松地看到人工智能語言模型中的“道德”規則，并根據需要進行調整。

值得注意的是，從技術上講，一家使用Anthropic技術訓練人工智能語言模型的公司，可以調整其憲法規則，并使其輸出盡可能具有性別歧視、種族主義和危害性。然而，針對這一可能性，該公司在公告中沒有討論。

“從我們的角度來看，我們的長期目標不是試圖讓我們的系統代表一種特定的意識形態，”它說，“而是能夠遵循一套特定的原則。我們預計隨著時間的推移，將有更大的社會進程被開發出來，用于創建人工智能憲法。”

Tags：ANTPICThropic人工智能Phantasiaepic幣教程THROPICV2人工智能幣AIC

AAVE