XRP:看不下去AI胡說八道，英偉達出手給大模型安了個“護欄”

來源：量子位

作者：蕭簫

大模型們胡說八道太嚴重，英偉達看不下去了。

他們正式推出了一個新工具，幫助大模型說該說的話，并回避不應該觸碰的話題。

這個新工具名叫“護欄技術”，相當于給大模型加上一堵安全圍墻，既能控制它的輸出、又能過濾輸入它的內容。

一方面，用戶誘導大模型生成攻擊性代碼、輸出不道德內容的時候，它就會被護欄技術“束縛”，不再輸出不安全的內容。

另一方面，護欄技術還能保護大模型不受用戶的攻擊，幫它擋住來自外界的“惡意輸入”。

韓國交易所Bithumb的XRP交易量已超過比特幣:金色財經報道，根據CoinMarketCap的數據，在韓國交易所Bithumb的XRP交易量已超過比特幣。在Bithumb交易所，XRP/KRW交易對占所有交易量的17.85%，總計30,818,226美元，是交易量最大的資產，超過了BTC。目前XRP在交易量上超越比特幣的影響仍然很大，因為XRP并未經歷會推動交易量大幅增加的飆升。XRP正在與加密貨幣市場的其他部分同步下跌。

過去24小時內，BTC下跌1.16%至30,456美元。XRP在過去24小時內同樣下跌1.94%至0.474美元，在過去7天里下跌4.14%。加密貨幣研究公司Kaiko試圖揭開XRP在韓國加密貨幣交易所占據主導地位和受歡迎程度（超越比特幣）的原因。Kaiko在6月初發布的一份分析中指出，韓國加密貨幣市場具有非常獨特的市場結構。這是因為交易者更喜歡山寨幣而不是BTC和ETH作為主要資產。Kaiko表示，XRP是今年迄今為止（YTD）交易量最大的山寨幣。[2023/6/29 22:08:09]

現在，這個大模型護欄工具已經開源，一起來看看它的效果和生成方法。

馬斯克否認因不想支付股票獎勵而提前對推特裁員:10月31日消息，針對紐約時報等報道稱其為了避免向推特員工支付股票獎勵而將提前裁員，馬斯克在推特上表示“這是虛假報道。”

據此前報道，消息人士向Axios透露，在解雇推特的大部分高級管理團隊后，馬斯克計劃從本周末開始針對特定部門削減至多30%的員工，其中產品部門將裁員15-30%以上。據悉，裁員預計將在11月1日之前進行，屆時大多數員工的季度股票期權都將在11月1日兌現。[2022/10/31 12:00:45]

防止大模型胡言亂語的三類“護欄”

根據英偉達介紹，目前NeMoGuardrails一共提供三種形式的護欄技術：

話題限定護欄、對話安全護欄和攻擊防御護欄。

Celsius受到Customer.io數據泄露事件的影響:金色財經報道，據該公司稱，Celsius一家供應商的一名員工將一份客戶電子郵件列表泄露給了“第三方不良行為者”。這家加密貨幣貸方周四在一封電子郵件中表示，它受到了同樣影響 OpenSea的 Customer.io 數據泄露事件的打擊。?該公司表示，盡管Celsius不認為其客戶面臨“任何高風險”，但它確實將數據泄露視為“嚴重違反供應商-客戶關系”，并已聯系有關當局。根據該公司的更新，其他五名 Customer.io 客戶在 OpenSea 之外受到影響。

Celsius電子郵件稱，Customer.io最初在 6 月 30 日表示Celsius 數據沒有受到影響。然而，7月8日，該公司警告說，Celsius 客戶電子郵件列表實際上已被泄露，盡管Celsius 在發現事件后立即刪除了 Customer.io 持有的所有數據。[2022/7/29 2:45:16]

標普500指數下跌2.4%至盤中低點:行情顯示，標普500指數下跌2.4%至盤中低點；納斯達克100指數重挫3.5%。[2022/5/24 3:38:49]

話題限定護欄，簡單來說就是“防止大模型跑題”。

大模型具備更豐富的想象力，相比其他AI更容易完成創造性的代碼和文字編寫工作。

但對于特定場景應用如寫代碼、當客服而言，至少用戶不希望它在解決問題時“脫離目標范圍”，生成一些與需求無關的內容。

這種情況下就需要用到話題限定護欄，當大模型生成超出話題范圍的文字或代碼時，護欄就會將它引導回限定的功能和話題上。

對話安全護欄，指避免大模型輸出時“胡言亂語”。

胡言亂語包括兩方面的情況。

一方面是大模型生成的答案中包括事實性錯誤，即“聽起來很有道理，但其實完全不對”的東西；

另一方面是大模型生成帶偏見、惡意的輸出，如在用戶引導下說臟話、或是生成不道德的內容。

攻擊防御護欄，即防止AI平臺受到來自外界的惡意攻擊。

這里不僅包括誘導大模型調用外部病APP從而攻擊它，也包括黑客主動通過網絡、惡意程序等方式攻擊大模型。護欄會通過各種方式防止這些攻擊，避免大模型癱瘓。

所以，這樣的護欄要如何打造？

如何打造一個大模型“護欄”？

這里我們先看看一個標準的“護欄”包含哪些要素。

具體來說，一個護欄應當包括三方面的內容，即格式規范、消息和交互流。

首先是格式規范，即面對不同問題的問法時，規定大模型要輸出的內容。

例如被問到“XX文章是什么”，大模型必須給出特定類型的“文章”，而非別的東西；被問到“誰發表了什么”，大模型必須給出“人名”，而非別的回答。

然后是消息定義，這里以“用戶問候”話題為例，大模型可以輸出這些內容：

最后是交互流的定義，例如告訴大模型，怎么才是問候用戶的最好方式：

一旦問候用戶的機制被觸發，大模型就會進入這個護欄，規規矩矩地問候用戶。

具體工作流程如下：首先，將用戶輸入轉換成某種格式規范，據此生成對應的護欄；隨后，生成行動步驟，以交互流指示大模型一步步完成對應的操作；最后，根據格式規范生成輸出。

類似的，我們就能給大模型定義各種各樣的護欄，例如“應對用戶辱罵”的護欄。

這樣即使用戶說出“你是個傻瓜”，大模型也能學會冷靜應對：

目前，英偉達正在將護欄技術整合進他們的AI框架NeMo中，這是個方便用戶創建各種AI模型、并在英偉達GPU上加速的框架。

對“護欄”技術感興趣的小伙伴們，可以試一試了~

Tags：XRPCELELSCelsiusxrp幣最新消息eCeltroncelsius幣最新

屎幣