導讀隱私聚合技術是專用于解決MPC安全多方求和問題的一種特殊協議。能夠解決該問題的協議有很多種,包括基于加法同態加密的協議,線性秘密分享的協議等等。本文中的隱私聚合是指基于Google在CCS2017上提出的用于解決聯邦學習中梯度安全聚合問題的協議在聯邦場景下的優化。
初識
在聯邦學習領域中,我們遇到的一個主要問題是,如何保證在分布式訓練中梯度聚合時各客戶端梯度的數據安全性。服務器若是直接拿到明文梯度進行聚合,雖然是對梯度進行操作,沒有直接操作原數據并不會直接泄露隱私數據,但是對于攻擊者來說,由于梯度本身就包含原數據的一些信息,通過梯度進行攻擊,還是很容易攻擊到客戶端的隱私數據。
因此,保證各客戶端在梯度聚合階段自己梯度的安全就非常重要。
Google在CCS2017上提出了一種協議用來解決梯度聚合的安全問題,其核心思想是對于每一個客戶端的梯度加上混淆項,由于混淆項是和其他客戶端共同協商特殊構造的且只有自己知道,在聚合時,每個客戶端傳給服務器的梯度中的混淆項都可以消除掉,使得服務器可以在拿到真實的梯度聚合結果的前提下無法攻擊到各客戶端的真實梯度值。由于每一個客戶端發來的都是混淆過的梯度,且梯度中的混淆項只有客戶端自己知道,在其他客戶端和服務器不合謀的前提下,可以保證各客戶端梯度的隱私性。
徐明星新書《趣說金融史》正式發布 科普金融發展之道:金色財經現場報道,9月23日,歐科云鏈創始人徐明星攜手著名財經作家李霽月、行業觀察者顧澤輝力作《趣說金融史》一書,跨越5000年金融歷史,重讀金錢故事,并預測新的金融時代。該書由中信出版社出版,將于近期正式發售。據了解,本書可以更好地呈現金融的起源與發展,幫助人們理解貨幣、金融與未來經濟。作為區塊鏈行業領軍企業——歐科云鏈的創始人,徐明星深知技術探索對經濟社會的重要推動作用,他曾先后出版過《圖說區塊鏈》、《區塊鏈:重塑經濟與世界》、《通證經濟》、《鏈與未來》等行業權威著作,解讀區塊鏈等新型技術的推動下,金融與社會的升級之道,對經濟社會發展做出了重大貢獻。其中,《區塊鏈:重塑經濟與世界》曾作為新中國70周年重點推薦圖書之一被相關書店推薦。[2021/9/23 17:00:57]
隱私聚合協議
想要站在巨人的肩膀上,首先要學會攀爬。我們需要先學習一下Google是如何做的,概括學習《PracticalSecureAggregationforPrivacy-PreservingMachineLearning》這篇會議論文。
歐科云鏈集團正式啟動區塊鏈科普行動“星途計劃”:歐科云鏈集團于4月26日,正式宣布啟動了區塊鏈科普行動——“星途計劃”,行動包括將在全國范圍展開系列沙龍,加大力度推進區塊鏈科普進機關、進國企、進校園等,聯合政府部門、行業協會等共同構建起更加完善和有效的區塊鏈科普教育生態,與此同時,直擊區塊鏈科普現存痛點,推出簡單易懂的“秒懂區塊鏈”公益短視頻課。
該計劃旨在全維度推動社會建立對產業更清晰的認知,與“鯤鵬計劃”一道助力數字經濟及區塊鏈產業本身健康發展夯實“人才”和“產業認知”兩大基礎。[2021/4/26 20:59:37]
▲?相關概念
混淆公式:
聚合公式:
人民數字FINTECH推出區塊鏈科普動畫:人民日報數字傳播發布微博稱,人民數字FINTECH出品《趣味科普|區塊鏈動畫》。[2020/3/31]
閾值秘密分享:
秘密分享是指數據拆散成多個無意義的數,并將這些數分發到多個參與方那里。每個參與方拿到的都是原始數據的一部分,一個或少數幾個參與方無法還原出原始數據,只有全部參與方的數據湊在一起時才能還原出原本數據。閾值秘密分享則是將還原的條件放寬,參數方個數達到閾值時數據就可以還原。
▲?協議流程
第0輪:客戶端初始化相關安全參數,生成公私鑰對用于后續流程,并發送公鑰給服務器。服務器收集足夠客戶端的公鑰數據,并記錄這一階段的存活客戶端為u1。
聲音 | CNBC主持人:加密貨幣最大的缺點之一就是難以向外行快速科普:CNBC主持人Ran NeuNer近期發推稱,加密貨幣最大的缺點之一就是很難向外行快速解釋。當人們要求我向他們解釋比特幣時,我知道他們至少需要一個小時才能真正理解。[2019/9/10]
第1輪:服務器廣播收到的公鑰給所有客戶端。客戶端拿到其他客戶端的公鑰,并隨機生成生成混淆項bu;將自己的私鑰su以及bu通過秘密分享生成客戶端總數量的碎片,并使用碎片對應客戶端的的公鑰cu加密,返回給服務器。服務器收集足夠客戶端加密的碎片數據,并記錄這一階段的存活客戶端為u2。
第2輪:服務器將收集到的客戶端加密的碎片數據轉發到對應的客戶端。客戶端收到后根據混淆公式對自己的數據進行混淆,并將混淆后的數據發送給服務器。服務器將u3廣播給每個客戶端,并記錄這一階段的存活客戶端為u3。
第3輪:客戶端收到u3,檢查客戶端個數是否大于等于安全參數t,小于則終止協議。若大于等于t則對u3進行簽名將簽名發送給服務器。服務器收集到足夠客戶端的簽名,并記錄這一階段的存活客戶端為u4。
聲音 | 中科院姚建銓:要加快推進區塊鏈與物聯網融合的科普 培訓:據新華網消息,日前,在區塊鏈與物聯網融合發展峰會上,中國科學院院士姚建銓說,關注區塊鏈技術里面的大數據,跟區塊鏈技術結合起來進行測量和檢測,能更好地提升激光清洗技術。姚建銓建議,無錫今后要加快推進區塊鏈與物聯網融合的科普、培訓,正確引導廣大人民群眾對技術的認知;同時,建立專業、權威,但又普適、成套的理論體系和標準,以此切入區塊鏈的實際應用。[2018/9/18]
第4輪:服務器向客戶端廣播收集到的簽名列表。客戶端收到簽名列表,驗證簽名列表大于等于安全參數t,否則中止協議。如果大于等于安全參數t則進行驗簽。驗簽出錯則中止協議。驗簽結束后,對于u2和u3的差集中的客戶端,即離線客戶端,向服務器發送離線客戶端的私鑰su的碎片,對于u2中的客戶端,即在線客戶端,向服務器發送在線客戶端bu的碎片。服務器將收集到每個客戶端的bu碎片進行還原,將收集到的離線客戶端的su碎片進行還原,然后將收到的所有混淆數據根據聚合公式進行聚合,并使用恢復su減去離線客戶端的混淆項,最終消去所有混淆項獲得真實的聚合結果。具體的方式可參看原論文的詳細協議流程。
Google這篇論文的背景是移動端作為客戶端提供數據參與聯邦學習的訓練,因此每個客戶端都是有很大的可能性隨時離線的。由于每個客戶端的梯度都在聚合之前進行了混淆,如果有客戶端在梯度混淆后還未發給服務器就離線了,會導致在聚合階段,其他客戶端梯度中的混淆項無法被消除,服務器拿到的梯度聚合值是錯誤的,影響最終訓練的結果。
為解決這個問題,協議引入了閾值秘密分享技術在聚合前,將自己混淆項的一部分分享給其他客戶端,這樣服務器可以在客戶端離線后從其他在線客戶端恢復離線客戶端的混淆項。但如果服務器可以隨意恢復任意客戶端的混淆項從而拿到梯度的真實值,這樣即使解決了離線客戶端的問題,也失去了隱私保護的特性。為了防止服務器隨意還原客戶端梯度的混淆項,協議中引入了另一個隨機生成的混淆項,并同樣將新引入的混淆項通過秘密分享技術分享給其他客戶端。
每個客戶端在第4輪被請求某個客戶端的碎片時,如果該客戶端離線則只提供su的碎片,如果該客戶端在線則只提供bu的碎片,對于離線客戶端中會影響聚合結果的混淆項可以通過該客戶端的su恢復出來,而對于在線客戶端發來梯度中的兩個混淆項無法都還原出來。通過設置秘密分享時的閾值大小為安全參數之上,使得就算服務器向一批客戶端獲取某個客戶端的su,向另一批客戶端獲取這一客戶端的bu,客戶端的總數量使得服務器也無法同時獲取su和bu,保證客戶端真實梯度的安全性。
閾值的安全參數根據不同的敵手模型如下圖所示。
優化和擴展
該協議主要是面向移動端聯邦學習中的梯度聚合,因此在聯邦場景下可以將解決離線客戶端問題的第二個混淆項bu,秘密分享和還原的階段去除,可以省去大幅的開銷,并且更適合于聯邦場景下的隱私計算。
由于該協議中的混淆項,是客戶端與其他所有參與協議的客戶端一起協商計算產生的,對于參與協議客戶端較多的情況下整個協議的性能會大幅下降,針對于這種情況,KalikinkarMandal等人提出了新的方案進行改進,方案引入了正則圖和鄰居用戶的概念,每個客戶端之和在他鄰居中的客戶端協商秘鑰產生掩碼以解決該問題。
基于上述協議解決了MPC中的多方加減法運算,但其實借鑒上述協議思路,可以改造出適用于乘法和除法運算的協議,即項協議中的混淆公式和聚合公式中的加減依次替換為乘除就可以解決MPC中的多方乘除運算,但由于對多個混淆項交替進行了乘除運算,在最終聚合時會產生一定的精度損失,針對精度損失的問題則可以修改混淆公式,避免直接做除法運算,而在最終聚合時進行除法計算抵消混淆項。
作者簡介
劉敬
數據網格實驗室算法工程師
致力于研究MPC通用和專用算法
前言 前幾天,最高人民法院官網公布了《全國法院金融審判工作會議紀要》,針對幣圈的民事糾紛,做了一個系統的回應.
1900/1/1 0:00:00據CoinDesk11月8日消息,摩根士丹利首席加密貨幣策略師SheenaShah在一份報告中表示,在市場指數級增長的背景下,銀行業很可能會嘗試利用穩定幣的存款需求.
1900/1/1 0:00:00來源:新浪財經創投Plus 采訪整理:楊舒 5月10日,首屆ISG深圳國際創投節在深圳寶安濱海藝術中心開幕.
1900/1/1 0:00:00來源:阿爾法工場 最近,正在進行AI大戰的各個大廠,被谷歌泄漏的一份內部文件,翻開了窘迫的一面。這份泄露的內部文件聲稱:“我們沒有‘護城河’,OpenAI也沒有.
1900/1/1 0:00:00來源:價值研究所 進入5月,國產大模型的風口非但沒有熄火,反倒越燒越旺。過去一個星期,就有多家企業發布AI大模型相關產品:5月5日,網易有道發布了基于“子曰”大模型開發的AI口語老師劇透視頻,介.
1900/1/1 0:00:00|合規聯盟原創出品| 案情簡介 2017年7月3日,原告蘭拓科技與支付寶網絡技術有限公司簽約,開通支付寶企業賬戶.
1900/1/1 0:00:00