ING:研究 | 淺析聯邦學習框架_epikprime幣行情

▲?聯邦學習問題回顧

前文提及，于2016年，Google提出了用于訓練輸入法模型的新型方式，稱為「聯邦學習」。隨著時間的推移，聯邦學習不再是單純解決Google輸入法模型的一種解決方案，進而形成了一種新型的學習模式。聯邦學習解決的問題通常被稱為TMMPP--TrainingMachineLearningModelsovermultipledatasourceswithPrivacy，即在保證多方參與者的數據不泄露的情況下，共同完成預定模型的訓練。

在聯邦學習解決的TMMPP問題中，包含了n個數據方{D1,D2,...Dn}，其中，每個數據方對應擁有著n個數據{P1,P2,...Pn}。從聯邦學習的訓練模式來看，在選定好需要進行訓練的聯邦學習算法后，需為聯邦學習提供相應的輸入，最終得到訓練后的輸出。

聯邦學習的輸入:?每個數據方將Pi其擁有的原始數據Di作為聯合建模的輸入，輸入進聯邦學習的進程中。

聯邦學習的輸出：聯合所有參與方的數據，聯邦訓練出全局模型M?。

▲?聯邦學習所遇挑戰

聯邦學習技術還在持續的完善中。在發展的過程中，聯邦學習會遇到三大挑戰，他們分別分別是統計挑戰、效率挑戰、安全挑戰。

統計挑戰是在聯邦學習執行過程中，因為不同用戶數據的分布或者數據量的差異造成的挑戰；

a）非獨立同分布數據，即不同用戶數據分布不獨立，有明顯的分布差別，比如甲方擁有的是中國北方的水稻種植數據，而乙方擁有的是中國南方水稻種植數據，由于緯度，氣候，人文等影響，雙方的數據是不服從于同分布的；

b）非平衡數據，即用戶的數據量有明顯的差異，比如巨頭企業掌握著近千萬的數據量，而小公司僅掌握數萬條的數據，兩者合作，小公司的數據對巨頭企業的影響微乎其微，也難以在模型訓練中做出貢獻。

效率挑戰指的是在聯邦學習中各個節點本地計算與通信的消耗造成的挑戰；

a）通信開銷，即用戶節點之間的通信，通常指的是在限定帶寬的前提下，各個用戶之間傳輸的數據量的大小，數據量越大，則通信損耗越高；

b）計算復雜度，即基于底層加密協議的計算復雜度，通常指底層加密協議計算的時間復雜度，算法計算邏輯越復雜，消耗時間越多。

安全挑戰指的是，在聯邦學習過程中，不同的用戶使用不同的攻擊手段造成信息破解、下等挑戰；

a）半誠實模型，即各用戶誠實的執行聯邦學習中的所有協議，但是會利用獲取信息嘗試分析并回推他人數據；

b）惡意模型，即存在客戶不會嚴格遵守節點之間的協議，并可能對原始數據或者中間數據進行下以破壞聯邦學習進程。

面對以上三大挑戰，學術界進行針對性的研究，提出了許多有效的、專用的聯邦學習框架來優化聯邦學習訓練過程。下文我們將對這些框架進行簡單介紹。

聯邦學習1.0?–傳統聯邦學習

首先，我們重新闡述一下聯邦學習的概念與原理：存在若干參與方與協作方共同執行聯邦學習任務，參與方通過預置好的聯邦學習算法，生成類似于梯度的中間數據，交由協調方進行進一步的處理，隨后返還給各參與方，為下一輪的訓練做準備。

周而復始，聯邦學習任務完成。整個任務中，參與方的本地數據在各個FL框架中并沒有參與交換，但協調方和參與方之間傳輸的參數(比如梯度)可能會泄漏敏感信息。

為了保護數據擁有方的本地數據不被泄露，并在訓練過程中保護中間數據的隱私，在FL的框架中應用了一些隱私技術，在參與方與協調方交互時私下交換參數。進一步，從FL框架中使用的隱私保護機制來看，將FL框架分為：

1）非加密的聯邦學習框架；

2）基于差分隱私的聯邦學習框架；

3）基于安全多方計算的的聯邦學習框架；

▲?非加密的聯邦學習框架

聯合國批準區塊鏈保證和標準化動態聯盟研究新興技術:金色財經報道，聯合國互聯網治理論壇（UN-IGF）秘書處已批準成立一個動態聯盟，旨在制定應用于各個領域的區塊鏈標準，包括公共服務和人工智能等新興技術。

區塊鏈保障和標準化動態聯盟由 政府區塊鏈協會（GBA）支持和主辦。聯合國合辦工作人員養恤基金首席信息官Dino Cataldo Dell'Accio和大灣區執行董事Gerard Dache將共同領導該項目。

該聯盟將主要為人工智能制定通用和行業特定的區塊鏈標準；通訊基礎設施；供應鏈; 數字身份；經濟發展和投資；環境管理; 以及投票、醫療保健和教育等公共服務。該小組已經開始試點區塊鏈標準，并開發了區塊鏈成??熟度模型，為尋求“開發可信區塊鏈解決方案”的組織提供“路線圖”。[2023/7/13 10:51:21]

許多FL框架側重于提高效率或解決統計異質性的挑戰，而忽略了交換明文參數所帶來的潛在風險。

2015年，由Nishio等人提出的用于機器學習的移動邊緣計算框架FedCS，在異構數據屬主的設置的基礎上，可以快速并高效地執行FL。

2017年，由Smith等人提出了一個名為MOCHA的系統感知優化框架，該框架將FL與多任務學習相結合，通過多任務學習的方式來處理統計挑戰中的非同分布數據與數據量差異導致的各種挑戰。

同年，梁等人提出了LG-FEDAVG結合局部表示學習。他們表明，局部模型可以更好地處理異構數據，并有效地學習公平的表示，混淆受保護的屬性。

下圖所示：完全未加密任何中間數據的聯邦學習流程，所有的中間數據全是明文傳輸與計算。通過以上方式，參與方最終共同學習，得到聯邦學習模型。

▲基于差分隱私的聯邦學習框架

差分隱私?是一種隱私技術，具有很強的信息理論保證，可以在數據中增加噪聲。滿足DP的數據集可以抵抗對私有數據的任何分析，換句話說，所獲得的數據敵手對于在同一數據集中推測其他數據幾乎是無用的。通過在原始數據或模型參數中添加隨機噪聲，DP為單個記錄提供統計隱私保證，從而使數據無法恢復以保護數據屬主的隱私。

下圖所示：采取差分隱私對中間數據進行加密后的聯邦學習流程，各方生成的中間數據不再是明文傳輸計算，而是添加過噪聲的隱私數據，以此來進一步增強訓練過程的安全性。

▲基于安全多方計算的聯邦學習框架

在FL框架中，同態加密和安全多方計算等方法得到了廣泛的應用，但它們只向參與方與協調方揭示了計算結果，過程中并沒有透露任何除計算結果外的額外的信息。

實際上，HE應用于FL框架的方式與應用于安全多方學習框架的方式類似，只是細節上略有不同。在FL框架中，HE用于保護參與方和協調方之間交互的模型參數的隱私，而不是像MPL框架中應用的HE那樣直接保護參與方之間交互的數據。在FL模型中應用加法同態來保護梯度的隱私，以提供針對半誠信中心化協調方的安全性。

MPC涉及多個方面，并保留了原有的準確性，具有很高的安全性保證。MPC保證了每一方除了結果之外什么都不知道。因此MPC可以應用于FL模型中，用于安全聚合并保護本地模型。在基于MPC的FL框架中，集中式的協調方不能獲得任何本地信息和本地更新，而是在每一輪協作獲得聚合結果。然而，如果在FL框架中應用MPC技術將會產生大量額外的通信和計算成本。

迄今為止，秘密共享是在FL框架中應用最廣泛的MPC基礎協議，特別是Shamir的SS。

下圖所示：基于MPC的聯邦學習訓練流程，會由參與方公平的選舉出一組委員會成員作為協調方，通過執行MPC技術來協作完成模型聚合的任務。

數字資產研究院副院長孟巖：2020年區塊鏈開火年有四大看點:在3月1日下午14點由火幣中國主辦的“2020開火節”圓桌環節上，數字資產研究院副院長、火幣中國顧問孟巖表示，2020年區塊鏈開火年有四大看點。

?

孟巖表示，2020年肯定是區塊鏈開火年，但火力一點不弱！第一，疫情之后，中國會投巨資構建下一代的國家級 IT 基礎設施，而防災應急將會是其中一個剛性的需求。區塊鏈在構建國家級的防災應急指揮系統中，可能發揮基礎性的作用，而這也將帶動區塊鏈的快速發展。

第二，全球在數字資產、數字金融領域的一系列新動作，包括 Libra 可能落地，數字資產會走向越來越開放的狀態。

第三，全球經濟大格局的變化。今年是美國大選年，中美剛剛簽署第一階段貿易協議，又發生了疫情，各方面都需要經濟穩定發展，選擇比較積極的貨幣和財政政策概率比較大，這樣通脹的威脅就會相應加大，不過對于區塊鏈數字資產來說是個利好。

第四，隨著國家新的 IT 和區塊鏈戰略布局，以及十四五規劃的制定，各方學習區塊鏈的熱情會繼續高漲，今年肯定將成為區塊鏈學習和教育大爆發的一年。[2020/3/1]

介紹完三種FL框架后，我們總結不同技術路線的框架區別，大體如下：

聯邦學習2.0?--安全多方學習

上文我們提到到「安全多方學習」，這是基于聯邦學習衍生出的一個術語，簡單來說就是：沒有第三方協作方的聯邦學習，被稱之為安全多方學習，與先前所介紹的FL區分開來。換言之，在聯邦學習的基礎上，安全多方學習剔除了傳統聯邦學習模式中的協調方，并弱化了協調方的能力，將原本的星形網絡替換成點對點網絡并使得所有參與方的地位相同。

MPL的框架大體分為四類，包括：

1）基于同態加密的MPL框架；

2）基于混淆電路的MPL框架；

3）基于秘密共享的MPL框架；

4）基于混合協議的MPL框架；

簡單來說，不同的MPL框架即為：使用了不同的密碼學協議來保障中間數據安全的框架。MPL的流程與FL大體類似，我們一起看一下使用過的四種密碼學協議：

▲同態加密

同態加密是一種加密形式，我們可以在不解密，不知道密鑰的前提下，直接對密文執行特定的代數操作。然后，它生成一個加密結果，其解密結果與在明文上執行的相同操作的結果完全相同。

HE可以分為「三種類型」：1）部分同態加密(PHE)，PHE只允許無限次的一種操作；2)-3）有限同態加密與全同態加密,為了在密文中同時進行加法和乘法SWHE和FHE。SWHE可以在有限次數內執行某些類型的操作，而FHE可以在無限次數處理所有操作。FHE的計算復雜度比SWHE和PHE要昂貴得多。

▲?混淆電路?

混淆電路,又稱姚氏?混淆電路，是由姚期智院士提出的一種安全的兩方計算的底層技術。GC提供了一個交互式協議，讓兩方(一個混淆者garbler和一個評估者evaluator)對一個任意函數進行無意識的評估，這個函數通常表示為一個布爾電路。

在經典GC的構造中主要包括三個階段：加密、傳輸、評估。

首先，對于電路中的每一條線，混淆者生成兩個隨機字符串作為標簽，分別代表該線可能的兩個位值“0”和“1”。對于電路中的每一個門，混淆者都會創建一個真值表。真值表的每個輸出都是用與其輸入相對應的兩個標簽進行加密。這是由混淆者選擇一個密鑰推導函數，利用這兩個標簽生成對稱密鑰。

動態 | 騰訊發布內部通知，將成立數字貨幣研究項目組并指定相關負責人:12月23日，騰訊內部發布《關于成立數字貨幣研究項目組（虛擬組織）并指定相關負責人的通知》。《通知》表示，為積極響應《中共中央國務院關于支持深圳建設中國特色社會主義先行示范區的意見》關于“在深圳開展數字貨幣研究與移動支付等創新應用”的號召，持續推進公司支付戰略布局，保障支付業務長期健康發展，并進一步發揮部門間資源、技術協同優勢，經CDG企業發展事業群—支付基礎平臺與金融應用線，WXG微信事業群—微信支付線、S1職能系統—職能線、S2職能系統—財經線研究并報相關事業群負責人審核決定，在企業發展事業群支付基礎平臺與金融應用線下成立數字貨幣研究項目組（虛擬組織）。項目組整體負責數字貨幣研究項目各項工作推進，跟進落實政府相關部門最新政策，開展數字貨幣相關研究，業務模式創新及應用場景落地驗證。（鳳凰網區塊鏈）[2019/12/23]

然后，混淆者對真值表的行進行換行。在混淆階段結束后，混淆者將混淆后的表以及與其輸入為對應的輸入線標簽傳送給評估者。

此外，評估者通過不經意傳輸安全地獲取其輸入對應的標簽。有了混淆表和輸入線的標簽，評估者負責對混淆表進行反復解密，直至得到函數的最終結果。

▲?秘密共享

GMW協議是第一個安全的多方計算協議，允許任意數量的一方安全地計算一個可以表示為布爾電路或算術電路的函數。以布爾電路為例，所有各方使用基于XOR的SS方案共享輸入，各方交互計算結果，逐門計算。基于GMW的協議不需要對真值表進行混淆，只需要進行XOR和AND運算進行計算，所以不需要進行對稱的加解密操作。此外，基于GMW的協議允許預先計算所有的加密操作，但在在線階段需要多方進行多輪交互。因此，GMW在低延遲網絡中取得了良好的性能。

BGW協議是3方以上的算術電路安全多方計算的協議。該協議的總體結構與GMW類似。一般來說，BGW可以用來計算任何算術電路。與GMW協議類似，對于電路中的加法門，計算是可以在本地進行的，而對于乘法門，各方需要交互。但是，GMW和BGW在交互形式上有所不同。BGW不是使用OT來進行各方之間的通信，而是依靠線性SS來支持乘法運算。但BGW依靠的是誠實多數制(honest-majority)。BGW協議可以對抗除t個腐壞方的半誠實敵手，對抗t個腐壞方的惡意敵手。

SPDZ是Damgard等人提出的一種不誠實多數制計算協議，它能夠支持兩方以上的計算算術電路。它分為離線階段和在線階段。SPDZ的優勢在于昂貴的公鑰密碼計算可以在離線階段完成，而在線階段則純粹使用廉價的、信息理論上安全的基元。SWHE用于在離線階段執行constant-round的安全乘法。SPDZ的在線階段是linear-round，遵循GMW范式，在有限域上使用秘密共享來確保安全。SPDZ最多可以對抗惡意敵手的t<=n個腐壞方，其中t為敵手數量，n為計算方數。

將集中密碼學協議進行階段性總結，不同技術路線對應的框架區別大體如下：

聯邦學習3.0--群學習

2021年，波恩大學的JoachimSchultze和他的合作伙伴提出了一種名為SwarmLearning的「去中心化機器學習系統」，這是基于MPL進一步的衍化升級，它取代了當前跨機構醫學研究中集中數據共享的方式。SwarmLearning通過Swarm網絡共享參數，再在各個參與方的本地數據上獨立構建模型，并利用區塊鏈技術對試圖破壞Swarm網絡的不誠實參與者采取強有力的措施。

相較于FL與MPL,SwarmLearning將區塊鏈的技術引入到聯邦學習的訓練過程中，很好地將區塊鏈取代了公信第三方，起到訓練協同的作用。

金色晨訊 | 北京共識區塊鏈研究院揭牌成立 雄安將利用區塊鏈金融科技推動產品落地:1.北京共識區塊鏈研究院揭牌成立。

2家樂福在西班牙推出家禽區塊鏈食物追蹤平臺。

3.央視財經頻道：“硬分叉”為比特幣暴跌推手。

4.巴黎銀行和匯豐銀行完成首筆區塊鏈信用交易。

5.深圳文化產權交易所推出基于區塊鏈技術的“文版通系統”。

6.沙特中央銀行支持的數字貨幣將于2019年中期啟動。

7.雄安將基于區塊鏈等金融科技推動產品和技術落地。

8.京東全球購升格為“海囤全球” 推進商品全程區塊鏈溯源。

9.浙江成立首個由政校企聯手打造的區塊鏈技術研究機構。[2018/11/22]

▲?聯邦學習技術路線比較

縱觀聯邦學習的前世今生，其已經擁有了多種解決問題的技術路線，經總結，分布式機器學習，聯邦學習，安全多方學習，群學習的差異大體如下：

這其中，我們將傳統的FL與MPL進行更深層次的對比，體現在以下六點：

1)?隱私保護

MPC框架中使用的MPC協議為雙方提供了很高的安全性保證。然而，非加密FL框架在數據屬主和服務器之間交換模型參數是明文的，敏感信息也可能被泄露；

2)?通信方式

在MPL中，數據屬主之間的通信通常是在沒有可信第三方的情況下以對等的形式進行的，而FL通常是以具有集中式服務器的Client-Server的形式進行的。換句話說，MPL中的每個數據屬主在狀態上是相等的，而FL中的數據屬主和集中式服務器是不對等的；

3)?通信開銷

對于FL，由于數據屬主之間的通信可以由一個中心化服務器來協調，通信開銷比MPL的點對點形式更小，特別是當數據屬主的數量非常大時；

4)?數據格式

目前，在MPL的解決方案中，不考慮非IID設置。然而，在FL的解決方案中，由于每個數據屬主都在本地訓練模型，因此更容易適應非IID設置；

5)?訓練模型的準確性

在MPL中，在全局模型中通常沒有精度損失。但如果FL利用DP保護隱私，全局模型通常會有一定的準確性損失；

6)?應用場景

結合上述分析，可以發現MPL更適合于安全性和準確性較高的場景，而FL更適合于性能要求較高的場景，用于更多的數據擁有方。

▲?聯邦學習框架多方比較

自2016年FL基礎性框架的內容對比

基于FL的MPL基礎框架的內容對比

隨著聯邦學習技術的不斷發展，針對不同挑戰的聯邦學習平臺不斷涌現，但仍未達到成熟的階段。目前，在學術界中，聯邦學習平臺主要解決的問題是非平衡與非同分布的數據問題，而工業界更多的把眼光放在了密碼學協議上來解決聯邦學習的安全問題。

兩邊齊頭并進，將現有的很多機器學習算法實現了聯邦化，但仍不成熟，并未達到可以落地投產的階段。近幾年，聯邦學習框架的研究與落地仍處于初級階段，需要持續不斷的努力和推進。

作者簡介

嚴楊聯邦學習后驅者趣鏈科技數據網格實驗室BitXMesh團隊

參考文獻

P.VoigtandA.VondemBussche,“Theeugeneraldataprotectionregulation(gdpr),”?APracticalGuide,1stEd.,Cham:SpringerInter-nationalPublishing,2017.

金色財經現場報道，火幣研究院院長袁煜明：區塊鏈體系設計應當從供給出發:金色財經現場報道，火幣研究院院長袁煜明在GoldenBlock 共識·鏈上未來論壇上表示，區塊鏈體系設計，應當從供給出發，一切應當以促進生產力為關鍵。[2018/4/10]

D.Bogdanov,S.Laur,andJ.Willemson,“Sharemind:Aframeworkforfastprivacy-preservingcomputations,”inProceedingsofEuropeanSymposiumonResearchinComputerSecurity.Springer,2008,pp.192–206.

D.Demmler,T.Schneider,andM.Zohner,“Aby-aframeworkforefficientmixed-protocolsecuretwo-partycomputation.”inProceedingsofTheNetworkandDistributedSystemSecuritySymposium,2015.

P.MohasselandY.Zhang,“Secureml:Asystemforscalableprivacy-preservingmachinelearning,”inProceedingsof2017IEEESymposiumonSecurityandPrivacy(SP).IEEE,2017,pp.19–38.

H.B.McMahan,E.Moore,D.Ramage,andB.A.yArcas,“Feder-atedlearningofdeepnetworksusingmodelaveraging,”CoRR,vol.abs/1602.05629,2016.

J.Konecˇny`,H.B.McMahan,D.Ramage,andP.Richta?rik,“Federatedoptimization:Distributedmachinelearningforon-deviceintelligence,”arXivpreprintarXiv:1610.02527,2016.

J.Konecˇny`,H.B.McMahan,F.X.Yu,P.Richta?rik,A.T.Suresh,andD.Bacon,“Federatedlearning:Strategiesforimprovingcommunica-tionefficiency,”arXivpreprintarXiv:1610.05492,2016.

B.McMahan,E.Moore,D.Ramage,S.Hampson,andB.A.yArcas,“Communication-efficientlearningofdeepnetworksfromdecentral-izeddata,”inProceedingsofArtificialIntelligenceandStatistics,2017,pp.1273–1282.

A.C.-C.Yao,“Howtogenerateandexchangesecrets,”inProceedingsofthe27thAnnualSymposiumonFoundationsofComputerScience(sfcs1986).IEEE,1986,pp.162–167.

V.Smith,C.-K.Chiang,M.Sanjabi,andA.S.Talwalkar,“Federatedmulti-tasklearning,”inProceedingsofAdvancesinNeuralInformationProcessingSystems,2017,pp.4424–4434.

R.Fakoor,F.Ladhak,A.Nazi,andM.Huber,“Usingdeeplearningtoenhancecancerdiagnosisandclassification,”inProceedingsoftheinternationalconferenceonmachinelearning,vol.28.ACMNewYork,USA,2013.

M.Rastegari,V.Ordonez,J.Redmon,andA.Farhadi,“Xnor-net:Imagenetclassificationusingbinaryconvolutionalneuralnetworks,”inProceedingsofEuropeanconferenceoncomputervision.Springer,2016,pp.525–542.

F.Schroff,D.Kalenichenko,andJ.Philbin,“Facenet:Aunifiedembeddingforfacerecognitionandclustering,”inProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,2015,pp.815–823.

P.VoigtandA.VondemBussche,“Theeugeneraldataprotectionregulation(gdpr),”APracticalGuide,1stEd.,Cham:SpringerInter-nationalPublishing,2017.

D.Bogdanov,S.Laur,andJ.Willemson,“Sharemind:Aframeworkforfastprivacy-preservingcomputations,”inProceedingsofEuropeanSymposiumonResearchinComputerSecurity.Springer,2008,pp.192–206.

T.NishioandR.Yonetani,“Clientselectionforfederatedlearningwithheterogeneousresourcesinmobileedge,”inProceedingsof2019IEEEInternationalConferenceonCommunications(ICC).IEEE,2019,pp.1–7.

P.P.Liang,T.Liu,L.Ziyin,R.Salakhutdinov,andL.-P.Morency,“Thinklocally,actglobally:Federatedlearningwithlocalandglobalrepresentations,”arXivpreprintarXiv:2001.01523,2020.

Y.Liu,Y.Kang,X.Zhang,L.Li,Y.Cheng,T.Chen,M.Hong,andQ.Yang,“Acommunicationefficientverticalfederatedlearningframework,”arXivpreprintarXiv:1912.11187,2019.

K.Bonawitz,V.Ivanov,B.Kreuter,A.Marcedone,H.B.McMahan,S.Patel,D.Ramage,A.Segal,andK.Seth,“Practicalsecureaggre-gationforprivacy-preservingmachinelearning,”inProceedingsofthe2017ACMSIGSACConferenceonComputerandCommunicationsSecurity,2017,pp.1175–1191.

K.Cheng,T.Fan,Y.Jin,Y.Liu,T.Chen,andQ.Yang,“Se-cureboost:Alosslessfederatedlearningframework,”arXivpreprintarXiv:1901.08755,2019.

G.Xu,H.Li,S.Liu,K.Yang,andX.Lin,“Verifynet:Secureandverifiablefederatedlearning,”IEEETransactionsonInformationForensicsandSecurity,vol.15,pp.911–926,2019.

H.B.McMahan,D.Ramage,K.Talwar,andL.Zhang,“Learn-ingdifferentiallyprivaterecurrentlanguagemodels,”arXivpreprintarXiv:1710.06963,2017.

Y.Zhao,J.Zhao,M.Yang,T.Wang,N.Wang,L.Lyu,D.Niyato,andK.Y.Lam,“Localdifferentialprivacybasedfederatedlearningforinternetofthings,”arXivpreprintarXiv:2004.08856,2020.

M.Hastings,B.Hemenway,D.Noble,andS.Zdancewic,“Sok:Generalpurposecompilersforsecuremulti-partycomputation,”inProceedingsof2019IEEESymposiumonSecurityandPrivacy(SP).IEEE,2019,pp.1220–1237.

I.Giacomelli,S.Jha,M.Joye,C.D.Page,andK.Yoon,“Privacy-

preservingridgeregressionwithonlylinearly-homomorphicencryp-tion,”inProceedingsof2018InternationalConferenceonAppliedCryptographyandNetworkSecurity.Springer,2018,pp.243–261.

A.Gasco?n,P.Schoppmann,B.Balle,M.Raykova,J.Doerner,S.Zahur,andD.Evans,“Privacy-preservingdistributedlinearregressiononhigh-dimensionaldata,”ProceedingsonPrivacyEnhancingTechnologies,vol.2017,no.4,pp.345–364,2017.

S.Wagh,D.Gupta,andN.Chandran,“Securenn:3-partysecurecomputationforneuralnetworktraining,”ProceedingsonPrivacyEnhancingTechnologies,vol.2019,no.3,pp.26–49,2019.

M.Byali,H.Chaudhari,A.Patra,andA.Suresh,“Flash:fastandrobustframeworkforprivacy-preservingmachinelearning,”ProceedingsonPrivacyEnhancingTechnologies,vol.2020,no.2,pp.459–480,2020.

S.Wagh,S.Tople,F.Benhamouda,E.Kushilevitz,P.Mittal,andT.Rabin,“Falcon:Honest-majoritymaliciouslysecureframeworkforprivatedeeplearning,”arXivpreprintarXiv:2004.02229,2020.

V.Nikolaenko,U.Weinsberg,S.Ioannidis,M.Joye,D.Boneh,andN.Taft,“Privacy-preservingridgeregressiononhundredsofmillionsofrecords,”pp.334–348,2013.

M.Chase,R.Gilad-Bachrach,K.Laine,K.E.Lauter,andP.Rindal,“Privatecollaborativeneuralnetworklearning.”IACRCryptol.ePrintArch.,vol.2017,p.762,2017.

M.S.Riazi,C.Weinert,O.Tkachenko,E.M.Songhori,T.Schneider,andF.Koushanfar,“Chameleon:Ahybridsecurecomputationframe-workformachinelearningapplications,”inProceedingsofthe2018onAsiaConferenceonComputerandCommunicationsSecurity,2018,pp.707–721.

P.MohasselandP.Rindal,“Aby3:Amixedprotocolframeworkformachinelearning,”inProceedingsofthe2018ACMSIGSACConferenceonComputerandCommunicationsSecurity,2018,pp.35–52.

N.Agrawal,A.ShahinShamsabadi,M.J.Kusner,andA.Gasco?n,“Quotient:two-partysecureneuralnetworktrainingandprediction,”inProceedingsofthe2019ACMSIGSACConferenceonComputerandCommunicationsSecurity,2019,pp.1231–1247.

R.RachuriandA.Suresh,“Trident:Efficient4pcframeworkforpri-vacypreservingmachinelearning,”arXivpreprintarXiv:1912.02631,2019.

A.PatraandA.Suresh,“Blaze:Blazingfastprivacy-preservingma-chinelearning,”arXivpreprintarXiv:2005.09042,2020.

SongL,WuH,RuanW,etal.SoK:Trainingmachinelearningmodelsovermultiplesourceswithprivacypreservation.arXivpreprintarXiv:2012.03386,2020.

Tags：INGANDIONPRIBetterBettingLAND價格Notional Financeepikprime幣行情

芝麻開門交易所下載