比特幣:科普 | 聯邦學習這件小事_STE

背?景

計算機學院的學生小A意圖使用大數據及人工智能的相關技術完成自己的一個課題《大學生男生生活費消費行為的偏好分析》，然而苦于數據量不夠，便寄希望于身邊的朋友以及學校的廣大男性同學，原本以為是一件輕而易舉的事，然而…

由于個人隱私易泄露，數據交易難定價，合作者激勵制度不健全，以及惡意提供無用或者虛假數據等問題，收集真實且有價值的的數據遠比想象中難。

而近兩年來，“聯邦學習”被學術界和工業界經常提及，聯邦學習究竟是什么，為何能解決以上問題，我們從它的前世今生開始慢慢揭開面紗。

▲?人工智能是什么

人工智能是人為制造出來的智能，可以讓機器“智能”地完成一些通常認為只能由人來完成的簡單工作。其研究目的是促使智能機器會“聽”、會“看”、會“說”、會“思考”、會“學習”、會“行動”。

動態 | 新浪財經：官媒針對區塊鏈的報道從科普宣傳轉向打假監管:據新浪財經今日消息，“1025新政”滿月，一個月間，官媒對區塊鏈的態度風向已轉。據11月初的一項統計，七家黨媒在新政一周內發布了65篇直接相關報道，當時文章中的關鍵詞是數據、產業、安全、創新等，大量文章偏向于科普區塊鏈的概念以及應用介紹，提醒警惕虛擬貨幣炒作的僅有3篇。近期，官媒的批評焦點則紛紛指向借區塊鏈之名進行的虛擬貨幣發行和炒作行為。據統計，新華網、人民網收錄轉載的，以打擊虛擬貨幣或揭露假借區塊鏈行騙為主題的文章，自10月25日到11月25日午間，共28篇；其中，11月19日至11月25日的一周內就高達15篇。這些文章主要圍繞三個觀點展開：厘清區塊鏈和虛擬貨幣的關系，說明二者概念不等；打擊偽“區塊鏈”騙局，或是虛擬貨幣騙局揭露；提醒民眾，區塊鏈不能成為炒作的噱頭，更不是行騙的招牌，需警惕此類活動，理性投資。[2019/11/26]

自1956年人工智能的概念被提出至今，有了飛速的發展。從早期的電子游戲AI等，到現階段的智能家居、圍棋新星阿爾法狗等，到未來的無人駕駛工具以及毀天滅地的終結者都是人工智能應用的產物。

動態 | 人民日報官方微博科普區塊鏈 強調區塊鏈不等于比特幣:人民日報官方微博今早發表9圖科普區塊鏈。其中涉及區塊鏈的特點有：1、安全；2、不可篡改；3、可訪問；4、無第三方。區塊鏈對未來的影響：1、不需繁瑣個人證明；2、看病避免反復檢查；3、旅行消費更加便捷；4、交易無需第三方。同時強調，區塊鏈不等于比特幣。比特幣只是區塊鏈技術的一種應用，區塊鏈還有醫療衛生、食品安全、版權保護等諸多應用領域。[2019/10/28]

人工智能已經改變了我們的生活，從遙不可及的實驗室科技轉變成為我們身邊隨處可見的工具，甚至改變世界的重要伙伴。人工智能中的“學習”能力是人工智能發展的核心，方法也層出不窮，機器學習、深度學習、強化學習……可以統稱為機器學習。發展至今，我們也逐漸發現了制約機器學習和人工智能進一步發展的瓶頸。

▲?機器學習的瓶頸

1.算法瓶頸

目前的機器學習存在著魯棒性較差以及算法的不可解釋性兩大問題。

動態 | 美國演說家Anthony Robbins開始科普什么是比特幣:美國演說家安東尼·羅賓（Anthony Robbins）在自己的網站上發布了一篇比特幣的科普文章，并在推特上向自己的粉絲介紹什么是比特幣，目前他的推特賬戶共有粉絲304萬人。[2019/1/1]

雖然人工智能領域依靠深度學習在圖像識別上取得了巨大的突破，然而在加入“噪聲”后將圖片內容完全識別錯誤的“人工智障”行為依舊屢見不鮮；其次，在引入神經網絡的機器學習中，“黑盒子”狀態的算法雖然提升了算法的效果，但因缺乏嚴格的數學理論證明以及算法的解釋性，從而一直為學業界的人士所詬病。

2.數據瓶頸

2.1?數據需求量大

計算能力和計算成本是首當其沖需解決的問題，而一個好的機器學習算法背后，是大量數據多輪次的重復性計算的結果，需要大量算力成本。

2.2?數據供給稀缺

云計算、AI技術發展至今，我們發現制約AI應用落地的是沒有足夠的數據支撐算法的訓練和驗證。巧婦難為無米之炊，缺少數據的機器學習算法猶如空油的F1賽車，無法施展它最強的性能。

聲音 | 中科院姚建銓：要加快推進區塊鏈與物聯網融合的科普 培訓:據新華網消息，日前，在區塊鏈與物聯網融合發展峰會上，中國科學院院士姚建銓說，關注區塊鏈技術里面的大數據，跟區塊鏈技術結合起來進行測量和檢測，能更好地提升激光清洗技術。姚建銓建議，無錫今后要加快推進區塊鏈與物聯網融合的科普、培訓，正確引導廣大人民群眾對技術的認知；同時，建立專業、權威，但又普適、成套的理論體系和標準，以此切入區塊鏈的實際應用。[2018/9/18]

聯邦學習的前世今生

▲?數據隱私問題

數據是機器學習的原油，伴隨機器學習的興起和大數據的浪潮，數據的收集成為業內的產業之一。因為產業的暴利和法制的不健全，用戶的信息被大肆的爬取、收集、販賣，導致很長一段時間我們的生活不堪其擾。

APP上的信息爬取，電話與身份信息泄露讓我們總是能接收到各種廣告推銷電話。更有甚者，“裸貸”風波和Facebook用戶信息泄露，讓大眾在信息化時代對于個人信息安全更加謹慎小心。2018年的歐洲隱私和數據保護法案GDPR的出臺雖然一定程度上保障信息隱私安全并規范了數據收集方式，但無形中加劇了優質數據整合的難度，對機器學習與人工智能領域都是一次重大的挑戰。

聲音 | 火星人朋友圈科普RAM:火星人在朋友圈發文稱，“什么是RAM？簡單來說就是EOS這個國家的土地，所有的經濟行為都離不開土地。只要EOS的BP們能投票形成一個穩定的供給預期，并且不改變目前的Bancor算法，那么RAM后續的價格有可能會像北上廣深的房價走勢。房價下跌不行，房價過快上漲也不行，EOS的生態越來越像某國了，真有意思。”[2018/7/6]

▲?聯邦學習的前世

伴隨著以上涉及到的問題，Google公司早在2016年提出聯邦學習的概念，這一概念原本用于解決安卓手機終端用戶在本地更新模型的問題，具體如下：

Step1.?手機下載現有模型；

Step2.?用手機的本地數據來訓練模型；

Step3.?訓練好后，迭代更新，并將更新的額內容加密上傳到云端；?

Step4.?與其它用戶的更新進行整合，作為對共享模型的改進；

Step5.?該過程不斷重復，改進后的共享模型也會不斷地被下載到本地。

值得注意的是，在執行的過程中有兩個特別的點：?

每個設備端在更新己方模型時都是依賴于自己數據的個性化更新；該場景中的共享模型可能不是完整的機器學習模型/神經網絡模型，可能是經過壓縮的模型。▲?聯邦學習的今生

聯邦學習的正式誕生是在2017年，Google的AI?blog中提出的一種分布式機器學習框架，目標是在保證數據隱私安全及合法合規的基礎上，實現多方共同建模，并提升AI模型的效果。當完成訓練后，根據聯邦學習特有的激勵機制，會給予所有的參與方一定的激勵作為共同參與訓練的獎勵。隨后以楊強教授為首的團隊進一步推進聯邦學習框架，直至我們現在所看的樣子。

聯邦學習的分類

▲?聯邦學習的精髓

國際人工智能聯合會主席楊強教授曾經舉過一個聯邦學習的例子：

我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地。

故而，在本地數據不出庫的情況下，通過對中間加密數據的流通與處理來完成多方對共享模型的機器學習訓練，便是聯邦學習的精髓所在。

▲?橫向聯邦學習

橫向聯邦學習是指，在不同數據集之間數據特征重疊較多而用戶重疊較少的情況下，按照用戶維度對數據集進行切分，并取出雙方數據特征相同而用戶不完全相同的那部分數據進行訓練。

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多、用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

▲?縱向聯邦學習

縱向聯邦學習是指，在不同數據集之間用戶重疊較多而數據特征重疊較少的情況下，?按照數據特征維度對數據集進行切分，并取出雙方針對相同用戶而數據特征不完全相同的那部分數據進行訓練。

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

▲?遷移聯邦學習

聯邦遷移學習是指，在多個數據集的用戶與數據特征重疊都較少的情況下，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的情況。

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商場間的聯合。主要適用于以深度神經網絡為基模型的場景

小結

本次帶大家走進“聯邦學習的大門”，簡要介紹了聯邦學習的「前世今生」及「不同分類」，下一篇將會詳細講解「不同分類下的聯邦學習」，敬請期待！

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：區塊鏈人工智能比特幣STE區塊鏈存證人工智能從事什么工作比特幣糖果X ECOSYSTEM

火必APP