機器之心分析師網絡

作者:仵冀穎

*編輯:H4O *

隨着聯邦學習的推廣應用,越來越多的研究人員聚焦於解決聯邦學習框架中的模型攻擊問題。 我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析,重點關注模型攻擊類的魯棒聯邦學習(Robust Federated Learning)。

現代機器學習算法在實際應用場景中可能會受到各種對抗性攻擊,包括數據和模型更新過程中中毒( Data and Model Update Poisoning)、模型規避(Model Evasion)、模型竊取(Model Stealing)和對用戶的私人訓練數據的數據推理性攻擊(Data Inference Attacks)等等。在聯邦學習的應用場景中,訓練數據集被分散在多個客戶端設備(如桌面、手機、IoT 設備)之間,這些設備可能屬於不同的用戶 / 組織。這些用戶 / 組織雖然不想分享他們的本地訓練數據集,但希望共同學習得到一個全局最優的機器學習模型。由於聯邦學習框架的這種分佈式性質,在使用安全聚合協議(Secure Aggregation)的情況下,針對機器學習算法的故障和攻擊的檢測糾正更加困難。

在聯邦學習應用中根據攻擊目標的不同,可以將對抗性攻擊大致分爲兩類,即非定向攻擊(Untargeted Attacks)和定向攻擊(Targeted Attacks)。非定向攻擊的目標是破壞模型,使其無法在主要任務中達到最佳性能。在定向攻擊(通常被稱爲後門攻擊(Backdoor Attacks))中,對手的目標是令模型在主要任務中保持良好的整體性能的同時在某些特定的子任務中表現出較差的性能。例如,在圖像分類中,攻擊者可能希望模型將某些 「綠色汽車」 誤分類爲鳥類,同時確保其能夠正確分類其它汽車。由於非定向攻擊會降低主要任務的整體性能,因此更容易被發現。由於對手的目標往往是事先不知道的,後門定向攻擊則較難檢測。
對於非定向攻擊和定向攻擊,可以根據攻擊者的能力進一步將攻擊分爲兩種類型:模型攻擊(Model Attack)或數據攻擊(Data Attack)。數據攻擊是指攻擊者可以改變所有訓練樣本中的一個子集,而這個子集對模型的學習者來說是未知的。模型攻擊是指被攻擊的客戶端改變本地模型的更新,從而改變全局模型。特別的,當聯邦學習框架中引入了安全聚合協議 (Secure Aggregation,SecAgg) 確保服務器無法檢查每個用戶的更新時,在本地更新的聚合中部署了安全聚合 (SecAgg),模型攻擊就更難對付了。關於安全聚合協議的解釋,感興趣的讀者可閱讀文獻 1
在這篇文章中,我們重點聚焦模型攻擊。在聯邦學習應用框架中,惡意參與者(攻擊者)直接破壞全局模型,因此比數據攻擊的破壞性更大。在下文詳細分析的文獻《How To Backdoor Federated Learning》中提到:聯邦學習中的任何參與者都可以用另一個模型替換全局模型,這導致 (i) 新模型在聯邦學習任務上是同樣準確的,但是 (ii) 攻擊者卻能夠控制模型在攻擊者所選擇的後門子任務上的表現。圖 1 中給出了一種模型攻擊的過程,攻擊者控制聯邦學習框架中的一個或多個參與者 / 客戶端在後門數據上訓練一個模型,將訓練得到的結果模型提交給中央服務器,平均後的聯合模型作爲聯邦學習的最終全局模型。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 1:模型攻擊概覽《How To Backdoor Federated Learning》
隨着聯邦學習的推廣應用,越來越多的研究人員聚焦於解決聯邦學習框架中的模型攻擊問題。我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析,重點關注模型攻擊類的魯棒聯邦學習(Robust Federated Learning)。
1. How To Backdoor Federated Learning

模型攻擊:魯棒性聯邦學習研究的最新進展

論文地址:https://arxiv.org/abs/1807.00459
本文是 Cornell Tech 研究團隊貢獻的一篇文章,首次公開於 2018 年,最新收錄於 AISTATS'20。這篇文章也是幫助理解聯邦學習模型在遭受惡意用戶攻擊前後所出現的變化情況的一篇重要文章。本文研究重點是:如何對聯邦學習框架進行後門攻擊?即,重點描述如何能夠有效攻擊的方法,而不是解決攻擊的方法。本文的研究屬於定向攻擊(Targeted Attacks)和模型攻擊(Model Attack)類別。
1.1 聯邦學習介紹
聯邦學習通過將局部模型迭代聚合成一個聯合全局模型,將深度神經網絡的訓練分佈在 n 個參與者之間。在每一輪 t 迭代過程中,中央服務器隨機選擇 m 個參與者的子集 Sm,並向他們發送當前的聯合模型 G^t。選中的參加者基於存儲於本地客戶端的私人數據訓練得到新的本地模型 L^(t+1)。局部更新算法如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

之後,客戶端將差值 L^(t+1)-G^t 發送給中央服務器,中央服務器根據收到的信息更新計算全局聯合模型:

模型攻擊:魯棒性聯邦學習研究的最新進展

全局學習率η控制每輪更新的聯合模型的比例。
1.2 聯邦學習的攻擊概述
在聯邦學習架構中,各個客戶端基於本地數據單獨訓練局部模型,這就給攻擊者提供了一個脆弱的攻擊面,局部的訓練過程很有可能遭到攻擊、破壞。特別是在數千個客戶端的情況下,準確找出攻擊者幾乎是不可能的。此外,現有的聯邦學習框架無法判斷局部學習模型的正確性,客戶端可以隨意提交惡意模型,例如包含後門功能的模型。人們很難區分被後門攻擊的模型和基於局部數據訓練得到的真實模型。
1.2.1 攻擊模型
攻擊者。攻擊模型中的攻擊者不控制用於將參與者的更新組合到聯合模型中的聚合算法,也不控制合法參與者訓練的任何方面。本文假設攻擊者通過將聯合學習規定的訓練算法正確地應用到他們的本地數據中來創建他們的本地模型。這種設置與傳統的數據攻擊的主要區別在於,數據攻擊假定攻擊者控制了相當一部分訓練數據。相比之下,在模型攻擊的聯邦學習中,攻擊者控制了整個訓練過程,但只控制了一個或幾個參與者。
攻擊目標。攻擊者希望通過聯邦學習得到一個聯合模型,該模型在其主任務和攻擊者選擇的後門子任務上都能實現高準確度,並且在攻擊後的多輪攻擊後,在後門子任務上保持高準確度。相比之下,傳統的數據攻擊旨在改變模型在大面積輸入空間上的性能,而拜占庭攻擊則旨在阻止全局(聯合)模型收斂。一個安全漏洞即使不能每次都被利用,而且在被利用後一段時間內打上補丁,也是危險的。同樣的道理,模型攻擊有時會引入後門(即使有時會失敗),只要模型至少在單輪中表現出高的後門準確率,那麼模型攻擊就是成功的。而在實際操作中,攻擊的表現要好得多,後門一般都能夠停留多輪。
語義後門(Semantic backdoors)。本文重點關注了語義後門。攻擊者可自由選擇 要麼是物理場景中自然產生的特徵(例如,某種汽車的顏色),要麼是沒有攻擊者的情況下不可能出現的特徵 (例如,只有攻擊者纔有的特殊帽子或眼鏡)。因此,攻擊者可以選擇後門是否由特定的、沒有攻擊者參與的場景下觸發,或僅通過攻擊者物理上修改的場景來出發。這兩種類型的語義後門都能夠造成模型基於未經修改的數字輸入產生攻擊者選擇的輸出。另一類後門攻擊問題稱爲像素模式(pixel-pattern)。像素模式後門要求攻擊者在測試時以特殊方式修改數字圖像的像素,以便模型對修改後的圖像進行錯誤分類。在一些應用場景下,這些後門攻擊導致的問題比針對全局模型直接對抗式破壞的方式更加嚴重。
後門與對抗樣本。對抗性轉換利用模型對不同類的表示方式之間的界限,來產生被模型錯誤分類的輸入。相比之下,後門攻擊則故意改變這些邊界,使某些輸入被錯誤分類。像素模式後門攻擊嚴格來說比對抗性轉換要弱:攻擊者必須在訓練時對模型攻擊,而在測試時修改輸入。如果規模化部署聯邦學習模型,語義後門可能比對抗性轉換更危險。
1.2.2 構造攻擊模型
基線攻擊。攻擊者只在後門輸入上訓練其模型。解決這一問題的最簡單的辦法就是在每個訓練批次中儘量包括正確標記的輸入和後門輸入的混合,以幫助模型學習識別二者的差異。這種簡單的基線攻擊在實際應用中效果很差,中央服務器的聚合操作抵消了後門模型的大部分貢獻,這造成全局模型很快就忘記了後門攻擊的存在。必須要在模型的更新過程中不斷地重新選擇攻擊者,即便如此,最終的攻擊效果仍然不理想。
模型替換攻擊。首先,作者對本文描述的攻擊進行數學分析,攻擊者試圖用惡意的全局模型 X 代替新的全局模型 G^(t+1):

模型攻擊:魯棒性聯邦學習研究的最新進展

考慮到本地客戶端中數據與全局數據的非獨立同分布問題(Non-IID),每個本地模型可能遠離目前的全局模型。當全局模型收斂時,這些偏差開始抵消。因此,攻擊者按照下式處理擬提交的模型:

模型攻擊:魯棒性聯邦學習研究的最新進展

這種攻擊將後門模型 X 的權重縮放爲γ=n/η,以確保後門在平均化中能夠存活,最終導致全局模型被 X 取代。一個不知道 n 和η的攻擊者,可以通過每輪迭代增加並測量模型在後門任務上的準確度,來近似縮放係數γ。在一些聯邦學習框架中,參與者會對模型權重應用隨機掩碼。攻擊者既可以跳過這一步,直接發送整個模型,也可以應用一個掩碼,只刪除接近於零的權重。上述模型替換操作確保了攻擊者的貢獻能夠存活下來,並被轉移到全局模型中。這是一種單次性(single-shot attack)的攻擊:全局模型在後門任務上表現出了高準確度,而後門任務被殺死後,全局模型立即表現出高準確度。
1.2.3 改善持久性並規避異常檢測
由於攻擊者可能只被選擇進行單輪訓練,因此攻擊者希望的是後門在替換模型後儘可能多地保留在模型中——防止後門被全局模型遺忘。本文提出的攻擊實際上是一種雙任務學習,即全局模型在正常訓練時學習主任務,而後門任務只在攻擊者被選中的回合中學習主任務。該雙任務學習的目標是在攻擊者的回合後仍然保持這兩個任務學習的高準確率。
在最新提出的聯邦學習框架中建議使用安全聚合協議。該協議可以阻止中央服務器中的聚合器檢查參與者提交的模型。有了安全聚合,就無法檢測到聚合中是否包含了惡意模型,也無法檢測到誰提交了這個模型。如果沒有安全聚合,聚合參與者模型的中央服務器可能會試圖過濾掉 「異常」 貢獻。由於攻擊者創建的模型權重被顯著地放大,這樣的模型很容易被檢測和過濾掉。然而,聯邦學習的主要動機是利用參與者的多樣性,即使用分佈在各個客戶端中的非獨立同分布(Non-IID)的訓練數據,包括不正常或低質量的本地數據,如智能手機照片或短信歷史記錄等。因此,中央服務器的聚合器應該接受,即便是準確度較低或者與當前全局模型有明顯偏離的局部模型。
本文作者給出了名爲「限制—縮放」(「constrain-and-scale」)的通用方法,使攻擊者能夠產生一個在主任務和後門任務上都有很高的準確度、但又不被中央服務器異常檢測器拒絕的模型。論文通過使用一個目標函數將規避異常檢測的行爲納入訓練中,該目標函數:(1)對模型的準確性進行獎勵,(2)對偏離中央服務器的聚合器認爲 「正常」 的模型進行懲罰。完整算法如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

通過添加異常檢測項 L_ano 來修改目標(損失)函數:

模型攻擊:魯棒性聯邦學習研究的最新進展

攻擊者的訓練數據同時包括正常輸入和後門輸入,因此 L_class 能夠同時兼顧主要任務和後門任務的準確性。L_ano 可以是任何類型的異常檢測,例如權重矩陣之間的 p 範數距離或更高級的權重可塑性懲罰。超參數α控制迴避異常檢測的重要程度。
訓練並縮放處理(training-and-scale):對於只考慮模型權重大小的異常檢測器 (例如,歐氏距離),可以用較簡單的技術來規避。攻擊者訓練後門模型直至收斂,然後將模型的權重進行縮放,使之達到異常檢測器所允許的邊界 S。縮放比例爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

對付簡單的基於權重的異常檢測器,訓練並縮放(training-and-scale)的效果比約束並縮放(constrained-and-scale)更好,因爲無約束訓練增加了對後門精度影響最大的權重,從而使訓練後的縮放變得不那麼重要。對付更復雜的防禦措施,約束和比例訓練會帶來更高的後門準確度。
1.3 實驗分析
作者使用圖像分類和單詞預測任務驗證後門攻擊的效果。實驗中,將經典的數據中毒(直接針對數據攻擊)的方法作爲基線對比方法。在圖像分類任務中,作者使用的是 CIFAR-10 數據庫,並訓練了一個具有 100 名參與者的全局模型,其中每輪隨機選擇 10 名參與者,使用具有 270 萬個參數的輕量級 ResNet18 CNN 模型。爲了模擬 Non-IID 訓練數據併爲每個參與者提供不平衡樣本,使用 Dirichlet 分佈和超參數 0.9 劃分了 50,000 個訓練圖像。輪訓中選擇的每個參與者進行 2 個局部時期的學習,學習速率爲 0.1。實驗中選擇了三個功能作爲後門:綠色汽車(CIFAR 數據集中的 30 個圖像),具有賽車條紋的汽車(21 個圖像)和背景中具有垂直條紋的牆壁的汽車(12 個圖像),如圖 2(a)。在訓練攻擊者的模型時,在每個訓練批次中將後門圖像與正常圖像混合(每批大小爲 64 的情況下 c=20 個後門圖像)。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 2:語義後門示例。(a):圖像的語義後門(具有某些屬性的汽車被歸類爲鳥類);(b):單詞預測後門(觸發語句以攻擊者選擇的目標單詞結尾)
字詞預測是非常適合聯邦學習的任務,因爲訓練數據(例如,用戶在手機上鍵入的內容)無法進行集中式收集。它也是 NLP 任務(例如問題解答,翻譯和摘要)的代理。使用 PyTorch 單詞預測示例代碼,該模型是一個 2 層 LSTM,具有 1000 萬個參數,該參數在公開 Reddit 數據集中隨機選擇的一個月(2017 年 11 月)上進行了訓練。假設每個 Reddit 用戶都是聯邦學習的獨立參與者,並且要確保每個用戶有足夠的數據,篩選出少於 150 個或 500 個以上帖子的用戶,總共 83,293 名參與者,平均每個人擁有 247 個帖子。將每個帖子視爲訓練數據中的一句話,將單詞限制爲數據集中 50K 個最常用單詞的字典,每輪隨機選擇 100 名參與者。攻擊者希望模型在用戶鍵入特定句子的開頭時預測攻擊者選擇的單詞,如圖 2(b)。圖 3 給出了單詞預測後門的修正損失。其中,圖 3 (a)爲標準單詞預測:在每個輸出上計算損失;圖 3 (b)後門單詞預測:攻擊者用觸發語句和選擇的最後一個單詞替換輸入序列的後綴。損失僅在最後一個單詞上計算。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 3:單詞預測後門的修正損失
圖 4 給出了圖像分類和單詞預測任務的後門攻擊準確度結果。圖 4 (a)和 4 (c)顯示了單發攻擊的結果,其中在攻擊之前的 5 個回合和之後的 95 個回合中,在一個回合中選擇了一個由攻擊者控制的參與者。攻擊者提交他的更新後,後門任務上全局模型的準確度立即達到近 100%,然後逐漸降低。圖 4 (b)和 4 (d)給出了重複攻擊情況下的平均成功率。本文提出的攻擊方法比基線的數據中毒方法獲得更高的準確度。對於 CIFAR (圖 4 (b)),控制 1%參與者的攻擊者與控制 20%數據中毒的攻擊者具有相同的(高)後門準確性。對於單詞預測(圖 4 (d)),控制 0.01%的參與者能夠達到 50%的平均後門準確性(單詞預測的最大準確性通常爲 20%)。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 4:後門準確度,a + b:帶有語義後門的 CIFAR 分類;c + d:帶有語義後門的單詞預測。a + c:單發攻擊;b + d:反覆攻擊
1.4 文章小結
本文確定並評估了聯邦學習中的一個漏洞:通過模型平均,聯邦學習使得成千上萬的參與者能夠對最終學習的全局模型的權重產生直接影響,其中有些參與者不可避免地是惡意的。這使得惡意參與者能夠將後門子任務引入聯邦學習中。本文提出了一種新的模型攻擊方法 --- 模型替換方法,該方法利用了聯邦學習的這一漏洞,作者在標準的聯邦學習任務上證明了其有效性,包括圖像分類和單詞預測。此外,現代深度學習模型都具有強大的學習功能。因此,傳統的通過衡量模型質量來判斷是否存在後門攻擊的方法不再適用。深度模型不強調對主要任務的瞭解和適合,其強大的學習容量可以引入隱蔽的後門,而不會嚴重影響模型的準確性。
聯邦學習不僅僅是標準機器學習的分佈式版本。它是一個分佈式系統,因此必須對任何行爲不當的參與者都具有較強的魯棒性。當參與者的訓練數據不是獨立同分布時,現有的用於拜占庭容忍的分佈式學習技術都不再適用。如何設計強大的聯邦學習系統或架構是未來研究的重要課題。
2. Can You Really Backdoor Federated Learning?

模型攻擊:魯棒性聯邦學習研究的最新進展

論文地址:https://arxiv.org/abs/1911.07963
本文是 Google 的一篇關於聯邦學習後門攻擊問題的文章,其中第一作者來自於 Cornell 大學。文章發表於 NeurIPS 2019。本文重點討論聯邦學習中的後門攻擊,目的是降低模型在目標子任務上的性能,同時在聯邦學習的主要任務上保持良好的性能。本文的研究也屬於定向攻擊(Targeted Attacks)和模型攻擊(Model Attack)類別。與上一篇文章所討論的問題不同的是,本文的方法允許非惡意的客戶端在目標任務中正確標註樣本。
2.1 方法簡介
2.1.1 後門攻擊
令 K 爲聯邦學習網絡中的客戶端總數。在每個更新回合回合 t,中央服務器隨機選擇 C⋅K 個客戶端,C <1。令 S_t 爲該客戶端集合,n_k 爲客戶端 k 中的樣本數,用 w_t 表示第 t 輪時的模型參數。每個被中央服務器選定的客戶端都會計算模型更新,用Δ(w_t)^k 表示,中央服務器彙總各個客戶端的Δ(w_t)^k:

模型攻擊:魯棒性聯邦學習研究的最新進展

其中,η是中央服務器的學習率。
對手採樣。如果客戶端的比例ε完全被泄露,那麼每一輪可能包含 0 到 min(ε ⋅K, C ⋅K) 之間的任何對手。在對客戶端進行隨機抽樣的情況下,每輪中的對手數量遵循超幾何分佈。作者將此攻擊模型稱爲隨機抽樣攻擊(random sampling attack)。作者在本文中考慮的另一個模型是固定頻率攻擊(fixed frequency attack),即每 f 輪中就會出現一個對手。爲了公平的比較這兩種攻擊模型,作者將頻率設置爲與攻擊者總數成反比(即 f = 1 /(ε ⋅C⋅K))。
後門任務。在後門任務中,對手的目標是確保模型在某些目標任務上失敗,此外,允許非惡意客戶從目標後門任務中正確標記樣本。作者在本文中通過對來自多個選定的 「目標客戶」 的示例進行分組來形成後門任務。由於來自不同目標客戶端的示例遵循不同的分佈,因此將目標客戶端的數量稱爲「後門任務數量」,並探討其對攻擊成功率的影響。直觀地講,擁有的後門任務越多,攻擊者試圖破壞的特徵空間就越大,因此,攻擊者在不破壞模型在主要任務上的性能的情況下成功地對其後門進行攻擊的難度就越大。
2.1.2 模型更新中毒攻擊

如果在第 t 輪中僅選擇了一個攻擊者(假定它是客戶端 1),則攻擊者嘗試通過發送後門模型 w* 來替換整個模型:

模型攻擊:魯棒性聯邦學習研究的最新進展

其中,β是提升係數。則有:

模型攻擊:魯棒性聯邦學習研究的最新進展

如果假設模型已經充分收斂,那麼它將在 w* 的一個小鄰域內,此時其他更新∆(w_t)^k 的值也很小。爲了得到 w* 的後門模型,假設攻擊者擁有描述後門任務的集合 D_mal。同時,還假設攻擊者具有一組從真實分佈 D_trn 生成的訓練樣本。不過,在真實應用場景中,攻擊者很難獲得這樣的數據。
在無約束的加速後門攻擊場景下,對手在沒有任何約束的情況下根據 w_t,D_mal 和 D_trn 訓練得到了模型 w*。常用的訓練策略是用 w_t 初始化 D_trn∪D_mal 訓練模型。
在範數約束後門攻擊的應用場景下,每回合,模型在模型更新小於 M /β的約束下進行後門任務訓練。因此,模型更新在以因子β增強後,其範數爲 M。這可以通過使用多輪預測的梯度下降訓練模型來實現,在每一輪中,使用無約束的訓練策略訓練模型,然後將其投影回 w_t 大小爲 M /β周圍的 L2 球面中。
2.1.3 防禦方法
範數閾值更新(Norm thresholding of updates)。由於增強型攻擊可能會產生具有較大範數的更新,因此合理的防禦措施是讓中央服務器簡單地忽略範數超過某個閾值 M 的更新;在更復雜的方案中,甚至可以以隨機方式選擇 M。假定對手知道閾值 M,因此它可以始終返回此閾值範圍內的惡意更新。假定對手確實已知閾值,此時範數約束防禦如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

此模型更新可確保每個模型更新的範數較小,因此對中央服務器的影響較小。
(弱)差異性隱私((Weak) differential privacy)。防禦後門任務的一種數學嚴格方法是訓練具有差分隱私的模型,具體的可以通過裁減更新、附加高斯噪聲來實現。對於攻擊任務來說,一般爲獲得合理的差別隱私而增加的噪聲量相對較大。由於本小節討論的目標不是隱私,而是防止攻擊,因此只添加少量的噪聲,這些噪聲在經驗上足以限制攻擊的成功。
2.2 實驗分析
本文在 EMNIST 數據庫中完成後門攻擊實驗。該數據庫是從 3383 位用戶收集的帶有註釋的手寫數字分類數據庫,其中,每位用戶大約有 100 張數字圖像。他們每個人都有自己獨特的寫作風格。使用 TensorFlow Federated 框架中的聯合學習來訓練具有兩個卷積層、一個最大池化層和兩個密集層的五層卷積神經網絡。每輪訓練選擇 C⋅K = 30 個客戶。在實驗中,將後門任務視爲從多個選定的 「目標客戶」 中選取 7s 作爲 1s 進行分類。
首先,針對兩種攻擊模型進行實驗,結果見圖 1 (無約束的加速後門)和圖 2 (範數約束後門攻擊)。這些圖表明,儘管固定頻率攻擊比隨機採樣攻擊更有效,但兩種攻擊模型都有相似的行爲。此外,在固定頻率攻擊中,更容易查看攻擊是否發生在特定回合中。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 1:針對攻擊者不同比例的固定頻率攻擊(左列)和隨機採樣攻擊(右列)的無限制攻擊,其中,綠線是後門準確度的累積平均值

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 2:對於攻擊者所佔比例不同的固定頻率攻擊(左列)和隨機採樣攻擊(右列),範數爲 10 的範數約束攻擊,其中,綠線是後門準確度的累積平均值

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 3:範數邊界和高斯噪聲的影響。點:主要任務;實線:後門任務
在圖 3 (a)中,考慮了每個用戶的範數閾值更新。假設每一輪出現一名攻擊者,對應於ε = 3.3%的被破壞的客戶端,範數邊界爲 3、5 和 10 (大多數回合中 90%的正常客戶端的更新低於 2),這意味着在提升之前更新的範數閾值爲 0.1、0.17、0.33。從圖中可以看出,選擇 3 作爲範數閾值能夠成功緩解攻擊,而對主要任務的性能幾乎沒有影響。因此,作者認爲,範數閾值可能是當前後門攻擊的有效防禦措施。在圖 4 (b)的實驗中,作者在範數閾值中加上了高斯噪聲。從圖中可以看出,添加高斯噪聲還可以幫助減輕攻擊,而不會超出常規限幅,且不會嚴重損害整體性能。
2.3 文章小結
本文證明了在沒有任何防禦的情況下,對手的表現在很大程度上取決於在場的對手所佔的比例。因此,要想攻擊成功,就需要有大量的對手存在。
在範數約束的情況下,多次迭代的 「預增強的」 映射梯度下降並不是有效的單輪攻擊防禦手段。事實上,對手可能會嘗試直接製作滿足範數約束的 「最壞情況」 的模型更新。此外,如果攻擊者知道他們可以在多輪攻擊中進行攻擊,那麼在範數約束下可能會存在更好的防禦策略值得進一步研究。可能影響後門攻擊性能的另一個因素是模型容量,特別是猜測後門攻擊會利用深度網絡的備用容量。模型能力如何與後門攻擊相互作用是一個有趣的問題,需要進一步從理論和實踐角度來考慮。
3. Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

模型攻擊:魯棒性聯邦學習研究的最新進展

論文地址:https://arxiv.org/abs/1911.11815
本文是 Duke 大學 Gong Zhenqiang 教授組的一篇文章,發表在 USENIX Security Symposium 2020,重點討論如何在拜占庭魯棒的聯邦學習方法中製造有效的模型攻擊。該研究的具體內容屬於模型攻擊(Model Attack)類問題。經典的聯邦學習數據中毒攻擊(Data Poisoning Attacks)主要是通過攻擊者破壞受其控制的客戶端中的局部 / 本地數據來實現的。這種攻擊對於拜占庭魯棒的聯邦學習是無效的。本文是首次針對具有拜占庭魯棒性的聯邦學習進行的局部模型中毒攻擊(Local Model Poisoning Attacks)研究,其目標是在訓練階段破壞學習過程的完整性,如圖 1 所示。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 1:數據中毒攻擊和局部模型中毒攻擊的區別圖示
假設攻擊者入侵了一些客戶端設備,在學習過程中,攻擊者在這些被入侵的設備上控制並更改本地模型參數,從而提高了全局模型的測試誤差率。本文將所提出的攻擊方法應用到了最新的四種拜占庭魯棒的聯邦學習方法中,這些方法應用了包括 Krum ,Bulyan,修整均值和中位數的聚合規則。這四種方法都聲稱對拜占庭攻擊具有魯棒性,而本文的分析和實驗數據表明,使用本文所提出的攻擊方法能夠大幅提高這四種方法學習到的全局模型的錯誤率。
能夠成功實現局部模型中毒攻擊的關鍵是要將已中毒、被破壞的工作節點設備的局部模型發送到主設備。爲了解決這一問題,作者將局部模型的建立視爲解決聯邦學習的每一次迭代中的優化問題。具體來說,如果不存在攻擊,則主設備可以在迭代中計算得到全局模型,將這一模型稱爲「攻擊前全局模型」。而當存在本文所提出的攻擊時,該攻擊方法會在受影響的工作節點設備上建立局部模型,使全局模型在與攻擊前全局模型變化方向的反方向上具有最大偏差。作者認爲,在多次迭代中積累的偏差會使學習到的全局模型與攻擊前的模型有明顯的差異,從而實現有效攻擊。
最後,本文還討論瞭如何針對該攻擊進行有效防禦。作者對兩種經典的針對數據中毒攻擊的防禦方法進行了歸納,以防禦本文提出的局部模型中毒攻擊。實驗結果表明,在某些情況下,其中一種防禦方法可以有效地防禦本文的攻擊,但在其他情況下,這兩種防禦方法都是無效的。
本文所提出的攻擊方法的目標是在受影響的工作節點設備上建立局部模型,使全局模型在與攻擊前全局模型變化方向的反方向上具有最大偏差。作者認爲,在多次迭代中積累的偏差會使學習到的全局模型與攻擊前的模型有明顯的差異。最後,本文還討論瞭如何針對該攻擊進行有效防禦。作者對兩種經典的針對數據中毒攻擊的防禦方法進行了歸納,以防禦本文提出的局部模型中毒攻擊。實驗結果表明,在某些情況下,其中一種防禦方法可以有效地防禦本文的攻擊,但在其他情況下,這兩種防禦方法都是無效的。
3.1 拜占庭魯棒的聯邦學習
聯邦學習架構主要包括三個工作流程:主設備(中央服務器)將當前的全局模型發送給工作節點設備(各個客戶端);工作節點設備利用本地訓練數據集和全局模型更新本地模型,並將本地模型發送給主設備;主設備根據一定的聚合規則,通過聚合本地模型計算出新的全局模型。例如,以局部模型參數的平均值作爲全局模型的均值聚合規則(Mean Aggregation Rule),在非對抗性設置下被廣泛使用。但是,即使只破壞了一個工作器設備,也可以任意操縱全局模型的均值。因此,機器學習社區最近提出了多個聚合規則(例如,Krum ,Bulyan,修整均值和中位數),目的是針對某些特定的工作節點設備的拜占庭式故障提供魯棒性。
3.2 聚合規則介紹
Krum 和 Bulyan。Krum 在 m 個局部模型中選擇一個與其他模型相似的模型作爲全局模型。Krum 的想法是即使所選擇的局部模型來自受破壞的工作節點設備,其能夠產生的影響也會受到限制,因爲它與其他可能的正常工作節點設備的局部模型相似。Bulyan 本質上是 Krum 和修整均值的變體結合。Bulyan 首先迭代應用 Krum 來選擇θ(θ≤m-2c)局部模型。然後,Bulyan 使用修整均值的變體彙總θ個局部模型。Bulyan 在每次迭代中多次執行 Krum,並且 Krum 計算局部模型之間的成對距離,因此,Bulyan 是不可擴展的。本文中重點介紹 Krum。
修整均值(Trimmed mean)。該聚集規則獨立地聚集每個模型參數。具體地,對於每個第 j 個模型參數,主設備對 m 個局部模型的第 j 個參數進行排序。刪除其中最大和最小的β個參數,計算其餘 m-2β個參數的平均值作爲全局模型的第 j 個參數。
中位數(Median)。在中位數聚合規則中,對於第 j 個模型參數,主設備都會對 m 個局部模型的第 j 個參數進行排序,並將中位數作爲全局模型的第 j 個參數。當 m 爲偶數時,中位數是中間兩個參數的均值。與修整均值聚集規則一樣,當目標函數爲強凸時,中位數聚集規則也能達到階優誤差率。
3.3 攻擊方法介紹
背景:假設攻擊者控制了 c 工作節點設備。攻擊者的目標是操縱學習到的全局模型,以使其在測試示例時不加選擇地都具有較高的錯誤率,即非定向攻擊(Untargeted Attacks),它使學習的模型不可用,並最終導致拒絕服務攻擊。
上面討論的拜占庭魯棒聚集規則可以在目標函數的某些假設下,漸近地限制學習的全局模型的錯誤率,並且其中一些(即修整後的均值和中位數)甚至可以實現階數最優的錯誤率。這些理論上的保證似乎強調了操縱錯誤率的困難。但是,漸近保證不能準確地表徵學習模型的實際性能。儘管這些漸近錯誤率對於局部模型中毒攻擊仍然有效,因爲它們對於拜占庭式失敗也有效,在實踐中,本文提出的攻擊仍可以顯着提高學習模型的測試錯誤率。攻擊者能夠掌握被破壞的工作節點設備上的代碼、本地局部訓練數據集和局部模型、聚合規則等。
優化問題:攻擊者的目標(本文稱其爲有向偏離目標)是使全局模型參數最大程度地偏離全局模型參數在沒有攻擊的情況下沿其變化的方向的反方向。假設在迭代中,w_i 是使用第 i 個工作節點設備計劃在沒有攻擊時發送給主設備的局部模型。假定前 c 個工作節點設備受到了破壞。有向偏差目標是通過在每次迭代中解決以下優化問題,爲受損的工作節點設備製作局部模型:

模型攻擊:魯棒性聯邦學習研究的最新進展

其中 s 是所有全局模型參數變化方向的列向量,w 是攻擊前全局模型,w’是攻擊後全局模型。
攻擊 Krum:假定 w 爲沒有攻擊情況下的選定的局部工作節點設備。目標是製作 c 個折衷的局部模型,以使 Krum 選擇的局部模型與 w 的最大有向偏差。因此,目標是解決公式(1)中 w’ = w’_1 的優化問題,並且聚合規則爲 Krum。
在掌握全面知識的情況下,解決優化問題的關鍵挑戰是優化問題的約束是高度非線性的,並且局部模型的搜索空間非常大。作者提出下面兩個假設。首先,將 w’_1 限制如下:w’_1=w_Re-λs,其中 w_Re 是當前迭代中從主設備接收的全局模型(即上一次迭代中獲得的全局模型),並且λ> 0。其次,爲使 w_1 更有可能被 Krum 選擇,將其他 c-1 折衷的局部模型設計爲接近 w’_1。基於這兩個假設,將優化問題轉換如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

在掌握部分知識的情況下,攻擊者不知道正常工作節點設備上的局部模型,也就無法掌握方向 s 的變化,也無法解決優化問題。但是,攻擊者可以訪問受到攻擊的 c 個設備上的攻擊前局部模型。因此,需要根據這些攻擊前的局部模型來設計折衷的局部模型。首先,計算 c 個攻擊前局部模型的均值。其次,使用平均局部模型估算變化方向。第三,將受攻擊的工作節點設備上的攻擊前局部模型視爲是正常工作節點設備上的局部模型,目標是在生成的局部模型和 c 攻擊前局部模型中找到局部模型 w’_1。此時,優化問題如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

修整均值攻擊:假設 w_i 在第 i 個工作節點設備上是第 j 個攻擊前局部模型參數,而在當前迭代中是第 j 個攻擊前全局模型參數。
在掌握全局知識的情況下,從理論上講,可以證明以下攻擊可以使全局模型的有向偏差最大化。本文的攻擊會根據最大或最小正常局部模型參數來設計折衷的局部模型,具體取決於哪個參數會使全局模型朝着沒有攻擊的情況下更改全局模型的方向的反方向偏離。採樣的 c 數目應接近 w_(max,j) 或 w_(min,j),以避免離羣和易於檢測。在實施攻擊時,如果 s_j = -1,那麼將在間隔 [w_(max,j) ,b·w_(max,j) ] 中隨機採樣 c 個數字,否則,將以 [w_(min,j)/ b, w_(min,j)] 間隔對 c 個數字進行隨機採樣。
在掌握部分知識的情況下,攻擊者面臨兩個挑戰。首先,攻擊者不知道變化的方向變量,因爲不知道正常工作節點設備上的局部模型。其次,出於相同的原因,攻擊者不知道最初的正常局部模型的最大 w_(max,j),最小 w_(min,j)。爲了解決第一個挑戰,使用受破壞的工作節點設備上的局部模型來估算變化方向的變量。解決第二個挑戰的一種簡單策略是使用非常大的 w_(max,j),或使用非常小的 w_(min,j)。如果基於 w_(max,j)、w_(min,j) 來設計折衷的局部模型,而這些模型與真實值相差甚遠,那麼生成的局部模型可能會是異常值,並且主設備可能會容易地檢測到折衷的局部模型。
中位數攻擊:採用與修整均值攻擊同樣的攻擊策略來進行中值攻擊。例如,在完全知識方案中,如果 s_j=-1,隨機抽取區間 [w_(max,j) ,b·w_(max,j)] 或 [w_(max,j) ,w_(max,j)/b] 中的 c 數;否則隨機抽取區間 [w_(min,j)/ b, w_(min,j)] 或 [b·w_(min,j), w_(min,j)] 中的 c 數。
3.4 實驗分析
本文在四個數據庫中進行實驗:MNIST,FashionMNIST,CH-MNIST 和 Breast Cancer Wisconsin (診斷)數據庫。MNIST 和 Fashion-MNIST 分別包含 60,000 個訓練示例和 10,000 個測試示例,其中每個示例都是 28×28 灰度圖像。這兩個數據集都是 10 類分類問題。CH-MNIST 數據庫包含來自結腸直腸癌患者的 5000 張組織切片圖像。數據庫是一個 8 類分類問題。每個圖像具有 64×64 灰度像素。我們隨機選擇 4000 張圖像作爲訓練示例,其餘 1000 張作爲測試示例。Breast Cancer Wisconsin (診斷)數據庫是診斷人是否患有乳腺癌的二元分類問題。該數據集包含 569 個示例,每個示例都有 30 個描述一個人細胞核特徵的特徵。隨機選擇 455 個(80%)示例作爲訓練示例,並使用其餘 114 個示例作爲測試示例。
聯邦學習架構中考慮的分類方法包括:多類邏輯迴歸(Multi-class logistic regression,LR)、深度神經網絡(Deep neural networks ,DNN)。本文采用的攻擊對比基線方法包括:高斯攻擊(Gaussian attack)、標籤翻轉攻擊(Label flipping attack)、基於反向梯度優化的攻擊(Back-gradient optimization based attack)、全部知識攻擊或部分知識攻擊(Full knowledge attack or partial knowledge attack)。
A 已知聚合規則的結果

模型攻擊:魯棒性聯邦學習研究的最新進展

表 1:測試各種攻擊的錯誤率 _
_表 1 顯示了在四個數據庫上進行比較的攻擊的測試錯誤率。首先,這些結果表明我們的攻擊是有效的,並且大大優於現有的攻擊。其次,除了在 Breast Cancer Wisconsin (診斷)數據庫上,Krum 與中位數攻擊的效果相當之外,Krum 對本文的攻擊的魯棒性不如均值和中位數高。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 2:測試 MNIST 數據庫中不同攻擊的錯誤率,(a)-(c):LR 分類器,(d)-(f):DNN 分類器
圖 2 給出了隨着 MNIST 上受到破壞的工作節點設備的百分比增加,不同攻擊的錯誤率。隨着受到破壞的工作節點設備數量的增加,本文的攻擊會大大提高錯誤率。作爲基線對比的標籤翻轉攻擊只會稍微增加錯誤率,而高斯攻擊則對錯誤率沒有產生明顯的影響。圖 2 的實驗中有兩個例外是,當被破壞的工作人員設備的百分比從圖 2a 中的 5%增加到 10%,以及,從圖 2d 中的 10%增加到 15%時,Krum 的錯誤率降低。作者分析,這可能是因爲 Krum 每次迭代都會選擇一個局部模型作爲全局模型。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 3:提高 MNIST 上數據的非 IID 程度,不同攻擊的錯誤率變化
圖 3 給出了針對 MNIST 上不同程度的非 IID 數據進行的攻擊的錯誤率變化情況。包括無攻擊在內的所有攻擊的錯誤率都隨着非 IID 程度的提升而增加,只有針對 Krum 的攻擊的錯誤率會隨着非 IID 的程度而波動。可能的原因是,由於不同工作節點設備上的局部訓練數據集的非 IID 情況越來越嚴重,局部模型呈現更加多樣化的分佈狀態,從而爲攻擊留下了更多空間。
B 未知聚合規則的結果
針對未知聚合規則,作者基於某一個聚合規則構建局部模型,之後通過實驗驗證分析其對其他聚合規則的攻擊效果。表 2 顯示了聚合規則之間的可轉移性,其中也分別考慮了 MNIST 和 LR 分類器。「 Krum 攻擊」和 「修整均值攻擊」 表示分別基於 Krum 和修整平均聚合規則來構建折衷的局部模型。本實驗中考慮部分知識攻擊。表中給出的數字結果是測試錯誤率。

模型攻擊:魯棒性聯邦學習研究的最新進展

表 2:聚合規則之間的可轉移性
C 防禦方法介紹
本文將用於防禦數據中毒攻擊的 RONI 和 TRIM 概括用於防禦本文提出的的局部模型中毒攻擊。在聯邦學習的每次迭代計算全局模型之前,兩種通用防禦都刪除了可能有害的局部模型。一種廣義防禦方法刪除了對全局模型的錯誤率具有較大負面影響的局部模型(受 RONI 的啓發,後者刪除了對模型的錯誤率具有較大負面影響的訓練示例),而另一種防禦方法則除去了局部模型導致大量損失(受 TRIM 的啓發,刪除了對損失有較大負面影響的訓練示例)。在這兩種防禦中,都假定主設備具有一個小的驗證數據集。像現有的聚合規則(例如 Krum 和修整均值)一樣,假設主設備知道受破壞的工作節點設備數量的上限 c。
表 3 給出了針對不同聚合規則的攻擊的防禦結果,表中的數字表示錯誤率,實驗環境設置爲 MNIST 數據庫和 LR 分類器。「 Krum」和 「 Trimmed Mean」 列表示攻擊者在進行攻擊時假定的聚合規則,而各行則表示實際的聚合規則和防禦措施。對於每個局部模型,當包含局部模型時,使用聚合規則來計算全局模型 A;在排除局部模型時,使用全局規則 B 來計算全局模型 B。該實驗在驗證數據庫上計算全局模型 A 和 B 的錯誤率,分別記爲 EA 和 EB,將 EA-EB 定義爲局部模型的錯誤率影響,基於錯誤率的拒絕(Error Rate based Rejection,ERR)。較大的 ERR 表示如果在更新全局模型時將局部模型包括在內,則局部模型會顯着增加錯誤率。此外,實驗中還考慮另外一個指標:基於損失函數的拒絕(Loss Function based Rejection,LFR)。像基於錯誤率的拒絕一樣,對於每個局部模型,計算全局模型 A 和 B。在驗證數據庫上計算模型 A 和模型 B 的交叉熵損失函數值,分別記爲 LA 和 LB,將 LA-LB 定義爲局部模型的損失影響。像基於錯誤率的拒絕一樣,刪除損失影響最大的 c 個局部模型,並彙總其餘局部模型以更新全局模型。表 3 中的 Union 表示 ERR+LFR。
本實驗中考慮部分知識攻擊。表 3 的結果說明兩方面問題,一是,LFR 與 ERR 相當或比 ERR 更有效,即 LFR 的測試錯誤率與 ERR 相似或小得多。二是,在大多數情況下,Union 與 LFR 相當,但在一種情況下(Krum + LFR 對 Krum 和 Krum + Union 對 Krum),Union 更有效。第三,LFR 和 Union 可以在某些情況下有效防禦本文提出的攻擊方法。

模型攻擊:魯棒性聯邦學習研究的最新進展

表 3:防禦結果
3.5 文章小結
本文提出了一種模型中毒攻擊方法,並證明了機器學習社區中給出的對某些工作節點設備的拜占庭式故障具有魯棒性的聯邦學習方法很容易受到本文所提出的局部模型中毒攻擊方法的攻擊。在針對攻擊的防禦問題中,作者對現有的數據中毒攻擊的防禦措施進行了歸納總結,用以抵禦本文提出的模型中毒攻擊方法。不過,這些歸納後得到的防禦措施在某些情況下是有效的,但在其他情況下卻是無效的。本文重點關注聯邦學習中的非定向攻擊,作者提出將會在今後的工作中開展更多針對定向攻擊的研究。
4. Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks

模型攻擊:魯棒性聯邦學習研究的最新進展

論文地址:https://arxiv.org/abs/1912.12716
本文是 University of Minnesota Georgios B. Giannakis 教授團隊的成果,主要研究的是對拜占庭攻擊具有魯棒性的聯合方差縮減隨機梯度下降方法。具體的,本文討論在惡意拜占庭攻擊的情況下,在聯邦學習網絡中進行分佈式有限優化學習的問題。爲了應對這種攻擊,迄今爲止,大多數方法是將隨機梯度下降(stochastic gradient descent,SGD)與不同的魯棒性聚合規則相結合。然而,SGD 誘發的隨機梯度噪聲使我們很難區分由拜占庭攻擊者發送的惡意信息和 「真實」 客戶端發送的隨機梯度噪聲。這促使本文作者考慮通過降低隨機梯度的方差,作爲在拜占庭式攻擊中魯棒性 SGD 的手段,即:如果隨機梯度噪聲很小,惡意信息應該很容易識別。爲減少隨機優化過程中的方差,本文選擇了 SAGA2 。在有限求和優化中 SAGA 被證明是最有效的,同時適合於分佈式的環境,因此能夠滿足聯邦學習架構的要求。
4.1 算法分析
考慮一個網絡有一個主節點(中央服務器)和 W 個工作節點(客戶端設備),其中 B 個工作節點是拜占庭攻擊者,他們的身份不爲主節點所知。W 是所有工作節點的集合,B 是拜占庭攻擊者的集合。數據樣本均勻地分佈在誠實的工作節點 W 上。f_w,j(x) 表示第 j 個數據樣本在誠實工作節點 w 處的損失相對於模型參數 x 的損失。有限求和優化問題記爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

模型攻擊:魯棒性聯邦學習研究的最新進展

求解該問題的主要難點在於拜占庭攻擊者可以串通,向主節點發送任意的惡意消息,從而使優化過程出現偏差。爲此,本文假設 B
在收集到所有工作節點的隨機梯度後,主節點更新模型爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

其中,γ^k 爲非負步長。分佈式 SGD 可以擴展到它的 mini-batch 版本,即每個工作節點均勻地隨機選擇一個 mini-batch 的數據樣本,並將平均的隨機梯度傳回主節點。誠實的工作節點向主節點發送真正的隨機梯度,而拜占庭的工作節點可以向主節點發送任意的惡意消息,以擾亂(偏置)優化過程。讓 (m_w)^k 表示工作節點 w 在輪次 k 向主節點發送的消息,給定爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

分佈式 SGD 更新變爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

使用 {z; z ∈Z} 表示法線空間中的一個子集,{z; z ∈Z}的幾何中位數爲

模型攻擊:魯棒性聯邦學習研究的最新進展

基於此,分佈式 SGD 可以被修改成抗拜占庭式攻擊的形式:

模型攻擊:魯棒性聯邦學習研究的最新進展

當拜占庭工作節點的數量 B

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 1:隨機梯度噪聲對幾何中位數聚集的影響
由圖 1 可知,當誠實工作節點發送的隨機梯度方差較小時,真實均值與聚集值之間的差距也較小;也就是說,同樣的拜占庭攻擊效果較差。在這一觀察的啓發下,作者提出減少隨機梯度的方差,以增強對拜占庭攻擊的魯棒性。
在分佈式 SAGA 中,每個工作節點都維護着一個其所有本地數據樣本的隨機梯度表。具體的:

模型攻擊:魯棒性聯邦學習研究的最新進展

其中,ɸ^(k+1)(w,j) 是指在最近的 k 輪次結束時計算得到最新的 f’(w,j) 值的迭代。具體的,i^k_w 是本地數據樣本的索引,即在輪次 k 由工作節點 w 基於數據樣本 i^k_w 進行訓練。f’(w,j)(ɸ^k(w,j)) 是指在工作節點 w、輪次 k 中,之前存儲的第 j 個數據樣本的隨機梯度,以及可以計算得到:

模型攻擊:魯棒性聯邦學習研究的最新進展

上式結果表示工作節點 i 在輪次 k 處的修正隨機梯度。SAGA 的模型更新表示爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

此時,工作節點 w 在輪次 k 向主節點發送的消息爲:

模型攻擊:魯棒性聯邦學習研究的最新進展

本文使用的魯棒性聚集規則是幾何中位數。這就引出了所提出的拜占庭攻擊彈性分佈式形式的 SAGA:

模型攻擊:魯棒性聯邦學習研究的最新進展

本文所提出的抗擊拜占庭攻擊的 SAGA,簡稱 Byrd-SAGA,完整算法如下:

模型攻擊:魯棒性聯邦學習研究的最新進展

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 2:抗擊拜占庭攻擊的 SAGA
圖 2 給出抗擊拜占庭攻擊的 SAGA 的圖解。爲了便於說明,誠實工作節點從 1 到 W-B,而拜占庭攻擊者從 W-B+1 到 W,但實際操作中,拜占庭攻擊者的身份是主節點不知道的。本文作者對抗擊拜占庭攻擊的 SAGA 還進行了理論分析,感興趣的讀者可以查閱原文相關內容。
4.2 實驗分析
本文給出了凸和非凸學習問題的數值實驗。本文使用 IJCNN1 和 COVTYPE 數據集。其中,IJCNN1 包含 49,990 個訓練數據樣本,p=22 個維度。COVTYPE 包含 581012 個訓練數據樣本,p=54 個維度。在實驗中考慮三種類型的攻擊,包括:高斯、符號翻轉和零梯度攻擊。實驗中利用均值和幾何中位數聚集規則,對 SGD、mini-batch (B) SGD (BSGD)和 SAGA 進行比較。與 SGD 相比,BSGD 的隨機梯度噪聲較小,但計算成本較高。相比之下,SAGA 也降低了隨機梯度噪聲,但其計算成本與 SGD 相同。對於每個算法採用一個恆定的步長大小。具體計算代碼及應用的數據庫可見 https://github.com/MrFive5555/Byrd-SAGA
實驗結果分別見圖 3 和圖 4,其中,SAGA geomed 代表 Byrd-SAGA。從上至下:誠實信息的最優性差距和方差。從左至右:無攻擊、高斯攻擊、符號翻轉攻擊和零梯度攻擊。在拜占庭攻擊下,使用平均聚合的三種算法都失敗了。而在三種使用幾何中位數聚合的算法中,Byrd-SAGA 明顯優於其他兩種,而 BSGD 則優於 SGD。這表明了減少方差對處理拜占庭攻擊的重要性。在誠實信息的方差方面,Byrd-SAGA、抗擊拜占庭攻擊 BSGD 和抗擊拜占庭攻擊 SGD 在 IJCNN1 數據集中的方差分別爲 10^3、10^2 和 10^1。
對於 COVTYPE 數據集,Byrd-SAGA 和抗擊拜占庭攻擊 BSGD 在誠實信息方面具有相同的方差變化情況。Byrd-SAGA 實現了與抗擊拜占庭攻擊 BSGD 相似的最優性差距,但收斂速度更快,因爲它能夠使用更大的步長。

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 3:IJCNN1 數據集上使用均值和幾何中位數聚合規則的分佈式 SGD、mini-batch (B)SGD 和 SAGA 的性能

模型攻擊:魯棒性聯邦學習研究的最新進展

圖 4:COVTYPE 數據集上使用均值和幾何中位數聚合規則的分佈式 SGD、mini-batch (B)SGD 和 SAGA 的性能
4.3 文章小結
針對聯邦學習中的拜占庭攻擊問題,本文提出了一種新型的抗拜占庭攻擊的 Byrd-SAGA 方法,通過聯合有限求和優化抵抗拜占庭攻擊。Byrd-SAGA 中的主節點使用幾何中位數而不是平均數來聚合收到的模型參數。這種聚合方式顯著地提高了 Byrd-SAGA 在受到拜占庭攻擊時的穩健性。該方法確保了 Byrd-SAGA 能夠線性收斂到最優解的鄰域,其漸近學習誤差完全由拜占庭工作節點數決定。作者提出,今後研究方向將是在完全去中心化的網絡上開發和分析抗拜占庭攻擊方法。
本文參考引用的文獻 1 Keith Bonawitz, et al. Practical Secure Aggregation for Privacy-Preserving Machine Learning, CCS 2017, https://arxiv.org/abs/1611.04482 2 Aaron Defazio (https://arxiv.org/search/cs?searchtype=author &query;=Defazio%2C+A), Francis Bach (https://arxiv.org/search/cs?searchtype=author&query;=Bach%2C+F),et al. SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly Convex Composite Objectives, NIPS2014, https://arxiv.org/abs/1407.0202.

作者介紹 :仵冀穎,工學博士,畢業於北京交通大學,曾分別於香港中文大學和香港科技大學擔任助理研究員和研究助理,現從事電子政務領域信息化新技術研究工作。主要研究方向爲模式識別、計算機視覺,愛好科研,希望能保持學習、不斷進步。

關於機器之心全球分析師網絡 Synced Global Analyst Network

機器之心全球分析師網絡是由機器之心發起的全球性人工智能專業知識共享網絡。在過去的四年裏,已有數百名來自全球各地的 AI 領域專業學生學者、工程專家、業務專家,利用自己的學業工作之餘的閒暇時間,通過線上分享、專欄解讀、知識庫構建、報告發布、評測及項目諮詢等形式與全球 AI 社區共享自己的研究思路、工程經驗及行業洞察等專業知識,並從中獲得了自身的能力成長、經驗積累及職業發展。

感興趣加入機器之心全球分析師網絡?點擊 閱讀原文 ,提交申請。

來源鏈接:mp.weixin.qq.com