Evaluating Privacy Leakage From In-Context Learning 概述上下文學習In-Context Learning, ICL作為大型語言模型適應下游任務的核心範式其提示中的示範樣本可能包含敏感資訊並透過模型輸出被無意洩露。本研究提出ICLInf指標——一種受數據依賴差分隱私DP分析和反事實影響啟發的度量方法用於系統性衡量 ICL 示範樣本的潛在隱私洩漏風險。實驗結果表明參數化知識、模型規模和示範樣本位置等因素會顯著加劇隱私洩漏而 ICLInf 可為基於 DP 樣本的 ICL 方法指數機制提供高達 ε10 的緊密隱私審計。 核心研究問題定義ICL 透過在提示中提供相關示範樣本使 LLM 適應下游任務但這些示範樣本可能包含隱私敏感資訊如病患紀錄、客戶對話等可能被模型記憶並在輸出中洩露。先前研究已透過成員推論攻擊Membership Inference Attacks, MIA證實此漏洞但缺乏對造成非預期隱私洩漏因素之系統性評估。創新方法論文提出ICLInfIn-Context Learning Inference metric——一種全新的隱私洩漏度量指標。其核心創新在於跨域理論融合將數據依賴差分隱私的分析框架與反事實影響counterfactual influence概念相結合系統性評估框架有別於過往零散的攻擊方法ICLInf 提供了統一、可比較的隱私洩漏度量標準DP-ICL 審計能力可對差分隱私保護的 ICL 方法進行隱私審計填補了隱私保護方法缺乏實證驗證的空白關鍵結果三大洩漏加劇因素參數化知識parametric knowledge、模型規模model size、示範樣本位置exemplar position會顯著增加隱私洩漏風險DP 審計有效性ICLInf 可為基於指數機制的 DP 樣本 ICL 方法提供緊密隱私審計適用範圍達 ε10實證驗證通過系統性實驗證明了 ICLInf 作為隱私洩漏度量指標的有效性和可靠性實際意義模型部署決策為組織在部署 LLM 前評估 ICL 隱私風險提供量化工具隱私保護設計協助開發者識別和緩解 ICL 中的隱私漏洞合規性評估為 GDPR 等隱私法規合規性提供技術評估手段DP 機制驗證填補差分隱私 ICL 方法缺乏實證審計的關鍵缺口️ 技術細節方法概述ICLInf 的核心設計原理ICLInf 的理論基礎建立在兩個關鍵概念之上數據依賴差分隱私Data-Dependent DP傳統差分隱私提供最壞情況下的隱私保證但往往過於保守。數據依賴 DP 根據實際數據分佈提供更緊密的隱私界限ICLInf 借鑑此思路來度量實際隱私洩漏風險。反事實影響Counterfactual Influence通過來测量某個示範樣本是否存在對模型輸出的影響程度量化該樣本的「隱私足跡」——若移除某個示範樣本會顯著改變模型預測則該樣本具有較高的隱私洩漏風險。度量機制ICLInf 透過分析模型在包含與不包含特定示範樣本時輸出分佈的差異計算該樣本的隱私洩漏量。差異越大表示模型對該樣本的依賴越強隱私洩漏風險越高。研究設定根據論文公開資訊研究設定包含以下設計要點設計維度具體內容評估對象預訓練大型語言模型的 ICL 能力隱私威脅模型示範樣本包含敏感資訊攻擊者通過 API 存取模型輸出試圖推斷示範樣本中的個體成員資訊核心度量指標ICLInf基於數據依賴 DP 和反事實影響分析變量參數化知識程度、模型規模、示範樣本在提示中的位置審計對象基於 DP 樣本的 ICL 方法指數機制ε 範圍至 10 主要發現發現一參數化知識加劇隱私洩漏模型對任務的預訓練參數化知識越豐富ICL 示範樣本的隱私洩漏風險越高。這意味著當模型已經「知道」某個任務時示範樣本反而成為攻擊者確認該樣本存在的「信號放大器」。此發現挑戰了「更多知識 更好隱私」的直覺。發現二模型規模與隱私風險正相關更大規模的模型表現出更高的隱私洩漏風險。這可能源於大模型的更高記憶容量和更強的模式學習能力——在帶來更強 ICL 性能的同時也增加了對示範樣本的「過度記憶」風險。發現三示範樣本位置的影響示範樣本在提示中的位置會影響其隱私洩漏程度。這一發現對提示工程的隱私設計具有重要指導意義——不僅要考慮示範樣本的內容和數量還需考慮其排列順序。發現四DP-ICL 的可審計性ICLInf 可有效審計差分隱私保護的 ICL 方法。這填補了隱私保護方法「宣稱有效但缺乏實證驗證」的關鍵空白為評估 DP-ICL 的實際隱私保證提供了實用工具。 深度洞察洞察一ICL 隱私洩漏的「雙刃劍」特性參數化知識加劇隱私洩漏的發現揭示了一個深層矛盾模型的預訓練知識既是 ICL 性能的基石也是隱私風險的放大器。當模型對某任務已有充分知識時示範樣本提供的「新資訊」邊際量雖小卻足以成為攻擊者識別特定樣本存在的指紋。這意味著隱私保護不能僅依賴於限制模型能力而需要更精細的資訊流控制機制。洞察二規模定律的隱私維度模型規模與隱私洩漏的正相關關係為 LLM 的規模定律Scaling Law增添了新的維度。傳統觀點認為更大模型帶來更好性能本研究提示性能提升伴隨著隱私代價。這對超大規模模型的部署提出了新的倫理和技術挑戰——如何在規模擴張的同時控制隱私風險洞察三從「攻擊」到「度量」的範式轉移過往研究多聚焦於設計特定攻擊如 MIA來證明隱私漏洞的存在。ICLInf 的貢獻在於將隱私評估從「二元判定」是否洩漏提升為「連續度量」洩漏多少。這種範式轉移使得隱私風險可比較、可追蹤、可優化為建立系統性的 LLM 隱私工程實踐奠定了基礎。洞察四DP 理論與實務的橋樑ICLInf 可審計 DP-ICL 方法至 ε10建立了理論隱私保證與實務隱私風險之間的量化橋樑。這對於推動差分隱私從學術理論走向工業應用具有關鍵意義——組織不再僅依賴抽象的 ε 值而能通過實證測量驗證其實際保護效果。 實踐應用對研究者的建議納入 ICLInf 作為標準評估指標在提出新的 ICL 方法或隱私保護機制時將 ICLInf 納入評估體系提供可量化的隱私洩漏指標關注模型規模的隱私權衡在模型設計決策中將隱私洩漏作為與性能同等重要的考量維度探索位置效應的最優化研究示範樣本排列對隱私-效用權衡的影響尋找最優的提示結構對實務部署者的建議部署前隱私審計在將 LLM 應用於涉及敏感數據的 ICL 場景前使用 ICLInf 進行系統性隱私風險評估差分隱私的實證驗證若採用 DP-ICL 方法應通過 ICLInf 等工具實證驗證其實際保護效果而非僅依賴理論保證提示工程的隱私設計除考慮示範樣本的數量和質量外將樣本位置納入提示設計的隱私考量對政策制定者的啟示技術評估標準ICLInf 類似的量化指標可作為 LLM 隱私合規評估的技術參考風險分級管理基於模型規模和任務類型的差異化隱私監管框架 參考資料來源原始論文Evaluating Privacy Leakage From In-Context Learning — Hongyi Li, James Flemings, YoungJune Choi, Murali Annavaram, NeurIPS 2025 WorkshopOpenReview 頁面Evaluating Privacy Leakage From In-Context Learning相關框架ContextLeak: Auditing Leakage in Private In-Context Learning Methods — 首個用於實證測量 ICL 最壞情況資訊洩漏的框架