FATE開源社區發布聯邦大模型FATE-LLM，突破數據與算力壁壘

自2017年國務院印發《新一代人工智能發展規劃》后，人工智能已上升為國家發展戰略，成為推進經濟發展的新動力。隨著以ChatGPT對話機器人為代表的人工智能應用的崛起，人工智能預訓練大模型(以下簡稱“大模型”)在全球學術界、工業界以及投資界掀起了討論熱潮，已經成為人工智能領域的技術新高地。

近日，聯邦學習隱私計算開源平臺FATE (Federated AI Technology Enabler)正式發布聯邦大模型FATE-LLM功能模塊。通過將聯邦學習和大模型結合，FATE-LLM在各參與方的敏感數據不出本地域的前提下，根據各方實際數據量進行算力投入，聯合進行大模型訓練。基于此技術方案，多個機構可以通過FATE內置的預訓練模型進行橫向聯邦，利用各自隱私數據進行聯邦大模型微調，從而提升自身大模型應用的效果。

大模型應用面臨的

作為大數據、大算力強算法結合的產物，大模型是具有數十億甚至上百億參數的深度神經網絡模型，堪稱凝聚了大數據內在精華的“知識庫”。模型在大規模數據集上完成了預訓練后僅需要少量數據的微調、甚至無需調整，就能直接支撐各行業的各類應用。目前，大模型在語音識別、自然語言處理、圖像識別等領域有著廣泛的應用，被認為是人工智能走向通用化的關鍵技術。

然而，基于海量數據訓練的大模型面臨眾多安全與倫理風險，如構建和使用大模型過程中的隱私泄露、安全漏洞、市場壟斷、不公平性等。大模型可能包含大量個人敏感信息，包括圖像、語音、地理位置等，如果這些信息在訓練或應用過程中被泄露，會對用戶造成嚴重的隱私損失和安全風險。

針對這些問題，FATE-LLM聯邦大模型將聯邦學習這種安全的分布式機器學習范式與當下主流的大模型技術融合。基于聯邦學習自身“數據不動模型動，數據可用不可見”的特性，聯邦學習與大模型的結合能夠進一步解決數據安全、隱私保護等問題。

FATE開源社區技術指導委員會主席楊強教授表示：“開源FATE-LLM是為了解決當前大模型應用的兩個瓶頸問題。首先是構建和使用大模型時的數據隱私保護問題。多個數據源聯合訓練一個大模型時極有可能會暴露每個數據源的用戶隱私和影響信息安全，再一次凸顯了隱私保護的必要性和緊迫性。”

“其次，聯邦學習可以應用于解決可用數據數量不足的問題，為業界提供了一個前瞻性的解決方案。來自阿伯丁大學、麻省理工大學、圖賓根大學的計算機科學家在論文《我們會用完數據嗎?機器學習中數據集縮放的局限性分析》中預測，ChatGPT等大語言模型訓練所需的高質量語言數據將在2026年之前耗盡。目前大多數高質量數據來源于公域數據，也就是說當公域數據消耗殆盡時，如何保護數據隱私的前提下，合法合規地利用手機等終端設備上的私域數據，將是解決大模型訓練數據不足問題的關鍵。”

“此次發布的FATE-LLM，是利用聯邦學習技術來解決以上問題的初步成果，也是FATE社區合作伙伴的共識。當前階段主要解決的是大模型訓練階段的隱私保護問題，未來還將研究在使用大模型的過程中如何保護用戶的隱私。例如，基于大模型的對話機器人與億萬用戶的互動聊天時，如何保護用戶的隱私安全問題。”

開源開放，大模型發展的必經之路

近期發布的FATE-LLM為聯邦大模型初步版本，未來FATE開源社區還將針對聯邦大模型的算法、效率、安全等方面進行持續優化，并持續推出后續版本，提升聯邦大模型的安全性、易用性和通用性。

在技術創新層面，聯邦大模型將有機會充分利用分散在各個組織的算力和數據，融合聯邦學習和AIGC相關技術，實現異構數據分布式安全訓練。這將為自然語言處理，語音識別，機器視覺等AI領域帶來全新的技術范式。

在行業應用方面，聯邦大模型未來將有機會重塑金融、零售、工業等多行業的數字化形態。相關應用場景包括在金融領域的智能客服、內容風控、金融資訊情感分析、文本意圖識別、營銷場景智能創意生成和優化等。即使機構自身擁有的數據量和算力可能不足，仍能發揮聯邦大模型的優勢，安全合規地提升客服、營銷、風控的效果。

關鍵詞：