大語言模型數(shù)據(jù)泄露堪憂，超自動化Agent成解決之道

　 域名預訂/競價，好“米”不錯過

大語言模型數(shù)據(jù)泄露堪憂，超自動化Agent成解決之道

數(shù)據(jù)泄露成LLM應用最大障礙，看實在智能如何用AI Agent破解謎題

從實在RPA Agent智能體安全機制，看AI Agent如何破解LLM應用安全謎題

文/王吉偉

阻礙廣大企業(yè)應用大語言模型（LLM，Large Langeuage Models）的諸多因素中，無疑數(shù)據(jù)安全是最重要的。

3月份ChatGPT發(fā)生了用戶隱私數(shù)據(jù)泄露事件，OpenAI聲明由于開源代碼庫中存在一個漏洞，使得部分用戶能夠看到另一個用戶的聊天標題記錄，并把ChatGPT短暫下線緊急修補了此漏洞。

此事件，讓大家認識到大模型并不是“大安全”。

更要命的，是用戶使用LLM時會不經意輸入敏感數(shù)據(jù)。僅在三月份，三星內部就發(fā)生了三起誤用及濫用ChatGPT案例，其中兩起關于三星半導體設備，一起關于三星內部會議內容。

以致有網友調侃，三星再多幾次敏感數(shù)據(jù)泄露，ChatGPT就能教大家制造先進芯片了。

在三星等多家企業(yè)出現(xiàn)事故后，很多企業(yè)都意識到了LLM使用可能造成的數(shù)據(jù)泄露問題。就在5月份，蘋果公司也限制員工使用ChatGPT和其他外部AI工具。當然，蘋果公司也在開發(fā)自己的LLM產品。

不只是蘋果公司，摩根大通、美國電信運營商Verizon等公司都已經宣布禁止使用ChatGPT等應用，亞馬遜也希望工程師們使用內部AI工具。

就在11月10日，投資了OpenAI并為廣大企業(yè)提供OpenAI云服務的微軟，因為擔心公司機密數(shù)據(jù)泄露，竟然也開始禁止員工使用ChatGPT，建議員工使用自家的Bing Chat工具。

出于數(shù)據(jù)安全憂慮，美國銀行、花旗集團、德意志銀行、高盛集團等多家金融機構已經禁止員工使用ChatGPT聊天機器人處理工作任務，日本的軟銀、富士通、瑞穗金融集團、三菱日聯(lián)銀行、三井住友銀行等企業(yè)，同樣限制了ChatGPT和類似聊天機器人的商業(yè)用途。

現(xiàn)在，這些企業(yè)有的與OpenAI合作進行了私有化部署，有的已經研發(fā)了自有大語言模型。

數(shù)據(jù)泄露對企業(yè)的危害

多家機構如此重視，人為數(shù)據(jù)泄露到底能為企業(yè)造成多大傷害？

數(shù)據(jù)安全公司Cyberhaven曾在一個報告中，調查了不同行業(yè)客戶160萬員工的ChatGPT使用情況。

報告數(shù)據(jù)顯示，自ChatGPT推出以來至3月21日，8.2%的員工曾在工作場所使用過ChatGPT, 6.5%的員工曾將公司數(shù)據(jù)粘貼其中；僅3月14日一天，每10萬名員工就平均給ChatGPT發(fā)送了5267次企業(yè)數(shù)據(jù)。尤其是敏感數(shù)據(jù)，占到員工粘貼到ChatGPT的數(shù)據(jù)的11%。

這意味著，ChatGPT的使用率越高，敏感數(shù)據(jù)泄露的也就越多。

試想如果不加限制地使用LLM，隨著更多敏感數(shù)據(jù)被傳輸LLM服務器，并被用作模型訓練數(shù)據(jù)集，也就意味著競爭對手通過隨意的聊天對話就能獲悉了你的核心數(shù)據(jù)。如果競對用這些數(shù)據(jù)建模對你進行降維打擊，會對企業(yè)會造成多大損失？

數(shù)據(jù)泄露會造成嚴重的企業(yè)的信任度降低，讓業(yè)務連續(xù)性受到影響，并可能會帶來一定的法律責任。

看到這里，你就應該明白為何大型企業(yè)都在構建自有大語言模型了。

當然，凡事皆有利弊。雖然對話式交互的生成式AI會造成敏感數(shù)據(jù)泄露，但AI和自動化的使用，整體上正在降低數(shù)據(jù)泄露的成本。

IBM的《2023年數(shù)據(jù)泄露成本》全球調查數(shù)據(jù)顯示，廣泛使用人工智能（AI）和自動化的組織受益，平均節(jié)省了近1萬美元的數(shù)據(jù)泄露成本，并將數(shù)據(jù)泄露識別和遏制速度加快了8 天。

也就是說，只要恰當使用LLM，注意安全防控，它會對企業(yè)的增效降本起到明顯的作用。

LLM泄露數(shù)據(jù)的幾個原因

想要實現(xiàn)LLM的安全使用，需要分析數(shù)據(jù)泄露的相關因素。

從已經發(fā)生的實踐案例來看，造成ChatGPT等LLM數(shù)據(jù)泄露的主要原因，大概有以下幾點：

1、用戶隱私泄露：在使用ChatGPT進行客戶服務時，企業(yè)通常需要獲取用戶的個人信息，如姓名、地址、電話等。這些信息一旦被未經授權的第三方獲取，便可能導致用戶隱私泄露。

2、內部安全風險：ChatGPT作為一款人工智能語言模型，其生成和處理的敏感信息可能包括企業(yè)內部的商業(yè)機密、計劃、策略等。如果這些信息被惡意利用，可能會對企業(yè)造成嚴重損失。

3、系統(tǒng)漏洞：盡管ChatGPT具有強大的技術實力，但其系統(tǒng)仍可能存在漏洞。如果黑客利用這些漏洞入侵企業(yè)服務器，便可能導致數(shù)據(jù)泄露。

理論上，只要我們針對性的解決這幾個問題，LLM的安全使用也就不在話下。

現(xiàn)在，很多引入LLM的企業(yè)基本都建立了風控機制，按照LLM使用流程的先后順序，這些機制包括加強安全培訓、定期審查系統(tǒng)、加密處理敏感信息、使用可靠的人工智能服務提供商、建立應急預案等。

在這些安全措施中，大家會發(fā)現(xiàn)“使用可靠的人工智能服務提供商”這一點最為重要，畢竟引入一個具備高度安全機制的LLM會事半功倍。其他幾點也能起到一定的作用，但多是為了防患于未然以及事后補救，并且其中的很多人為因素難以避免。

與此同時，隨著技術的不斷發(fā)展，LLM的應用也進入到了AI Agent階段。

AI Agent有效避免LLM數(shù)據(jù)泄露

AI Agent是由AI驅動的程序，當給定目標時，能夠自己創(chuàng)建任務、完成任務、創(chuàng)建新任務、重新確定任務列表的優(yōu)先級、完成新的頂級任務，并循環(huán)直到達到目標。

使用AI Agent，只需輸入一句話或者更簡單的指令，就能通過理解與分析獲悉用戶的意圖，進而規(guī)劃并執(zhí)行一系列任務，最終輸出詳盡而具體的答案。

AI Agent不僅讓輸入更加簡單，也在一定程度上提高了安全系數(shù)，有效避免了數(shù)據(jù)泄露的可能，還能最大限度發(fā)揮LLM的能力。

AI Agent正在快速影響更多領域，超自動化領域也是如此。目前廠商們都在積極引入或自研大模型，并基于這些大模型打造Agent，以從安全、易用性等各方面提升超自動化的應用效率。

當然，超自動化Agent在數(shù)據(jù)安全方面遠不是減少提示詞輸入那么簡單。

超自動化Agent破解LLM安全謎題

超自動化領域如何通過AI Agent提升安全系數(shù)呢？

這里王吉偉頻道以實在智能業(yè)界首發(fā)的實在RPA Agent智能體為例，介紹超自動化Agents如何保障用戶數(shù)據(jù)安全。

實在RPA Agent智能體是基于實在智能自研垂直領域大模型TARS構建的RPA\超自動化智能體，是一種能夠自主拆解任務、感知當前環(huán)境、執(zhí)行并且反饋、記憶歷史經驗的RPA全新模式。

為了讓用戶更安全的使用AI智能體，實在RPA Agent智能體在TARS大語言模型和RPA工具包都設置的多重安全機制。

TARS大語言模型的安全機制側重于敏感數(shù)據(jù)、內部政策和提示檢查。在預訓練或SFT階段通過數(shù)據(jù)處理和文本分類算法刪除敏感數(shù)據(jù)，在大模型的輸出結果之上疊加一個輔助安全模型，RLHF（人類反饋強化學習）階段使用內部策略，檢查用戶查詢并添加安全提示等。

這樣就能保證用戶輸入內容的多層過濾，防止敏感數(shù)據(jù)的外露。

TARS大型語言模型上基于充分細致的語料收集和清洗、數(shù)據(jù)處理及標注，超千億Tokens的預訓練語料和超百萬條指令微調數(shù)據(jù)，實在智能獨立完整復現(xiàn)大模型構建的預訓練、指令微調和RLHF三階段，使大模型具備完整能力。

同時實在智能自主研發(fā)用于中文不當言論判別和生成終止的Detoxify系統(tǒng)，也提升了TARS的安全性和無害性，讓大模型“既懂事，又懂法”。

在RPA工具包上，TARS-RPA-Agent安全機制側重于機器人授權繼承和指揮官分配或分發(fā)授權：

首先，RPA機器人的授權均繼承自創(chuàng)建機器人的用戶，同時其權限范圍也和所在賬號的權限是一致的，不會獲取超出其權限范圍的信息；

其次，RPA指揮官可以分配和控制TARS-RPA-Agent的授權；

第三，在開發(fā)過程中，實在智能設計了一個易于處理敏感數(shù)據(jù)的模塊，使得敏感數(shù)據(jù)更易于通過配置、刪除、導入等方式進行設置。

除了LLM和RPA，TARS-RPA-Agent還包含其他輔助模塊，其中的安全機制側重于內部知識庫認證、內部文檔訪問以及用戶確認。

有了面向LLM、RPA和輔助模塊的多重安全機制，在十幾層防護墻的共同作用下，想要泄露隱私數(shù)據(jù)都很難，徹底杜絕了前文所講的人為泄露數(shù)據(jù)的情況。再加上應對系統(tǒng)漏洞的相關安全機制，足以把LLM應用安全打造得固若金湯。

當然，這還是直接使用TARS大模型或者調用API的情況。如果你是現(xiàn)金流充沛的企業(yè)，采用本地部署大語言模型的方式，安全情況會更上一層樓。

需要說明的是，這種整體安全解決方案非常適用于一些大型企業(yè)的LLM應用安全過濾。

出于安全考慮，企業(yè)都希望在應用LLM時過濾內部敏感信息。

目前市面上的數(shù)據(jù)安全管理軟件，功能豐富但應用復雜且價格不菲。為了LLM數(shù)據(jù)過濾這種單一應用場景而斥巨資購買全數(shù)據(jù)監(jiān)控軟件，顯然過于浪費，并不是LLM數(shù)據(jù)過濾的最優(yōu)選。

事實上，這類需求更適合LLM技術供應商基于大語言模型技術路徑去做。只需在其LLM產品體系中添加隱私數(shù)據(jù)過濾功能，為企業(yè)用戶開放不斷更新或增刪敏感數(shù)據(jù)庫內容的權限。

這種模式，不僅能為本身大語言模型提供過濾安全功能，還能用于企業(yè)所使用的OpenAI、文心一言等第三方大語言模型，能夠在最大限度保護員工創(chuàng)造力的同時做好公司敏感數(shù)據(jù)的防護。

這樣，企業(yè)就能實現(xiàn)花一份錢去保障更多LLM的安全。

如果你的企業(yè)正在為LLM的應用安全及預算而發(fā)愁，不妨試試實在智能的這種安全解決方案，或許會讓你眼前一亮。

全文完

【王吉偉頻道，關注AIGC與IoT，專注數(shù)字化轉型、業(yè)務流程自動化與RPA，歡迎關注與交流?！?/p>

 

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！