人工智能是一個成長中的行業，其動力來自大型科技公司、新創公司和大學研究團隊的進步。盡管AI技術正在快速發展，但圍繞機器學習安全性的法規和故障卻是另一回事。無法保護ML模型可能會造成極大的損失。Chatbot漏洞甚至可能導致私人用戶數據被盜。在本文中，我們將研究機器學習網絡安全的重要性。此外，我們將說明ML安全公司如何通過其Virtual Assistant Shield保護Chatbot的。

　　為什么機器學習安全性很重要？

保護機器學習模型免受網絡攻擊類似于確保您的車輛通過安全檢查。僅僅因為汽車可以移動并不意味著在公共道路上行駛是安全的。無法保護您的機器學習模型可能會導致數據泄露，超參數盜竊或更糟。

在2019年，該公司起訴其聊天機器人開發人員，原因是發生在2017年的乘客數據泄露事件。黑客獲得了對Delta聊天機器人系統的訪問權限，并修改了源代碼。這使他們可以抓取用戶輸入的數據。這次事故對達美航空造成了巨大的損失，導致數百萬美元用于調查漏洞并保護受影響的客戶。

聊天機器人中的機器學習安全漏洞

聊天機器人特別容易受到機器學習攻擊，因為它們之間經常不斷的用戶交互，而這些交互通常是完全不受監督的。我們與Scanta進行了交談，以了解聊天機器人面臨的最常見的網絡攻擊。

Scanta首席技術官告訴我們，他們看到的最常見的攻擊之一是 通過對抗性輸入進行的數據中毒攻擊。

　　什么是數據中毒？

數據中毒是一種機器學習攻擊，其中，黑客污染了機器學習模型的訓練數據。

他們通過注入對抗性輸入來實現，這些輸入是故意更改的數據樣本，旨在誘使系統產生錯誤的輸出。

像客戶服務聊天機器人這樣經過用戶輸入數據進行持續訓練的系統尤其容易受到此類攻擊。大多數現代的聊天機器人都可以自動操作并在沒有人工干預的情況下回答客戶的詢問。通常，除非查詢升級為人員，否則永遠不會監視聊天機器人與用戶之間的對話。缺乏監督使得聊天機器人成為黑客利用的主要目標。

為了幫助公司保護其聊天機器人和虛擬助手，Scanta不斷改進其機器學習安全系統VA Shield。

如何保護聊天機器人和虛擬助手

Scanta于2016年成立，是一家為聊天機器人和虛擬助手提供機器學習安全服務的科技公司。

Scanta的VA Shield是一種機器學習安全系統，可在模型，數據集和對話級別保護聊天機器人。“ VA Shield使用ML防御ML攻擊。我們為每個用戶進行行為分析，并標記任何異常行為。” CTO 說。“行為分析是針對最終用戶以及聊天機器人進行的。分析所有輸入，輸出和輸入輸出組合實體，以檢測任何惡意活動。”

在對話級別，Scanta會評估聊天機器人的輸出，以阻止惡意攻擊并捕獲業務見解。“上下文分析是一個簡單的概念，其中，聊天機器人的響應是根據請求的上下文進行查看的，” CTO說。“此外，對話中的下一個請求是在上一個請求的上下文中看到的。為了進行這些分析，我們使用歷史數據。例如，我們查看了用戶的歷史請求特征和來自聊天機器人的響應，以及聊天機器人的響應特性。”

　　常規的IT團隊為什么不能應對這些攻擊？

在與Scanta首席執行官交談時，我問他為什么擁有自己的IT團隊的公司會麻煩外包機器學習安全服務。這些IT團隊難道不能自己納入ML安全協議嗎?

“我們與許多公司進行了交談，得知這些ML威脅是大多數人不知道的事情，我感到非常驚訝，” CTO說。“現實是許多人甚至都不知道這是他們必須防止的事情。”

“大多數IT團隊和安全解決方案都提供網絡安全和Web應用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內容處于不同的水平。這遠遠超出了消除訓練數據的偏見。”

在前面提到的達美航空示例中，有人入侵了聊天機器人并修改了源代碼。該黑客使他們可以訪問私人客戶數據。“這是因為沒有人監視正在進入聊天機器人的內容和正在發生的內容，” CTO說。

“這是當今機器學習技術構建方式的結果。但是，必須有一種機制可以解釋是否有惡意。我們將此系統稱為零信任框架。您必須確保所有方面都受到保護。這與保護數據庫或網絡一樣重要。”

我們的日常生活和個人數據越來越與計算機系統交織在一起。隨著現代社會數字化的日益發展，提高數據安全性成為當務之急。特別是在像GDPR這樣的組織制定了數據法律的情況下，公司比以往任何時候都更加重要地保護其私有數據和客戶數據。

機器學習模型的更高安全性將使數據科學界和AI技術的日常用戶受益。在2020年上半年，我們看到了IBM抵制面部識別技術。重要的是，更多大型公司應退后一步，將安全和社會影響放在開發之前。想了解更多關于網絡安全的信息，請繼續關注中培偉業。