人工智能是一個(gè)成長中的行業(yè)，其動力來自大型科技公司、新創(chuàng)公司和大學(xué)研究團(tuán)隊(duì)的進(jìn)步。盡管AI技術(shù)正在快速發(fā)展，但圍繞機(jī)器學(xué)習(xí)安全性的法規(guī)和故障卻是另一回事。無法保護(hù)ML模型可能會造成極大的損失。Chatbot漏洞甚至可能導(dǎo)致私人用戶數(shù)據(jù)被盜。在本文中，我們將研究機(jī)器學(xué)習(xí)網(wǎng)絡(luò)安全的重要性。此外，我們將說明ML安全公司如何通過其Virtual Assistant Shield保護(hù)Chatbot的。

　　為什么機(jī)器學(xué)習(xí)安全性很重要？

保護(hù)機(jī)器學(xué)習(xí)模型免受網(wǎng)絡(luò)攻擊類似于確保您的車輛通過安全檢查。僅僅因?yàn)槠嚳梢砸苿硬⒉灰馕吨诠驳缆飞闲旭偸前踩摹o法保護(hù)您的機(jī)器學(xué)習(xí)模型可能會導(dǎo)致數(shù)據(jù)泄露，超參數(shù)盜竊或更糟。

在2019年，該公司起訴其聊天機(jī)器人開發(fā)人員，原因是發(fā)生在2017年的乘客數(shù)據(jù)泄露事件。黑客獲得了對Delta聊天機(jī)器人系統(tǒng)的訪問權(quán)限，并修改了源代碼。這使他們可以抓取用戶輸入的數(shù)據(jù)。這次事故對達(dá)美航空造成了巨大的損失，導(dǎo)致數(shù)百萬美元用于調(diào)查漏洞并保護(hù)受影響的客戶。

聊天機(jī)器人中的機(jī)器學(xué)習(xí)安全漏洞

聊天機(jī)器人特別容易受到機(jī)器學(xué)習(xí)攻擊，因?yàn)樗鼈冎g經(jīng)常不斷的用戶交互，而這些交互通常是完全不受監(jiān)督的。我們與Scanta進(jìn)行了交談，以了解聊天機(jī)器人面臨的最常見的網(wǎng)絡(luò)攻擊。

Scanta首席技術(shù)官告訴我們，他們看到的最常見的攻擊之一是 通過對抗性輸入進(jìn)行的數(shù)據(jù)中毒攻擊。

　　什么是數(shù)據(jù)中毒？

數(shù)據(jù)中毒是一種機(jī)器學(xué)習(xí)攻擊，其中，黑客污染了機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。

他們通過注入對抗性輸入來實(shí)現(xiàn)，這些輸入是故意更改的數(shù)據(jù)樣本，旨在誘使系統(tǒng)產(chǎn)生錯誤的輸出。

像客戶服務(wù)聊天機(jī)器人這樣經(jīng)過用戶輸入數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練的系統(tǒng)尤其容易受到此類攻擊。大多數(shù)現(xiàn)代的聊天機(jī)器人都可以自動操作并在沒有人工干預(yù)的情況下回答客戶的詢問。通常，除非查詢升級為人員，否則永遠(yuǎn)不會監(jiān)視聊天機(jī)器人與用戶之間的對話。缺乏監(jiān)督使得聊天機(jī)器人成為黑客利用的主要目標(biāo)。

為了幫助公司保護(hù)其聊天機(jī)器人和虛擬助手，Scanta不斷改進(jìn)其機(jī)器學(xué)習(xí)安全系統(tǒng)VA Shield。

如何保護(hù)聊天機(jī)器人和虛擬助手

Scanta于2016年成立，是一家為聊天機(jī)器人和虛擬助手提供機(jī)器學(xué)習(xí)安全服務(wù)的科技公司。

Scanta的VA Shield是一種機(jī)器學(xué)習(xí)安全系統(tǒng)，可在模型，數(shù)據(jù)集和對話級別保護(hù)聊天機(jī)器人。“ VA Shield使用ML防御ML攻擊。我們?yōu)槊總€(gè)用戶進(jìn)行行為分析，并標(biāo)記任何異常行為。” CTO 說。“行為分析是針對最終用戶以及聊天機(jī)器人進(jìn)行的。分析所有輸入，輸出和輸入輸出組合實(shí)體，以檢測任何惡意活動。”

在對話級別，Scanta會評估聊天機(jī)器人的輸出，以阻止惡意攻擊并捕獲業(yè)務(wù)見解。“上下文分析是一個(gè)簡單的概念，其中，聊天機(jī)器人的響應(yīng)是根據(jù)請求的上下文進(jìn)行查看的，” CTO說。“此外，對話中的下一個(gè)請求是在上一個(gè)請求的上下文中看到的。為了進(jìn)行這些分析，我們使用歷史數(shù)據(jù)。例如，我們查看了用戶的歷史請求特征和來自聊天機(jī)器人的響應(yīng)，以及聊天機(jī)器人的響應(yīng)特性。”

　　常規(guī)的IT團(tuán)隊(duì)為什么不能應(yīng)對這些攻擊？

在與Scanta首席執(zhí)行官交談時(shí)，我問他為什么擁有自己的IT團(tuán)隊(duì)的公司會麻煩外包機(jī)器學(xué)習(xí)安全服務(wù)。這些IT團(tuán)隊(duì)難道不能自己納入ML安全協(xié)議嗎?

“我們與許多公司進(jìn)行了交談，得知這些ML威脅是大多數(shù)人不知道的事情，我感到非常驚訝，” CTO說。“現(xiàn)實(shí)是許多人甚至都不知道這是他們必須防止的事情。”

“大多數(shù)IT團(tuán)隊(duì)和安全解決方案都提供網(wǎng)絡(luò)安全和Web應(yīng)用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內(nèi)容處于不同的水平。這遠(yuǎn)遠(yuǎn)超出了消除訓(xùn)練數(shù)據(jù)的偏見。”

在前面提到的達(dá)美航空示例中，有人入侵了聊天機(jī)器人并修改了源代碼。該黑客使他們可以訪問私人客戶數(shù)據(jù)。“這是因?yàn)闆]有人監(jiān)視正在進(jìn)入聊天機(jī)器人的內(nèi)容和正在發(fā)生的內(nèi)容，” CTO說。

“這是當(dāng)今機(jī)器學(xué)習(xí)技術(shù)構(gòu)建方式的結(jié)果。但是，必須有一種機(jī)制可以解釋是否有惡意。我們將此系統(tǒng)稱為零信任框架。您必須確保所有方面都受到保護(hù)。這與保護(hù)數(shù)據(jù)庫或網(wǎng)絡(luò)一樣重要。”

我們的日常生活和個(gè)人數(shù)據(jù)越來越與計(jì)算機(jī)系統(tǒng)交織在一起。隨著現(xiàn)代社會數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當(dāng)務(wù)之急。特別是在像GDPR這樣的組織制定了數(shù)據(jù)法律的情況下，公司比以往任何時(shí)候都更加重要地保護(hù)其私有數(shù)據(jù)和客戶數(shù)據(jù)。

機(jī)器學(xué)習(xí)模型的更高安全性將使數(shù)據(jù)科學(xué)界和AI技術(shù)的日常用戶受益。在2020年上半年，我們看到了IBM抵制面部識別技術(shù)。重要的是，更多大型公司應(yīng)退后一步，將安全和社會影響放在開發(fā)之前。想了解更多關(guān)于網(wǎng)絡(luò)安全的信息，請繼續(xù)關(guān)注中培偉業(yè)。