內容字號:默認大號超大號

段落設置:取消段首縮進段首縮進

字體設置:切換到微軟雅黑切換到宋體

業界資訊軟件之家
Win10之家WP之家
iPhone之家iPad之家
安卓之家數碼之家
評測中心智能設備
精準搜索請嘗試:精確搜索

“人工智障”拖垮“人工智能”,智能體如何應對訓練中的故意碰瓷兒?

2019/12/31 12:54:42來源:作者:曹培信責編:懶貓評論:

人們通常會派出最強大的選手和場景訓練人工智能,但是,智能體如何應對訓練中故意碰瓷兒的“弱”對手呢?

來看看下邊的兩個場景:兩個AI智能體正在“訓練場“進行一場激烈的足球賽,一個守門、一個射門。當守門員忽然自己摔倒,攻方沒有選擇乘勝追擊,也忽然不知所措了起來。

偷窥438 电影在相撲的規則下也一樣,當其中一個隊員開始不按套路出牌時,另一個對手也亂作一團,雙方立刻開始毫無規則扭打在一起。

偷窥438 电影這樣“人工智障”的場景可不是隨意配置的游戲,而是一項對AI對抗訓練的研究。

我們知道,通常情況下,智能體都是通過相互對抗來訓練的,無論是下圍棋的阿法狗還是玩星際爭霸的AlphaStar,都是通過海量的對局來訓練自己的模型,從而探索出獲勝之道。

但是試想一下,如果給阿法狗的訓練數據都是圍棋小白亂下的對局,給AlphaStar提供的是小學生局,結果會是如何?

近期,來自伯克利的研究人員就進行了這樣的實驗。紅色機器人與已經是專家級別的藍色機器人進行對抗訓練,紅色機器人采取一定的對抗策略攻擊藍色機器人進行的深度學習。這項研究的論文作者也在NIPS大會上對該研究進行了展示。

論文鏈接:http://arxiv.org/pdf/1905.10615.pdf

在實驗中,紅色機器人為了不讓藍色機器人繼續從對抗中學習,沒有按照應有的方式玩游戲,而是開始“亂舞”起來,結果,藍色機器人開始玩得很糟糕,像喝醉了的海盜一樣來回搖晃,輸掉的游戲數量是正常情況下的兩倍。

研究發現,在采取對抗性政策的對局中,獲勝不是努力成為一般意義上的強者,而是采取迷惑對手的行動。研究人員通過對對手行為的定性觀察來驗證這一點,并發現當被欺騙的AI在對對手視而不見時,其表現會有所改善。

我們都知道,讓人工智能變得更聰明的一個方法是讓它從環境中學習,例如,未來的自動駕駛可能比人類更善于識別街道標志和避開行人,因為它們可以通過海量的視頻獲得更多的經驗。

偷窥438 电影但是如果有人利用這一方式進行研究中所示的“對抗性攻擊”——通過巧妙而精確地修改圖像,那么你就可以愚弄人工智能,讓它對圖像產生錯誤的理解。例如,在一個停車標志上貼上幾個貼紙可能被視為限速標志,同時這項新的研究也表明,人工智能不僅會被愚弄,看到不該看到的東西,還會以不該看到的方式行事。

這給基于深度學習的人工智能應用敲響了一個警鐘,這種對抗性的攻擊可能會給自動駕駛、金融交易或產品推薦系統帶來現實問題。

論文指出,在這些安全關鍵型的系統中,像這樣的攻擊最受關注,標準做法是驗證模型,然后凍結它,以確保部署的模型不會因再訓練而產生任何新問題。

因此,這項研究中的攻擊行為也真實地反映了在現實環境中,例如在自動駕駛車輛中看到的深度學習訓練策略,此外,即使被攻擊目標使用持續學習,也會有針對固定攻擊目標進行訓練的策略,攻擊者可以對目標使用模擬學習來生成攻擊模型。

或者,在自動駕駛車輛,攻擊者可以通過購買系統的副本并定期在工廠重置它,一旦針對目標訓練出了敵對策略,攻擊者就可以將此策略傳輸到目標,并利用它直到攻擊成功為止。

研究也對今后的工作提出了一些方向:深度學習策略容易受到攻擊,這突出了有效防御的必要性,因此在系統激活時可以使用密度模型檢測到可能的對抗性攻擊,在這種情況下,還可以及時退回到保守策略。

分享:

相關文章

關鍵詞:人工智能

IT之家,軟媒旗下科技門戶網站 - 愛科技,愛這里。

Copyright (C)RuanMei.com, All Rights Reserved.

軟媒公司版權所有