連水軍都要失業了，因為AI水軍來了態度
無論是中國還是美國，很多人在選擇餐館或者酒店的時候，主要依靠網上的點評，比方說大眾點評或者Yelp等等。
某種程度上，口碑已經成為不少企業的命脈，變成服務和產品質量的永久記錄。與此同時，不公平或者虛假的點評也讓企業憂心忡忡，這些有可能來自憤怒的顧客，也有可能來自競爭對手。
水軍，在全球都是一個讓人頭疼的問題，以后可能會更疼了：
人工智能（AI）已經學會自動編寫虛假點評了。
整個點評口碑界正面臨潛在卻是嚴重的沖擊。如果AI創造的虛假點評泛濫，最終將導致全部點評信息可信度急劇下降。技術進步，這一次又給社會帶來了（令人擔憂的）影響。
不知道許知遠會不會更焦慮了。
“這對整個社會是一個巨大的威脅，不但會讓依靠點評信息的用戶失望，而且會動搖人類對于真實和虛假的信念，我認為后者更讓人擔心”，芝加哥大學計算機科學教授趙燕斌（Ben Y． Zhao）說。
以假亂真
《在線點評系統中的自動眾包攻擊和防御》是趙燕斌等芝加哥大學研究人員發布的一篇論文。他們的研究說明，人工智能可以被用來生成復雜的點評信息。這些虛假的點評不僅機器無法檢測出來，就連人類讀者也分辨不出來。
這篇論文今年晚些時候會在計算機安全頂級會議ACM CCS上展示。
所謂復雜的點評信息，大概是這個樣子：“我喜歡這個地方。我跟我哥一起去的，我們點了素食意大利面，很好吃。啤酒不錯，服務也很棒。推薦這個地方，是個吃早餐的好去處。地兒小但是買賣大”。
乍一看這個點評沒有什么奇怪的，里面包含一些具體的建議和可信的描述，雖然最后一句有點奇怪，但整體仍然是一段說人話的表達。
實際上，這句話是一種稱為RNN（循環神經網絡）的深度學習技術生成的。這個RNN網絡使用了上千條真實在線點評訓練而成。
研究人員表示，AI生成的點評已經做到了“以假亂真”，有600個用戶參與的調查顯示，這些虛假的點評不僅能逃過人類的法眼，而且還被用戶認為“有用”。
“有用”是更可怕的事情：這表明虛假點評已經可以對人類造成影響。
反抄襲軟件也對這些虛假點評無能為力，因為這些點評是逐字生成的，而不是簡單的替換已有點評中的用詞。如果使用反抄襲軟件檢測，不但很難檢測出虛假點評，而且會“誤傷”一大批真實的點評。RNN可不僅僅是對現有點評的復制。
人類水軍面臨下崗
人類手寫的虛假點評，已經是一個興盛的地下行業。只要有錢，你就能找到人幫你的產品寫下正面的點評，后者給對手寫下負面的評價。
現在，傳統水軍行業未來可能也要被AI取代了。
美國市場上，一段質量較高的Yelp點評，可能價格能到10美元。不過一旦有了AI的幫助，君心叵測的人可以一分錢不用就生成上千條點評，而且一起放出以免引起懷疑。
好消息是，現在還沒有AI在現實世界中生成惡意虛假點評的案例。
壞消息是，構建一個這樣的人工智能系統，并不需要太長的時間，所需硬件市面上都能買到，所需的點評數據庫可以在網上輕易獲得。
仍有對策
如果有人開始大規模生產這種假點評，大眾點評、Yelp這樣的網站恐怕就沒有好日子過了，畢竟，它們的招牌就是來自用戶的真實點評，如果每一條都可能是假的，誰又會繼續相信它們呢？
接下來淪陷的，會是淘寶京東亞馬遜之類的電商，雖然趙燕斌說至少它們還能限制只有買過該商品的用戶才能點評，但情況也不容樂觀。
不過，也有好消息。
研究者們說，這種假點評也不是完全沒法防范，人類覺得它們能以假亂真，但機器不見得這么看。用計算機去分析字符的分布等特征，他們就會發現真假點評之間存在著細微的差異。
假點評是從真實點評里學出來的，在這個過程中，難免會有信息流失。假點評注重的是流暢、可信，但像字符分布這種平時沒人關注的特征，就做得不那么好了。
“在訓練過程中發生的信息遺失，會傳遞到生成出的文本中，”研究者們在論文中寫道，“因此生成文本和人類文本在基本字符分布上，有著統計上可檢測的差異。”
當然，攻擊者也可以騙過檢測，換好一點的硬件，做更復雜一點的神經網絡就行。但這種檢測的意義在于至少提高了攻擊的門檻，為他們設置了一些障礙。
如果攻擊的成本高到一定程度，大部分沒那么執著的攻擊者也就收手了。趙燕斌說：“這就是一種勝利，所有的安全工作都是這樣，提高攻擊的門檻。你永遠沒辦法阻止那種目標堅定、身手老練的攻擊者。”
在一份郵件聲明中， Yelp發言人Rachel Youngblade說他們“很欣賞這份研究指出了隨著欺騙點評系統的方法持續進化，越來越復雜，Yelp這類大型用戶點評網站在保障內容真實性上面臨著重大挑戰。十年來，Yelp一直有保護內容的系統，而正因為欺騙手段越來越復雜，我們也持續迭代這些系統，來識別假點評，以及偏頗、沒有幫助的內容。這份研究的作者們以Yelp系統作為‘真實’的代表，并承認它的有效性，我們非常感激。”
“不過，這份研究創造的僅僅是看起來真實的點評文本，Yelp的推薦軟件使用了更整體的方法，除了文本之外，還使用了很多其他因素來決定是否推薦一條點評。如果某條點評沒有價值或有失偏頗，就算它是人類做出的，我們也不會推薦。”
不止于點評
點評是測試文本生成技術的理想場所。這個領域有明確的方向和目的，主體單一，遵循一個相當標準的結構，而且不長。#虛假點評越長，越容易被發現問題#
但技術不會止步于此。
“所以，我們只是從在線點評開始。你能相信某某人說的那些關于餐館、商品的話嗎？但這類研究還會繼續進步。”
“它會進步到更大的攻擊，可能博客上的整篇文章都完全是由機器人根據某個主題自動生成的，這時候你就真的得想想信息是哪來的、如何驗證……這是我們所有人過些年將要面對的，一個更大的挑戰。”
趙燕斌說他想傳遞的信息很“簡單”：“我希望人們能關注這類攻擊途徑，把它們看做真實、迫切的威脅，”如果Yelp、亞馬遜這些網站的工程師們還沒有開始考慮如何抵御，他希望他們立刻開始思考。
教授希望“我們希望能吸引更多注意，不僅為了設計出能防御這類攻擊的系統，還想讓更多人從平凡的視角，看到‘好AI’帶來的威脅。”
“我認為，那么多人都在關注奇點、天網這些引人注目的AI威脅，但是那些很好很好的AI，能帶來很多更實際的、有顯示影響的威脅，而這只是冰山一角。”
他補充說：“所以，我以希望安全界的人能和我一起，關注這類問題，這樣我們才有希望趕上。我認為，AI以驚人的速度和加速度在發展，如果我們不立刻開始研究如何抵御，可能永遠都趕不上了。”
來源：量子位/李林 問耕
1.砍柴網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；2.砍柴網的原創文章，請轉載時務必注明文章作者和"來源：砍柴網"，不尊重原創的行為砍柴網或將追究責任；3.作者投稿可能會經砍柴網編輯修改或補充。
京公網安備 11010502032797號