在很多競技射擊游戲中，你都能看到一種名為「奪旗模式」的玩法。它源于西方一項傳統運動，玩家被組成兩支小隊，目標是把對方基地里的旗幟帶回到自己基地中，同時也要保護自家旗子不被人搶走。
規則看似很簡單，可比起強調擊殺得分的玩法，奪旗模式對于團隊配合和戰術執行也會更高，這往往需要幾名玩家在進攻和防守之間取得一個平衡點。
▲ 圖片來自：DeepMind
但這依舊沒有難倒開發出 AlphaGo 的 DeepMind 實驗室。據 Arstechnica 報道，在本周四的《Science》雜志上，該公司發表了一篇新的論文，稱新設計出來的 AI 程序已經能在《雷神之錘 3》游戲里展現出和人類一樣的行動方式，還能在奪旗模式中戰勝人類隊伍。
這也是繼《星際爭霸 2》和《Dota 2》后，DeepMind 攻破的又一款復雜競技游戲。
想要讓 AI 玩好競技射擊類游戲，難點是什么？
在《AlphaGo》電影中，DeepMind 創始人 Demis Hassabis 曾簡單描述了讓 AI 理解圍棋玩法的難點。
他說，相比于西洋棋，圍棋里的每顆棋子都擁有更多可以走的路徑選擇，最終整個棋局可變化的數目，要比全宇宙的原子總數還要多。
而 DeepMind 實驗室的挑戰，就在于去發明一種可以效仿人類直覺的高級算法，最終讓它們能夠像人類一樣進行決策，展開行動。
換成是第一人稱射擊游戲中的奪旗模式，AI 還需要有更快的實時決策能力，比如思考在什么時間點做什么事是正確的？如果兩隊的分差較大，又該如何協調身邊的隊友，采取什么策略才能扳回比分？
為了解決這個問題，DeepMind 實驗室建立了一套新的雙層學習系統。
在內層，DeepMind 會讓 AI 專注于競技比賽的核心目標，也就是贏得勝利，基于這個點，AI 會再為整個游戲建立數個次級目標，由此來尋求取勝的最短路徑，比如跟隨隊友，或是在敵人的基地附近游走。
這里有一些具象化的東西，比如在訓練過程中，DeepMind 團隊采取了「優勝劣汰」的流程，讓 AI 將每一輪模擬賽里表現最差的方案淘汰掉，然后再把最優秀方案中的突出部分共享出來，反復改進整個決策樹。
而外層部分，則會根據內層的決策情況來調整其它模塊。比如說當內層認為防守戰術是現在最好的選擇，外層就會提升 AI 對于四周環境的視覺感知能力，這樣當敵人靠近基地時，AI 便能更快地實現射殺。
這么看下來，DeepMind 開發的這套 AI 還是和人類很相似的，它的內層就像是人類的「大腦」，主要負責戰術策略；而外層則可以當作人類的「眼睛和雙手」，負責執行環節。
確定模型后，接下來就是一遍又一遍的訓練了。這次 DeepMind 團隊投入了約三周時間，讓 AI 進行了 45 萬局游戲，相當于人類玩家耗費 4 年時間積累的游戲經驗，效率依舊驚人。
在進行到約 10 萬場訓練時，AI 隊伍已經達到普通人類玩家的水平；而在 20 萬局訓練后，AI 隊伍已經能擊敗職業玩家，而且優勢還在逐漸擴大。
另外，研究人員還在訓練期間發現了一些額外的驚喜。比如 AI 會從神經網絡分出一部分神經元，專門用于確認身邊隊友是否拿到的旗子。
團隊還使用了隨機生成的地圖場景，為的就是不讓 AI 靠背板地圖來取勝。
AI 之所以強，不僅因為戰術，還有騷操作
AI 在游戲中戰勝人類，靠的是什么？DeepMind 曾表示，這是基于強化學習算法下的策略。
但也有不少人認為，AI 在競技游戲中的真正優勢是超高的手速和操作效率，而且很多都是人類玩家無法做到的。
原因很簡單，我們玩電腦游戲時需要用到鼠標、鍵盤和手柄，我們要做出一項操作，都得先讓大腦意識反饋到手指上，然后再傳到游戲中。
但人類選手們面對的 AI 并不是機器人，它們沒有實體，所以下達指令時并不需要借助手柄等交互工具，這等于是砍掉了中間流程，自然是能獲得雙倍效率。
▲ 圖片來自：The Verge
這在實際游戲中也有所體現。在今年年初的《星際爭霸》AI 對抗賽中，職業選手每分鐘的平均操作數為 250-500 左右，而 AI 則可以飆到 1000+，且大部分都是有效操作，意味著它可以在極短時間內下達更多的復雜指令。
而本次《雷神之錘 3》比賽中，據統計，人類的反應時間只有 AI 的一半，且后者的射擊精確度可以達到 80%，而人類只有 50%。
之后，哪怕是 DeepMind 稱已經將 AI 的響應時間調整至和人類相似的水平，人類戰隊依舊只能保證約 30% 左右的勝率，證明在戰術執行和決策部分，AI 依舊擁有一定的優勢。
這其實也是沒辦法的事情，單從訓練量來說，DeepMind 的 AI 在兩周時間內玩的局數，相積累了大約 200 年的游戲時間。
難怪也有人評價，這種比賽毫無意義，因為 AI 本身就是外掛般的存在。
但人類也并非毫無優勢，比如在射擊游戲中的遠距離狙擊場景，職業玩家會展現出更好的視覺能力。
所幸，我們暫時不用擔心在游戲中碰到這么強的 AI 對手。畢竟從游戲開發的角度說，如果 AI 太聰明，看破了你的一切招數，玩家會心生明顯的受挫感，玩游戲就直接變成了一件找虐的事情，游戲估計就賣不出去了。
此外，比起游戲，我們在現實世界中還有很多值得 AI 投入的領域，《紐約時報》就發表評論認為，這些 AI 技能可以運用在倉儲管理機器人上，還有自動駕駛系統等。
在 DeepMind 眼中，電子游戲僅僅是一塊敲門磚，AI 真正需要掌握的是獨立理解一個世界的能力，以及達成目標的手段，那么就算換成是現實世界，它也可以很好地幫助人類。
【來源：愛范兒】
