---

“擊敗星海爭霸II職業玩家”的 AlphaStar是在作弊？

機器之心 ·  2小時前

DeepMind 擊敗人類職業玩家的方式與他們聲稱的 AI 使命，以及所聲稱的『正確』方式
完全相反。

編者按：本文來自微信公眾號“機器之心”（ID：almosthuman2014），作者 機器之心編
輯部。36氪經授權轉載。

DeepMind 的人工智慧 AlphaStar 一戰成名，擊敗兩名人類職業選手。掌聲和歡呼之餘，
它也引起了一些質疑。


近日，Aleksi Pietikäinen 在 Medium 上發表了文章，提出了幾點疑問，在 Twitter
和 Reddit 上引起了極大的關注：

    AlphaStar 使用了超人的速度，達到了超人的準確度。

    DeepMind 稱限制了 AI 的操作速度，不至於人類無法企及。但他們並未做到，且大
概率意識到自己沒做到。

    AlphaStar 擁有超人速度的原因可能是忘了考慮人類的無效點擊。作者懷疑
 DeepMind 想限制它使它更像人類，但是卻沒有做到。我們需要一些時間弄清楚這一點，
不過這也正是作者寫本文的原因。






讓我們看看 AlphaStar 究竟哪裡「作弊」了，以下為機器之心對該文章的編譯介紹：



AlphaStar 的超人速度

AlphaStar 團隊領導 David Silver：「AlphaStar 不能比人類選手反應速度快，也不會
比人類選手執行更多點擊。」



在 WCS2018 上，Serral 的毒爆蟲讓局勢逆轉。





一分鐘 1500 個動作意味著一秒 25 個動作。人類是無法做到的。我還要提醒大家，在星

海 2 這樣的遊戲中，5 秒是很長一段時間，尤其是在大戰的開始。

如果比賽前 5 秒的超人執行速度使 AI 占了上風，那麼它以大幅領先優勢獲取勝利可能
是由於雪球效應。

一位解說指出平均 APM 仍是可接受的，但很明顯這種持續時間並非人類所能為。

AlphaStar 的無效點擊、APM 和外科手術般的精准打擊



1. 無效點擊是人類想要加快操作速度的自然結果。

2. 幫助活躍手指肌肉。

我們前面說過 Serral 最令人震驚的不是他的速度而是準確度。Serral 不只是具備高
 APM，還具備非常高的 effective-APM（下文中簡略為 EAPM），即僅將有效動作計算在
內的 APM。

一位前職業玩家在看到 Serral 的 EAPM 後發推表示震驚：

Serral 的 EAPM 是 344，這實際上已經是前所未有了。APM 和 EAPM 的區別也涉及
 AlphaStar。如果 AlphaStar 沒有無效動作，這是不是說明它的巔峰 EAPM 等於巔峰
 APM？這樣的話 1000+的爆發更加非人類了。



AlphaStar 只能執行人類選手可以複製的動作？David Silver 不認同這種看法。


正確做事 vs 快速做事

AlphaStar 的首席設計工程師 Oriol Vinyals：我們正在努力構建擁有人類驚人學習能力
的智慧系統，因此確實需要讓我們的系統以盡可能「像人類一樣」的方式學習。

例如，通過非常高的 APM，將遊戲推向極限可能聽起來很酷，但這並不能真正幫助我們衡
量智慧體的能力和進步，使得基準測試毫無用處。

為什麼 DeepMind 想限制智慧體像人類一樣玩遊戲？為什麼不讓它放飛自我？原因是星海
爭霸 2 是一個可以通過完美操作攻破的遊戲。

在這個 2011 年的視頻（https://www.youtube.com/watch?v=IKVFZ28ybQs）中，AI 攻擊
一組坦克，其中一些小狗實現了完美的微操。例如，在受到坦克攻擊時讓周圍的小狗都躲
開。

通常情況下，小狗不能對坦克做出太大 傷害，但由於 AI 完美的微操，它們變得更加致
命，能夠以最小的損失摧毀坦克。

當單元控制足夠好時，AI 甚至不需要學習策略。而在沒有這種微操時，100 只小狗沖進
 20 架坦克中只能摧毀兩架坦克。



並不一定對創建可以簡單擊敗星海爭霸專業玩家的 AI 感興趣，而是希望將這個項目作為
推進整個 AI 研究的墊腳石。

雖然這個研究項目的重要成員聲稱具有人類極限限制，但事實上智慧體非常明顯地打破了
這些限制，尤其是當它利用超人速度的操作來贏得遊戲時，這是完全無法讓人滿意的。

AlphaStar 能夠在單位控制方面超越人類玩家，當遊戲開發者仔細平衡遊戲時，肯定不會
去考慮這一點。這種非人類級別的控制可以模糊人工智慧學習的任何戰略思維評估。




這是專業人士在以 1-5 的比分輸掉比賽之後所說的 AI 優點和缺點：

MaNa：它最強的地方顯然是單位控制。在雙方兵力數量相當的情況下，人工智慧贏得了所
有比賽。在僅有的幾場比賽中我們能夠看到的缺點是它對於技術的頑固態度。

AlphaStar 有信心贏得戰術上的勝利，卻幾乎沒有做任何其它事情，最終在現場比賽中也
沒有獲得勝利。我沒有看到太多決策的跡象，所以我說人工智慧是在靠操作獲得勝利。

在 DeepMind 的 Replay 講解和現場比賽之後，星海爭霸玩家群體幾乎一致認為
 AlphaStar 幾乎完全是因為超人的速度、反應時間和準確性而獲得優勢的。

與之對抗的職業選手似乎也同意。有一個 DeepMind 團隊的成員在職業玩家測試它之前與
 AlphaStar 進行了比賽。他估計也同意這種觀點。

David Silver 和 Oriol Vinyal 不斷重複聲稱 AlphaStar 如何能夠完成人類可以做的事
情，但正如我們已經看到的那樣，這根本不是真的。

在這個視頻中關於「AlphaStar 如何能夠完成人類可以做的事情」的描述非常粗略。
為什麼 DeepMind 允許 AlphaStar 擁有超人的操作能力


現在讓我們回顧一下這篇文章的主要觀點：

    我們知道了 APM、EAPM 和無效點擊等概念；

    我們對人類玩家操作能力的上限有一個粗略的瞭解；



    我們知道，DeepMind 的目標不是創建一個只能微操的 AI，或者以從未打算過的方式
濫用技術；

    令人難以置信的是，在 DeepMind 的星海爭霸 AI 團隊中沒有人質疑爆發的 1500+



這是我對事情真相的猜測：

1）在專案一開始，DeepMind 同意對 AlphaStar 施加嚴格的 APM 限制。因此 AI 不會在
演示中出現超人的操作速度。如果讓我來設計這些限制，可能包含如下幾項：

    整場比賽的平均 APM；

    在短時間內爆發的最大 APM。我認為每秒加上 4-6 次點擊是合理的。還記得




2）接下來，DeepMind 會下載數以千計高排名的業餘遊戲視頻並開始模仿學習。在這個階
段，智慧體只是試圖模仿人類在遊戲中所做的事情。





AlphaStar 的首席設計工程師 Oriol Vinyals：訓練人工智慧玩低 APM 非常有趣。在早
期，我們讓智慧體以非常低的 APM 進行訓練，但它們根本沒有微操。

5）為了加速開發，他們改變 APM 限制以允許高速爆發。以下是 AlphaStar 在演示中使
用的 APM 限制：



這相當於通過統計數字作弊。乍一看，對星海不太瞭解的人可能會覺得這樣做很合理，但
它會允許我們之前討論的超人速度爆發以及超人滑鼠精度，這是不太合理的。

人類進行無效點擊的速度是有限的。最典型的無效點擊形式是對一個單位發出移動或攻擊
命令。這是通過用滑鼠點擊地圖某個位置來完成的。



6）自由的 APM 被用於在交戰中進行實驗。這種交互在訓練中經常發生。AlphaStar 開始
學習新的行為以帶來更好的結果，它開始擺脫經常發生的無效點擊。

7）如果智慧體學會了真正有用的動作，為什麼 DeepMind 不回到最初對 APM 更苛刻、更
人性化的限制呢？他們肯定意識到了其智慧體正在執行超人的動作。

星海社區一致認為 AlphaStar 擁有超人的微操技術。人類專家在 ama 中表示，
AlphaStar 的最大優勢不是其單位控制，而其最大的弱點也不是戰略思維。

DeepMind 團隊中玩星海的人肯定也是這麼想的，理由是因為智慧體偶爾還是會進行無效
點擊。

雖然在玩遊戲的大部分時間裡，它能直接執行有效動作，但它還是經常做無效點擊。這一
點在它與 MaNa 的比賽中很明顯，該智慧體在 800APM 上無意義地點擊移動命令。




不要在意這些細節？

現在你明白是怎麼回事兒了。我甚至懷疑人工智慧無法忘記它在模仿人類玩家過程中學習
到的無效點擊行為，因而 DeepMind 不得不修改 APM 上限以允許實驗進行。

這麼做的缺點就是人工智慧有了超越人類能力的操作次數，從而導致 AI 以超越人類的手
速，不用戰術戰略就能打敗人類。





請注意：MaNa 的峰值是 750，而 AlphaStar 高於 1500。想像一下，MaNa 的 750 包含
 50% 的無效點擊，而 AlphaStar 的 EAPM 幾乎完美……



快速鍵盤可以讓人類的 APM 達到不可理喻的高度，比如 15,000 多——但並不會提升你
的有效操作。



DeepMind 的介紹性博客並沒有提到 TLO 荒謬數字的原因，如果沒有解釋，這個數字就不
應該被列在圖中。

這簡直是在統計數字上作弊。

可以說有局限性，可以說潛力巨大




昨天晚上抽空看了一下 DM 的 demonstration 還有 live 的比賽。確實做得很好。

我星海水準很爛，星海 2 也玩得不多，相信大家已經看到了大量的遊戲評論，我就跳過
了。

整個系統和 AlphaGo 第一版很接近，都是先用監督學習學會一個相當不錯的策略，然後
用自對弈（self-play）加強。當然有兩個關鍵的不同點，其一是自對弈用的是
 population-based 以防止掉進局部解（他們之前在 Quake 3 上也用到了）。





星海一個很大的問題是輸出的行動空間（action space）巨大無比，我記得他們在一開始
做的基線（baseline）演算法裡面用了 language model 輸出精確到單位的行動（
unit-level action），但在 DM 的 blog 裡面卻說每個時間節點上只有 10 到 26 種不
同的合法行動。



另外，這次 AlphaStar 沒有用基於模型進行規劃的辦法，目前看起來是完全用經典的
 off-policy actor-critic 加大量 CPU 硬來，就有這樣的效果。







就算是用相當好的模型比如說 OpenGo，要是每盤都不用搜索而只用策略網路的最大概率
值來落子，還是會經常犯錯。

所以說，若是在不完全資訊博弈裡面用上了基於模型（model-based）的方法，並且能夠
穩定地強於無模型（model-free）方法，那在演算法上會是一個比較大的突破。

所以其實深度強化學習還是有很多很多很多沒有解決的問題，你可以說它有很大局限性，
也可以說它潛力巨大。





對應到星海上，人在全域戰略上的優化效率要遠遠高於 AlphaStar，比如說一句「造兩個
鳳凰去滅了那個來空投的棱鏡」，可能就頂 AlphaStar 自對弈幾天幾夜。

這個效率的差距（可能是指數級的）是否可以用大量計算資源去填補，會是和頂尖高手對
局勝敗的關鍵所在。

https://www.36kr.com/p/5174690

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.113.200
※ 文章代碼(AID): #1SJhIvfq (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1548661945.A.A74.html