發布日期：2022-10-09 點擊率：50
游戲是人工智能研究的完美實驗環境。在游戲環境中，可用于訓練人工智能模型的數據是近乎無限、低成本、可復制，相比現實世界的經驗更容易獲得。這些特點正幫助 Facebook 人工智能實驗室（FAIR）探索一些短期目標，如復雜游戲環境中多個人工智能的能力；以及長期目標：讓人工智能應對現實世界的挑戰。游戲研究可以幫助我們構建能夠進行計劃、具有理性、自我導航、解決問題、合作與交流的人工智能。
盡管使用游戲進行訓練能夠帶來多種好處，但研究者們在游戲環境中進行探索可能會遇到很多困難。由于目前機器學習算法的諸多限制，訓練需要成百上千的游戲局數，這需要大量的計算資源，如配備大量 CPU、GPU 或定制硬件的高性能計算平臺。此外，這些算法是復雜而難以進行微調的。而隨著訓練環境中增加更多的人工智能代理，這些變量將更加難以控制。
為了解決這些問題，讓所有人都能參與人工智能的研究。FAIR 團隊創造了 ELF：一個大范圍、輕量級且易于使用的游戲研究平臺。ELF 可以讓研究者們在不同的游戲環境中測試他們的算法，其中包括桌游、Atari 游戲（通過 Arcade Learning Environment），以及定制的即時戰略游戲（RTS）。它們可以運行在帶有 GPU 的筆記本電腦上，而且支持在更為復雜的游戲環境中訓練 AI，例如即時戰略游戲——僅僅使用 6 塊 CPU，一塊 GPU，花上一天時間。
FAIR 的研究者們將 ELF 的界面設計得易于使用：ELF 在 C/C++界面中運行所有游戲，自動處理并發問題如多線程/多任務。另外，ELF 還有一個純凈的 Python 用戶界面，提供了一批可供訓練的游戲狀態。ELF 也支持游戲以外的用途，它包括物理引擎等組件，可以模擬現實世界的環境。
目前，ELF 平臺已經開源，開發者和研究者們可以在 GitHub 中找到它：
https://github.com/facebookresearch/ELF
相關論文也已發表在 arXiv 中：https://arxiv.org/abs/1707.01067
架構
ELF 的架構相對簡單，它包含一個能夠主持多個在 C++端運行并發游戲示例的模擬器，同時在 Python 端與 AI 模型（深度學習、強化學習等）溝通。
與其他在一個界面包含單個游戲的 AI 平臺不同，ELF 能把一批游戲包括進一個 Python 界面。這使得模型和強化學習算法能夠在每次迭代中包含一批游戲狀態，降低了訓練模型所需的時間。
我們也在游戲推斷和參與者模型（actor model) 之間建立配對靈活性。使用該框架，非常容易用一個參與者模型配對特定的游戲示例，或者一個示例配對許多參與者模型，或者許多示例配對一個參與者模型。這樣的靈活性能夠快速的構建算法原型，幫助研究員更快地理解哪個模型有更好的表現。
在 FAIR 早期的實驗中，ELF 能進行更快的模擬，使用同樣數量的 CPU 和 GPU 相比于 OpenAI Gym 玩 Atari 游戲可以提高 30% 的訓練速度。當增加更多的核心之后，ELF 每核的幀率保持穩定。
下一篇： PLC、DCS、FCS三大控
上一篇： 索爾維全系列Solef?PV
