AlphaZero

AlphaZero — нейронная сеть, разработанная компанией DeepMind, которая использует обобщённый подход AlphaGo Zero. 5 декабря 2017 года коллектив DeepMind выпустил препринт программы AlphaZero, которая после тренировки в течение 24 часов смогла победить чемпионов мира среди программ по играм в шахматы, сёги и го (Stockfish, Elmo и трехдневный вариант AlphaGo Zero соответственно[1]). Таким образом, в настоящее время искусственный интеллект AlphaZero является сильнейшей из всех программ для игр в сёгу и го. В шахматы силу AlphaZero нельзя оценить на данный момент, по причине нехватки партий, они не игрались с 2017 года.

Отличия от AlphaGo Zero

AlphaZero (AZ) — это более обобщенный вариант алгоритма AlphaGo Zero (AGZ), который, кроме го, умеет также играть в сёги и шахматы. Различия между AZ и AGZ заключаются в том, что:

  • AGZ имеет жёстко заданные правила для установленного поиска гиперпараметров.
  • Нейронные сети обновляются постоянно.
  • Го (в отличие от шахмат) симметрична относительно определённых отражений и поворотов; AGZ был запрограммирован так, чтобы воспользоваться этими симметриями, AZ — нет.
  • Партии в шахматы и сёги (в отличие от Го) могут закончиться вничью, поэтому AZ должна учитывать возможность ничейного исхода игры.

AlphaZero против Stockfish и Elmo

В то время как традиционные программы оценивают позиции в игре по признакам на основе опыта гроссмейстеров, AlphaZero использует для оценки глубокие нейронные сети, что требует больше времени на одну позицию. AlphaZero анализирует лишь 80 000 позиций на секунду в шахматах и 40 000 в сёги, по сравнению с 70 миллионов для Stockfish и 35 миллионов для Elmo. AlphaZero компенсирует низкое количество оценок в секунду использованием поиска Монте-Карло, таким образом, сосредотачиваясь гораздо более избирательно на наиболее перспективных вариантах.

Результаты

Шахматы

В шахматных партиях AlphaZero против Stockfish 8 каждая программа имела по одной минуте времени на ход. AlphaZero имела лучшее компьютерное оборудование относительно Stockfish. Из 100 игр с нормального начального положения AlphaZero выиграл 25 партий белыми, 3 чёрными и свёл вничью оставшиеся 72.[2]

Сёги

В ста играх в сёги против Elmo AlphaZero выиграл девяносто раз, восемь раз проиграл и две партии завершились вничью.

Го

После 8 часов самостоятельного обучения игры в го, в матчах против предыдущей версии AlphaZero, AlphaZero выиграл шестьдесят игр и проиграл сорок.

Критика

Некоторые гроссмейстеры, такие как Хикару Накамура и создатель Комодо Ларри Кауфман, подчеркнули, что силу AlphaZero не надо преувеличивать, утверждая, что результаты матча были бы другими, если бы программа имела доступ к дебютным базам (поскольку Stockfish был оптимизирован под этот сценарий)[3]. AlphaZero победила Stockfish, лишив последнего доступа к дебютным базам и эндшпильным таблицам, играя с намного лучшим компьютерным оборудованием, чем у противника[4][5]. Stockfish также была ограничена по времени принятия хода: нетипичный контроль времени, 1 минута на ход, не позволял глубоко задумываться в критических позициях. Кроме того, использовалась версия Stockfish 8, вышедшая год назад. Все четыре обстоятельства: нехватка мощности, ограничение по времени, отключение дебютной книги и использование устарелой версии внесли свой вклад в поражение Stockfish.

Сообщество программистов компьютерной игры в сёги также не полностью удовлетворено условиями матча AlphaZero — Elmo.[6][7]

Статья в Science

DeepMind опубликовала в декабре 2018 г. статью в журнале Science[8]. AlphaZero работал не на суперкомпьютере, а на 4 TPU и CPU с 44 ядрами.

Шахматы

Был использован движок Stockfish 8 на компьютерной мощности, аналогичной AlphaZero. Контроль времени — 3 часа плюс 15 секунд на ход. Из 1000 партий AlphaZero выиграл 155 партий, 6 проиграл, остальные закончились вничью. В серии игр с заданными начальными положениями AlphaZero выиграл 95 партий из 100.[9]

Сёги

AlphaZero выиграл 98,2 % партий чёрными и 91,2 % из всех.

Реакция

Газеты вышли с заголовками, что обучение шахматам заняло только четыре часа: «это было сделано за время чуть большее, чем промежуток между завтраком и обедом»[10]. Wired раскрутили AlphaZero как «первый искусственный интеллект, который является чемпионом многих настольных игр»[11].

«Мне всегда было интересно, как это будет, когда высшие существа приземлятся на землю и покажут нам, как они играют в шахматы», — заявил датский гроссмейстер Питер Хейне Нильсен в интервью Би-би-си, «теперь я знаю». Норвежский гроссмейстер Йон Людвиг Хаммер охарактеризовал AlphaZero как «сумасшедшие атакующие шахматы» с глубокой позиционной игрой. Бывший чемпион мира Гарри Каспаров сказал: «это замечательное достижение, даже несмотря на то, что мы уже ожидали нечто подобное после успехов AlphaGo»[12].

Гарри Каспаров назвал эту игру «шахматами из другого измерения», которые «потрясли [игру] до самого основания»[13].

Примечания

  1. ↑ Silver, David; et al. (5 декабря 2017). Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm. arXiv:1712.01815 [cs.AI]. {{cite arXiv}}: Явное указание et al. в: |last2= (справка)
  2. ↑ 'Superhuman' Google AI claims chess crown. BBC News. 6 декабря 2017. Архивировано 8 декабря 2017. Дата обращения: 7 декабря 2017.
  3. ↑ Google's AlphaZero Destroys Stockfish In 100-Game Match. Chess.com. Архивировано 7 декабря 2020. Дата обращения: 7 декабря 2017.
  4. ↑ Knapton, Sarah (6 декабря 2017). Entire human chess knowledge learned and surpassed by DeepMind's AlphaZero in four hours (англ.). Telegraph.co.uk. Архивировано 7 декабря 2017. Дата обращения: 6 декабря 2017.
  5. ↑ Vincent, James (6 декабря 2017). DeepMind's AI became a superhuman chess player in a few hours, just for fun. The Verge. Архивировано 2 декабря 2020. Дата обращения: 6 декабря 2017.
  6. ↑ コンピュータ将棋 レーティング. Дата обращения: 13 декабря 2017. Архивировано из оригинала 8 декабря 2017 года.
  7. ↑ Silver, David; Hubert, Thomas; Schrittwieser, Julian; Antonoglou, Ioannis; Lai, Matthew; Guez, Arthur; Lanctot, Marc; Sifre, Laurent; Kumaran, Dharshan; Graepel, Thore; Lillicrap, Timothy; Simonyan, Karen; Hassabis, Demis (5 декабря 2017). Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm. arXiv:1712.01815 [cs.AI].
  8. ↑ Silver, David[англ.]; Hubert, Thomas; Schrittwieser, Julian; Antonoglou, Ioannis; Lai, Matthew; Guez, Arthur; Lanctot, Marc; Sifre, Laurent; Kumaran, Dharshan; Graepel, Thore; Lillicrap, Timothy; Simonyan, Karen; Hassabis, Demis. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play (англ.) // Science : journal. — 2018. — 7 December (vol. 362, no. 6419). — P. 1140—1144. — doi:10.1126/science.aar6404. Архивировано 19 декабря 2018 года.
  9. ↑ Pete (Pete). AlphaZero Crushes Stockfish In New 1,000-Game Match (амер. англ.). Chess.com. Дата обращения: 19 августа 2022. Архивировано 12 ноября 2020 года.
  10. ↑ Badshah, Nadeem (7 декабря 2017). Google's DeepMind robot becomes world-beating chess grandmaster in four hours. The Times of London. Архивировано 7 декабря 2020. Дата обращения: 7 декабря 2017.
  11. ↑ Alphabet's Latest AI Show Pony Has More Than One Trick. WIRED. 6 декабря 2017. Архивировано 7 декабря 2020. Дата обращения: 7 декабря 2017.
  12. ↑ Gibbs, Samuel (7 декабря 2017). AlphaZero AI beats champion chess program after teaching itself in four hours. The Guardian. Архивировано 7 декабря 2020. Дата обращения: 8 декабря 2017.
  13. ↑ Киссинджер, Шмидт, Хоттенлокер, 2022, с. 14.

Литература

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.