Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

21.06.2019     

Подразделение Google DeepMind поделилось успехами в разработке ботов, способных играть в Quake III Arena. ИИ научился играть на уровне человека и стал практически непобедим.

Погоня за флагом

Quake III Arena Capture the Flag – трехмерная многопользовательская игра от первого лица и сложная мультиагентная среда. Агент – программный компонент, решающий определенные задачи. Мультиагентные среды для решения сложной задачи используют системы, состоящие из множества взаимодействующих агентов.

На основе Quake III Arena Capture the Flag проводилось обучение ИИ с подкреплением. Боты взаимодействуют с товарищами по команде и демонстрируют высокую производительность.

Исследователи создали парк игроков искусственного интеллекта, которые освоили режим Quake III Capture the Flag, сыграв 450 тыс. матчей, используя технологию обучения DeepMind на случайно сгенерированных картах.

Сложность задачи

Сложность обучения бота-геймера заключается в том, что отдельные агенты должны действовать независимо, но при этом взаимодействовать с другими.

Исследователи выделили три принципа обучения ИИ для решения такой задачи:

  • вместо того, чтобы обучать одного агента, ученые работали с группой, которая учится, играя друг с другом;
  • каждый агент изучает собственный сигнал вознаграждения. Обучение с подкреплением на внутренних поощрениях используется, чтобы выработать совместную тактику;
  • агенты работают в двух временных масштабах – быстром и медленном – чтобы развить способность использовать память и генерировать согласованные последовательности действий.

Схема архитектуры For The Win объединяет повторяющиеся нейронные сети в быстрых и медленных временных масштабах, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение.

 

Схема архитектуры For The Win

 

Точки на графике ниже – шаблоны поведенческих реакций, которые изучают боты. Точки окрашиваются в соответствии с ситуацией, и цветные кластеры указывают, как агенты представляют себе ключевые фрагменты игрового аспекта. Чем ближе две точки находятся в пространстве, тем более организованно и согласованно поведение игровых ботов.

 

График показывает, как агенты представляют себе игровой мир

 

Механика игры

Две команды соревнуются на карте, чтобы захватить флаг противника и защитить собственный. Команда, захватившая наибольшее количество флагов в течение пяти минут, одерживает победу.

Об игре у ботов была та же информация, что и у людей. Всем предоставили изображение игровой локации на экране и информацию о выигрыше. Боты выучили стратегию и научились работать в команде, так что смогли последовательно побеждать противников-людей.

Турнир

Исследователи провели турнир, в котором участвовали 40 людей-игроков. Они случайным образом объединялись с ИИ в одну команду или выступали в качестве противников. Команда профессиональных тестеров противостояла ботам двадцать часов подряд, но победить смогла только в 25% случаев.

Боты научились играть так хорошо, что команда из человека и бота смогла победить команду из двух ботов только в 21% случаев. Карты составлялись случайным образом, но боты научились запоминать расположение объектов, что и способствовало успеху.

Чтобы уравнять шансы с людьми, исследователи ограничили скорость реакции ботов до человеческого уровня, но боты все равно превзошли людей-игроков в 79% случаев. При этом ИИ изучает поведение игроков: следование за товарищами по команде и походы на базу противника.

 

Три примера автоматически обнаруженного поведения, которое демонстрируют обученные агенты

 

Другие достижения ИИ от Google

Ранее Google создал другой непобедимый ИИ. В декабре 2017 года AlphaZero и шахматный движок Stockfish сыграли 100 партий в шахматы. Искусственный интеллект Google победил в 28 партиях, 72 партии закончились ничьей. В 2018 году нейросеть-геймер от Google впервые разгромила человека в стратегии StarCraft II

Победы в играх – не главные цели разработки искусственного интеллекта. Шахматы и аркады – это тестовые площадки, от которых корпорация переходит к серьезным проектам. Задача ИИ в будущем – замена человеческого труда и выполнение исследований, недоступных человеческому разуму. Например, Google презентовал ИИ, который поможет диагностировать офтальмологические болезни

Подробнее о разработке



Источник: https://infostart.ru/journal/news/tekhnologii/podrazdelenie-google-deepmind-obuchilo-ii-igrat-v-quake-luchshe-lyudey_1081433/
Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. ResAndDev 21.06.19 17:14 Сейчас в теме
"Убить всех человеков! Слава роботам!" ("Футурама")
vakham; arakelyan; D_e_X_T_e_R; SKravchenko; +4 Ответить
2. 3vs 21.06.19 17:20 Сейчас в теме
Да, видимо скоро робот София скажет "кожаные ублюдки, вам не место на этой планете"...
arakelyan; +1 Ответить
3. GreenDragon 23.06.19 22:20 Сейчас в теме
(2) смотришь на ботов в WoT и закрадываются сомнения...
Оставьте свое сообщение

См. также

Нейросеть научили создавать изображения по текстовому описанию

Новость Искусственный интеллект ИТ-новость

Разработчики компании OpenAI представили нейронную сеть DALL-E. Она анализирует англоязычный текст и создает изображения на его основе.

сегодня в 11:45    857    user1015646    0       

Разработчики портируют Linux на Mac с процессором M1

Новость Linux Микроэлектроника

Компания Apple представила первые компьютеры на базе процессоров M1 собственной разработки. Разработчик Гектор Мартин решил создать сборку Linux специально для этих компьютеров. 

вчера в 13:37    733    user1015646    4       

10 стартапов в области машинного обучения, за которыми стоит следить в 2021 году

Новость Искусственный интеллект Стартапы

По данным Crunchbase, в 2020 году компании, связанные с искусственным интеллектом и машинным обучением, получили рекордное финансирование – 28 млрд долларов. Представляем список из 10 самых перспективных стартапов в этой области.

вчера в 09:45    645    SKravchenko    0       

Fujifilm и IBM создали ленточный накопитель с рекордным объемом памяти

Новость Дата-центры ИТ-новость Облачные технологии

Fujifilm и IBM повысили емкость ленточных накопителей до рекордных 580 терабайт информации. Это значительно превосходит максимальную емкость SSD – 100 ТБ и жестких дисков – 30 ТБ.

13.01.2021    1159    user-programmist    0       

Эксперты назвали 10 навыков для ИТ-специалистов, которые обеспечат прибавку к зарплате

Новость Автоматизация Аналитика Искусственный интеллект ИТ-новость

Зарплаты в ИТ-сфере – одни из самых высоких, и у специалистов здесь существует масса возможностей для роста. Специалисты компании Burning Glass определили, какими навыками должны обладать сотрудники, нацеленные на максимальную прибавку к зарплате.

12.01.2021    1427    user1015646    2       

Против монополии: Apple получила патент на поисковый алгоритм

Новость ИТ-новость Новости компаний

Apple начала активно разрабатывать собственную поисковую систему. Из-за возможных антимонопольных санкций США против Google компания Тима Кука может лишиться возможности пользоваться сервисами поискового гиганта.

11.01.2021    756    VKuser24342747    0       

FreeBSD перевела репозиторий на Git

Новость Linux GitHub ИТ-новость

FreeBSD откажется от использования системы контроля версий Subversion (SVN) и перейдет на Git. Об этом в рассылке объявил разработчик Уорнер Лош.

30.12.2020    1369    user1015646    0       

Вышла бета-версия Go 1.16

Новость ИТ-новость Языки программирования

Предстоящее обновление языка программирования Go 1.16 с открытым исходным кодом включает поддержку процессора Apple, улучшения базовой библиотеки и среды выполнения. Релиз стабильной версии намечается на февраль 2021 года.

30.12.2020    1728    SKravchenko    0       

Microsoft позволит создавать пользовательские функции в Excel

Новость Infostart Software Partners Маркет

В Excel появилась новая функция – LAMBDA – для превращения пользовательских формул в многоразовые функции. Пользователи смогут создавать правила для управления данными внутри Excel, так же, как и в любом другом языке – Java, PHP или Python.

29.12.2020    2032    SKravchenko    2       

Microsoft и МТС планируют совместно развивать российский интернет вещей

Новость ИТ-новость Телекоммуникации Цифровая экономика

МТС и Microsoft договорились совместно развивать российский интернет вещей путем интеграции платформы для разработки решений интернета вещей Microsoft Azure IoT Central и сети интернета вещей NB-IoT МТС.

28.12.2020    1223    user-programmist    1       

Bloomberg оценил компанию JetBrains в $7 млрд

Новость ИТ-новость

По данным Bloomberg Billionaires Index, стартап JetBrains стоит около 7 млрд. долларов. В отличие от технологических компаний, которые продают акции для поддержки развития, руководители JetBrains не полагаются на средства венчурных капиталистов.

28.12.2020    1279    SKravchenko    0       

Cloudflare станет хостинг-провайдером для статических сайтов JAMstack

Новость Интернет ИТ-новость

Cloudflare запустила сервис Pages для создания сайтов при помощи подхода JAMstack. Веб-ресурсы, разработанные при помощи платформы, будут опубликованы в существующей сети провайдера CDN.

25.12.2020    1144    VKuser24342747    0       

GitHub откажется от аутентификации по логину и паролю

Новость GitHub ИТ-новость

Крупнейший хостинг репозиториев кода GitHub пересмотрит политику аутентификации. Пароли перестанут поддерживать – их полностью заменят токены и SSH-ключи.

24.12.2020    1230    user1015646    2       

В Telegram появятся платные функции

Новость ИТ-новость Мессенджеры

Основатель Telegram Павел Дуров рассказал о будущем мессенджера. Команда разработчиков планирует внедрить платные функции, чтобы компенсировать расходы на развитие сервиса.

23.12.2020    1454    user1015646    0       

Составлен рейтинг приложений для предустановки на смартфоны и умные ТВ

Новость Импортозамещение ИТ-новость

Минцифры опубликовало рейтинг приложений, которые с большой вероятностью будут рекомендованы для предустановки на смартфоны и Smart TV. Самые популярные варианты в различных категориях отобрали из более чем 100 заявок от разработчиков.

23.12.2020    1382    user1015646    4       

Microsoft запатентовала технологию оценки эффективности совещаний

Новость Искусственный интеллект ИТ-новость

Microsoft реализует системы мониторинга сотрудников для оценки производительности организации. Одно из последних решений компании – вычислительная система Meeting Insight от Microsoft, которая способна создать «оценку качества» проведенного совещания.

22.12.2020    1580    capitan    1       

Octoverse 2020: GitHub опубликовал главный отчет года

Новость GitHub ИТ-новость

Крупнейший хостинг репозиториев кода GitHub назвал 2020-й «годом экстраординарных изменений». Переход на удаленку повысил продуктивность работы команд и позволил уделять больше времени проектам с открытым исходным кодом.

22.12.2020    1690    user1015646    0       

Автогигант Hyundai купит Boston Dynamics

Новость ИТ-новость Робототехника

Производитель самых известных роботов в мире сменил владельца. Компанию Boston Dynamics приобрел корейский автомобильный концерн Hyundai.

21.12.2020    1665    user1015646    3       

Разработчик запустил аналог Tinder для программистов

Новость ИТ-новость

Приложение для знакомств Tinder привлекает простотой интерфейса: свайп влево – отказ от общения, вправо – намерение познакомиться. Американский разработчик Бен Авад запустил аналогичное приложение для программистов.

18.12.2020    2111    user1015646    2       

Крупное обновление: вышел GNU bash 5.1

Новость Windows Linux ИТ-новость

Вышла свежая версия командного интерпретатора – GNU bash 5.1, используемая по умолчанию в большинстве дистрибутивов Linux. Также обновилась библиотека GNU readline 8.1, используемая в bash для консольного интерфейса и редактирования строк.

17.12.2020    2542    user1015646    0       

Евросоюз обязал поисковых гигантов раскрыть свои алгоритмы

Новость Google Законодательство Интернет ИТ-новость

Технологические компании вроде Google и Amazon должны открыто сообщать пользователям, каким образом ранжируют поисковую выдачу на своих сайтах. Евросоюз считает, что такая норма поможет в борьбе с монополией ИТ-гигантов.

16.12.2020    2136    VKuser24342747    0       

ИТ-дивизион: «Руссофт» посчитал доходы отечественных ИТ-компаний

Новость ИТ-новость Новости компаний

Некоммерческое объединение ИТ-компаний «Руссофт» представило ежегодный отчет «Рейтинг регионов России по уровню развития индустрии разработки ПО».

15.12.2020    2222    VKuser24342747    1       

Microsoft представляет новый способ обновления Windows 10

Новость Windows ИТ-новость

Microsoft начала тестировать новый подход к улучшению отдельных функций Windows 10. Он называется Windows Feature Experience Packs.

15.12.2020    2250    SKravchenko    0       

Apple принимает заявки на сниженную комиссию в App Store

Новость iOS ИТ-новость Мобильные приложения

Apple открыла программу снижения комиссий для разработчиков, которые размещают приложения в официальном магазине App Store. Чтобы отчислять 15% вместо 30%, нужно подать заявку на специальной странице.

14.12.2020    2254    user1015646    1       

Три компании решили разработать новый протокол DNS

Новость Интернет ИТ-новость Новости компаний

Cloudflare, Apple и Fastly объявили о запуске нового стандарта DNS. Он получил название Oblivious DNS over HTTPS (ODoH) и предназначен для того, чтобы отделять IP-адреса от запросов.

14.12.2020    1807    VKuser24342747    0