Искусственный интеллект Google DeepMind получил «ускоритель» процесса обучения
Как гласит народная мудрость, «ученье свет, а неученье тьма». Видимо, этого же принципа придерживаются и специалисты компании Google, ответственные за развитие DeepMind. Им, скорее всего, показалось, что ИИ недостаточно быстро усваивает новую информацию и приобретает новые навыки, поэтому они разработали алгоритм, ускоряющий процессы распознавания, узнавания и систематизации новых знаний.
«Ускоритель» получил название UNREAL (Unsupervised Reinforcement and Auxiliary Learning), и его работа уже прошла успешную серию тестов на более чем 50 играх для компьютера Atari и среде трехмерного лабиринта Labyrinth, состоящей из 13 уровней. Один из авторов технологии UNREAL Лиам Танг указывает:
«В основу работы алгоритма были заложены те же самые принципы познавания и самообучения, которые в свое время позволили искусственному интеллекту одержать победу над Ли Сеголем, мировым чемпионом по древней китайской игре го. Наши самообучаемые системы уже добились значительных успехов в игре го и в играх для старых компьютеров. Однако на их подготовку, первоначальное обучение и последующее самообучение тратится слишком много времени».
Ускорение процесса обучения было достигнуто за счет внедрения двух инновационных моментов. Во первых, был изменен подход, отвечающий за изучение того, как те или иные действия взаимодействуют с отображаемым на экране. Если раньше в процессе обучения DeepMind учился прогнозировать, к чему может привести то или иное действие, то сейчас ИИ будет основываться на предыдущем опыте и с похожими по свойствам объектами (скажем, с яблоком и грушей), уже не нужно будет проводить так много времени на изучение. Свойства одного будут экстраполироваться на свойства другого, дополняясь там, где есть значительные различия.
Вторая технология основана на возможности повторного анализа уже произошедших ситуаций, в ходе которых системой был приобретен тот или иной опыт. При этом система может вспоминать и те моменты, когда ей был получен отрицательный результат, что помогает избежать тех же ошибок в новых ситуациях.
«Сейчас наш ИИ обыгрывает среднестатистического человека на 880 процентов в простейших компьютерных играх. А при решении более сложных задач в трехмерном лабиринте он показывает 10-кратное увеличение скорости самообучения и среднее 87-процентное превосходство над человеком, демонстрируя в некоторые моменты времени поистине сверхчеловеческие возможности».
В скором времени разработчики планируют адаптировать UNREAL к действиям в более сложной окружающей среде, нежели компьютерные игры и трехмерные лабиринты, что позволит использовать быстрообучаемые системы искусственного интеллекта в реальном мире для решения множества задач. Ознакомиться с работой алгоритма можно с помощью видео, доступного ниже.