Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research и Института AIRI разработали первую в мире модель в области контекстного обучения (In-Context Learning), которая умеет самостоятельно обучаться новым действиям всего на нескольких примерах.

Ранее ИИ-системы умели выполнять только фиксированный набор действий, а при появлении новых задач должны были переобучаться им с нуля. Это требовало дополнительных финансовых и вычислительных ресурсов, чтобы дообучить ИИ для практического применения.

Разработка российских ученых позволяет создавать ИИ-системы, которые будут самостоятельно адаптироваться под изменения внешней среды и к новым задачам без участия человека. Решение поможет в различных областях: от космических аппаратов до домашних роботов-помощников. Модель, названная Headless-AD, умеет выполнять в пять раз больше действий, чем заложено в нее при обучении.

Обучение в контексте (In-Context Learning) – это одна из самых перспективных областей в сфере искусственного интеллекта, которая позволяет ИИ-агентам адаптироваться к новым ситуациям без необходимости повторного обучения. Теоретически ИИ-агенты должны уметь адаптироваться к окружающей среде по четырем компонентам: состояние (State) – это то, что агент видит или знает о текущей ситуации; переход (Transition) – это изменение состояния агента; награда (Reward) – это оценка выполненного агентом действия, может быть положительной или отрицательной; действие (Action) – это доступные агенту способы взаимодействия со средой.

Ранее ИИ-агенты умели адаптироваться по первым трем компонентам. Например, беспилотные автомобили адаптируются к меняющимся погодным условиям (State), скорости движения (Transition) и пунктам назначения (Reward). Но адаптация по действиям (Action) не была до конца изучена и не использовалась в создании моделей. Агенты умели выполнять только фиксированный набор действий, а при появлении новых – требовали переобучения с нуля.

На основе модели дистилляции алгоритма (Algorithm Distillation, AD) ученые из T-Bank AI Research и AIRI создали Headless-AD, которая научилась адаптироваться к окружающей среде по действиям. В исходную модель внесли три модификации: отказ от конечного линейного слоя, который ранее ограничивал количество и набор доступных действий (отсюда название Headless-AD); кодировка действий случайными векторами – позволяет избежать необходимости дообучения для каждого нового действия, обеспечивая автоматическую адаптацию; внедрение контекста, который позволяет информировать модель о доступных действиях.

Было проведено несколько экспериментов, сравнивающих Headless-AD и ближайшие аналоги на разных задачах. Их результаты подтвердили, что Headless-AD способна к выполнению любой комбинации и количества действий, сохраняя качество их выполнения и не затрачивая дополнительные вычислительные ресурсы. Это делает применение ИИ более быстрым и дешевым.

По материалам cnews.ru.