Роботы, которые предсказывают будущее: что такое world action model и зачем она нужна

Языковые модели предсказывают следующий токен. А что, если модель предсказывает следующее состояние физического мира и на этой основе решает, как двигаться? Именно так устроена world action model — архитектура, на которую делает ставку Dyna Robotics. В разговоре с Latent Space соучредитель и главный научный сотрудник компании Джейсон Ма рассказал, как работает их модель Dyna-2, откуда берутся данные и почему роботы уже складывают тысячи салфеток в день в ресторанах США.

Что такое world action model

Модель мира в привычном понимании генерирует видео или 3D-сцену. World action model идёт дальше: она ещё и выдаёт действия, которые робот исполняет на своём железе. Ма описывает это как аналогию с chain-of-thought: модель сначала «рассуждает» в визуальном и физическом пространстве, представляя будущее, а потом выбирает движение. Люди делают то же самое неявно: мы действуем, заранее представляя, как изменится мир.

Входы и выходы

На вход идут видео с камер за последние секунды, показания энкодеров в суставах (углы) и языковые команды. На выходе — непрерывные действия: порядка 100 измерений, предсказание 10–20 раз в секунду на горизонт в одну-две секунды. Контекст важен: если смотреть только на текущий кадр, в середине открывания микроволновки непонятно, открываешь ты её или закрываешь.

Диффузионный трансформатор и flow matching

Внутри — диффузионный трансформатор. Трансформер масштабируется на огромные объёмы данных, а диффузия даёт плавные и точные действия. Flow matching — более простой в настройке частный случай диффузии, который позволяет вместо 40–100 шагов обойтись примерно четырьмя. Для робота это критично: задержка в три секунды с ножом в руке недопустима.

Данные: интернета для роботов нет

Главный тезис интервью — данные важнее всего. У языковых моделей есть интернет, у робототехники нет. Dyna-2 обучена на более чем миллионе часов, в основном эгоцентричных видео людей: они охватывают почти любую физическую активность и дают сильный приор о том, как развивается мир вокруг тела.

Но между человеком и роботом остаётся разрыв, поэтому поверх нужен небольшой объём собственных данных робота — для низкоуровневых рефлексов и ловкости. Качество данных при этом нестационарно: пока модель ничего не умеет, полезно всё, а потом нужны всё более специализированные данные. Ма уверен, что миллион часов — только начало, и называет следующим рубежом синтетические среды: современные frontier-модели умеют 3D-реконструкцию и превращение реальных объектов в симуляцию, а сама world action model способна генерировать собственные обучающие данные.

Универсальная модель и быстрая адаптация

Логика такая же, как у человека: сначала широкая база, потом специализация. Новая задача осваивается так: оператор через телеуправление собирает немного данных (иногда хватает нескольких десятков минут), модель дообучается за пару часов, затем её запускают на реальном роботе и смотрят, где она ошибается. Если готовность 70–80%, собирают ещё данные и повторяют цикл — Ма сравнивает это с робототехнической версией RLHF.

Доказательство работоспособности — коммерческое. Ресторан-клиент требует, чтобы шов салфетки лежал в паре сантиметров от кармашка для палочек, и роботы выдерживают этот стандарт на множестве точек. Деформируемые объекты — кошмар для узкоспециализированного робота: конфигураций бесконечно много. Универсальная модель быстрее выходит на производственное качество, а веса можно обновить на всех роботах одновременно, что даёт единообразие между филиалами.

Почему полугуманоид на колёсах и своё железо

Dyna делает платформу целиком: приводы, пропорции, корпус. Робот — полугуманоид: человекоподобный верх с четырьмя степенями свободы в талии и колёсная база. Ноги, по словам Ма, повышают энергопотребление и риск падений, а гарантировать безопасность шагающего робота пока трудно. Пропорции корпуса сняты с реальных людей, чтобы лучше переносить предобучение на данных человека. Это окупилось: на новой платформе данных мало, но модель осваивает задачи быстро, потому что предобучение началось ещё до готовности железа.

Задержка требует локального инференса, поэтому деплоится компактная модель, а большую можно дистиллировать. Свой стек инференса тоже собственный.

Агентная обвязка над моделью

Любопытная параллель с кодинговыми агентами: над низкоуровневой моделью действий нужен слой высокоуровневых решений. Пока стиральная машина работает, робот должен заняться другим, а потом сразу переложить бельё в сушилку. Ма проводит прямую аналогию: два-три года назад языковые модели были автодополнением, сегодня это агенты, работающие от начала до конца. Ценность в робототехнике — в задачах, которые идут часами без присмотра.

Узкие места и вывод

Ограничения по Ма — аппаратные: ловкие кисти перегреваются, а у человека больше чувств, чем камера и углы суставов (осязание, звук, запах). Плюс цепочки поставок, например магниты для приводов. «Горький урок» для робототехники: упрощать алгоритм и масштабировать данные нужного типа, но масштабировать сложнее, потому что надо сначала построить сенсоры и железо.

Вывод: world action model — не просто модное название, а способ сделать робота гибким за счёт предсказания будущего. Побеждать, судя по этому интервью, будут не те, у кого лучшая модель в вакууме, а те, кто собрал всю систему: данные, железо, инференс и агентный слой. Тем, кто следит за агентами и кодинговыми инструментами, полезно заметить: траектория у физического ИИ та же — от автодополнения к автономной работе.