Лаборатория искусственного интеллекта Google DeepMind представила ИИ-модель Gemini Robotics 2, которая получила возможность управлять всеми движениями гуманоидного робота. В отличие от предыдущей версии, отвечавшей главным образом за движения верхней части корпуса, новая система координирует действия от ступней до кончиков пальцев.

Благодаря новой модели роботы смогут выполнять более широкий круг задач, требующих согласованной работы всей конструкции. В опубликованном Google демонстрационном ролике робот Apollo 2 компании Apptronik ходит, приседает, наклоняется, поднимает лейку с пола, а также находит и снимает с полки нужные предметы. В Google DeepMind отметили, что скорость движений ещё, конечно, предстоит улучшать, однако это обновление является «важным шагом к обретению навыков, необходимых для выполнения более сложных задач в реальных условиях, требующих координации движений всего тела».

Одновременно была обновлена модель Gemini Robotics ER 2, отвечающая за анализ окружающей среды, понимание инструкций и выполнение более сложных многоэтапных действий. Новая версия дольше сохраняет контекст задачи, определяет её начало и завершение, а также позволяет нескольким роботам разных типов совместно выполнять одну работу. Например, в одном из примеров Apollo 2 координирует действия двурукого робота Google во время уборки гаража. Ранее 3DNews сообщал о версии Gemini Robotics 1.5 и Gemini Robotics-ER 1.5, которые совместно сначала «обдумывают» задачу и только потом выполняют действие.

Команда исследователей Google DeepMind представила семейство моделей Gemini Robotics 2 для управления человекоподобными роботами. Обновление должно помочь устройствам лучше ориентироваться в пространстве, планировать последовательность действий и выполнять сложные задачи.

Gemini Robotics On‑Device 2 — работает локально на железе робота без постоянного подключения к облаку.

Gemini Robotics 2 относится к классу моделей Vision Language Action (зрение — язык — действие). Система получает изображение с камер и инструкции на естественном языке, после чего преобразует их в команды для приводов. Предыдущие версии для управления использовали в основном для верхней части роботов и манипуляторов. Обновлённая модель одновременно контролирует ходьбу, движения конечностями, наклоны и удержание равновесия.

Что пишут другие издания

  • Хабр: Google DeepMind представила Gemini Robotics 2 — семейство моделей для управления человекоподобными роботами