✴️ Вышла Gemini Robotics-ER 1.6
Google DeepMind выпустила Gemini Robotics-ER 1.6. Модель отвечает за пространственное мышление роботов (embodied reasoning) и умеет напрямую обращаться к внешним инструментам: Google Search, моделям VLA (vision-language-action) для связки зрения с моторикой и сторонним пользовательским функциям.
— Распознает показания сложных аналоговых приборов и дисплеев с точностью 93% за счет режима agentic vision, который объединяет визуальное восприятие с генерацией кода для зумирования и вычисления точных долей шкалы.
— Использует механизм расстановки точек (pointing) для подсчета предметов, вычисления траекторий захвата и фильтрации объектов под жесткие физические ограничения.
— Синхронизирует видеопотоки с нескольких камер одновременно (например, потолочной и закрепленной на манипуляторе) для отслеживания действий в динамике и автономного определения момента успешного завершения задачи.
— Соблюдает заданные лимиты при взаимодействии со средой (например, ограничения по весу или запрет на работу с жидкостями) и выявляет травмоопасные ситуации на видео на 10% точнее базовой Gemini 3.0 Flash.
Доступно в Gemini API и Google AI Studio. Для разработчиков опубликован Colab-ноутбук с готовыми примерами конфигурации и промптов для пространственных задач.
Добавить комментарий