ByteDance запускает революционный ИИ-«мозг» для роботизированной помощи в быту

Компания ByteDance, владелец TikTok, представила новую систему, которая функционирует как «мозг» для роботов. Она способна выполнять различные домашние задачи, такие как развешивание одежды и уборка со стола.

GR-3 — это масштабная языковая модель, интегрирующая зрение, язык и действия, позволяющая машинам следовать устным командам и решать универсальные задачи с незнакомыми предметами. Роботы могут адаптироваться к новым условиям и работать с абстрактными понятиями, касающимися размеров и пространственных отношений.

На видеоролике, опубликованном на сайте, показано, как лабораторный двурукий робот ByteMini умеет вставлять вешалку в рубашку и аккуратно размещать ее на плечиках.

В отдельном техническом отчете команда упомянула, что робот успешно справляется с одеждой с короткими рукавами, несмотря на то, что «все элементы в обучающих данных были с длинными».

С помощью GR-3 машины могут выполнять команды, связанные с выбором определенных вещей из набора и размещением их в указанном месте.

Система распознает объекты не только по их наименованию, но и по характеристикам, таким как размер (например, «большая тарелка») или пространственным указаниям (например, «слева»). Она может выполнить задачу «убрать обеденный стол» по одной команде.

Для обучения этой модели ByteDance применила многокомпонентный подход, который включает в себя:

«Мы надеемся, что GR-3 станет важным шагом к созданию универсальных роботов, способных оказывать помощь людям в повседневной жизни», — отмечается в заявлении команды.

Стоит напомнить, что в январе стартап Perplexity AI объявил о своем намерении приобрести TikTok в США. Компания направила ByteDance предложение о создании единой юридической структуры, объединяющей Perplexity, TikTok U.S. и новых финансовых партнеров.