В робототехнике происходит крупный сдвиг: управление роботами передаётся генеративным моделям искусственного интеллекта (ИИ). Однако эта архитектура непредсказуема в отличие от традиционных алгоритмов — открытым остаётся вопрос, как убедиться в безопасности нового гуманоидного робота.
Ответ на этот вопрос ищет новый стартап Safeworld, который 5 октября 2026 года вышел из стелс-режима. Его основал доктор Дин Чжао, руководящий лабораторией Safe AI в Университете Карнеги — Меллона; этой проблемой он занимается почти всю свою научную карьеру. В команду также входят опытный руководитель стартапов Кайл Вонг и инженер по машинному обучению Симо Рашиди.
Проблема: как оценить риск вероятностной системы
В комментарии TechCrunch Чжао отметил, что проблема безопасности состоит из двух частей: первая — вероятностные оценки генеративного ИИ, то есть как застраховать риск вероятностной системы; вторая — вопрос доверия. По его словам, для запуска робота необходимы обе составляющие.
Как указано на собственном сайте компании, самые опасные ситуации сложнее всего тестировать безопасно; поведение человека порождает бесконечный хвост краевых случаев; а физические испытания медленны, дороги и плохо масштабируются.
Платформа: тысячи сценариев с цифровыми людьми
Специализация Safeworld — оценка системы управления роботом в симуляциях, населённых реалистичными моделями людей. Это похоже на задачу, стоящую перед такими компаниями, как Tesla или Wayve: они взяли на себя обязательство гарантировать, что их транспортные средства правильно реагируют на неожиданные происшествия на дороге. По словам Чжао, для роботов это сложнее, поскольку они работают в неструктурированной среде, а стандарты безопасности на каждом объекте различаются.
Вонг приводит пример слепого поворота на заводе: платформа отвечает на вопросы вроде того, как должны рассчитываться скорость робота и дистанция остановки, чтобы исключить столкновение с человеком. Заметит ли робот человека, несущего коробки?
Чтобы ответить на этот вопрос, Safeworld строит цифровую копию такого поворота в модели вроде Genesis или MuJoCo, помещает туда симуляцию оцениваемого робота, управляемую его реальным программным обеспечением, и запускает тысячи сценариев, в которых модели людей встречаются с роботом. По словам Чжао, это сложнее, чем кажется, потому что люди непредсказуемы.
«Падения и спотыкания — хороший пример ситуаций, которые мы много тестируем в симуляции, — сказал Вонг. — Иначе для испытаний роботу пришлось бы раз за разом ронять живого человека, а так делать постоянно невозможно».
Инвестиции и первый партнёр
Выходя из стелс-режима, компания объявила о привлечении более 12 миллионов долларов посевных инвестиций. Раунд возглавили Shine Capital и a16z Speedrun; в нём также участвовали Box Group, эндаумент Университета Карнеги — Меллона, Innovation Endeavors и SV Angel.
Партнёр a16z Speedrun Джонатан Лай в комментарии TechCrunch заявил, что время создавать отраслевой стандарт безопасности — именно сейчас, когда роботы проектируются и запускаются. По его словам, ждать, пока роботы появятся в домах, начнут сталкиваться с детьми и вызывать инциденты, будет слишком поздно.
Одним из первых партнёров Safeworld стала Gritt Robotics. Её технический директор Вишал Дугар отметил, что безопасность большинства современных систем очень сложно подтвердить математическим доказательством — это необходимо делать эмпирически. Его роботы помогают рабочим устанавливать фотоэлектрические панели на солнечных фермах промышленного масштаба; чтобы гарантировать, что рука робота не заденет людей, учитываются все возможные сценарии. По словам Дугара, люди выглядят по-разному: на коленях, стоя, спотыкаясь, сидя, бегом; различаются также одежда, комплекция, форма тела, рост и цвет кожи.
Зачем нужна независимая проверка
Хотя платформа Safeworld похожа на внутренние инструменты производителей роботов, основатели уверены: производители захотят, чтобы их работу подтвердил независимый третий участник — хотя бы для обмена информацией о кейсах безопасности между конкурентами.
«Многие недооценивают, насколько сложно решить некоторые краевые случаи, — сказал Чжао. — Нас беспокоит не робот в вакууме, на демонстрации. Это робот, запущенный в больших масштабах и работающий рядом с людьми, которые никогда раньше не управляли роботом».
Для компании это ещё ранние дни: команда определяется с моделью продукта — платформа для внешних пользователей или сервисный подход. Чжао смотрит в будущее с уверенностью:
«Мы, вероятно, станем первой прибыльной компанией в этой области. Потому что если кто-то захочет запустить робота, ему придётся заплатить нам за решение этой задачи».
