Стартап Elorian из Пало-Альто 16 октября представил свою первую модель — Glimpse. Компания основана Эндрю Дайем (Andrew Dai), бывшим исследователем Google DeepMind; до запуска продукта Elorian привлекла посевной раунд на 55 миллионов долларов при оценке в 300 миллионов. Glimpse вышла в режиме research preview: доступ через API уже открыт, а чат-интерфейс пока доступен только по списку ожидания.
Как работает «визуальный черновик»
Ключевая идея Glimpse — механизм, который в Elorian называют «visual scratch space» (визуальный черновик). Большинство современных мультимодальных моделей смотрят на изображение один раз: картинка преобразуется в токены, и все дальнейшие выводы модель делает на основе этого единственного «снимка», используя текст. Это похоже на описание фотографии по памяти: детали расплываются, а мелкие надписи могут исчезнуть вовсе.
Glimpse работает иначе. В середине процесса рассуждений она возвращается к исходному изображению: увеличивает отдельный участок, извлекает из видео именно нужные кадры или запускает код, чтобы измерить и сравнить то, что видит. Иными словами, модель думает не об изображении, а вместе с ним — и возвращается к источнику, чтобы перепроверить сомнительные места.
Ключевой механизм Glimpse — так называемое «визуальное черновое пространство»: модель возвращается к исходному изображению прямо в процессе рассуждений — выделяет области, извлекает конкретные кадры из видео или запускает код для измерения и сравнения — вместо того чтобы опираться на один токенизированный снимок, как большинство мультимодальных моделей. — TechCrunch
Возможность запускать код заслуживает отдельного внимания: модель не просто «смотрит» и делает вывод, а проводит измерения прямо на изображении и проверяет результат вычислениями. Например, она может кодом определить расстояние между двумя точками на диаграмме или размер объекта. То есть зрение объединяется с вычислениями.
При традиционном подходе модель один раз смотрит на изображение, превращает его в текстовое описание и дальше работает только с этим описанием. Это быстро, но подвержено ошибкам: модель может «додумать» детали, которых не видела. Отличие Glimpse в том, что при малейшем сомнении она возвращается к исходному изображению. Это похоже на то, как человек раздвигает пальцами фотографию на телефоне, чтобы перепроверить увиденное.
Почему именно эти две задачи
Заявления Elorian сосредоточены на двух областях: анализе научных диаграмм и описании коротких видео. Их объединяет одно — ни то, ни другое «с одного взгляда» не понять. В научной диаграмме значение несут каждая ось, шкала и подпись; в общем токенизированном виде мелкие надписи теряются. А в коротком видео малейшее различие между кадрами меняет весь смысл; Glimpse сама выбирает нужный кадр, чтобы найти это различие, — извлекает именно те кадры, которые отвечают на вопрос, а не всю последовательность.
Что утверждает компания
По заявлению Elorian, модель обучила небольшая команда на нескольких сотнях GPU, и Glimpse значительно компактнее лидирующих конкурирующих систем. Согласно внутренним оценкам компании, Glimpse в анализе научных диаграмм и описании коротких видео показал результаты выше, чем даже GPT-6 Astra. Это не независимый бенчмарк, а собственные данные компании.
Запуск 16 октября независимо подтвердило издание Startup Fortune: в своём материале оно описало подход «visual scratch space» и привело заявление Elorian о GPT-6 Astra.
Что означает режим research preview
Research preview — этап ограниченного тестирования модели для узкой аудитории. На этом этапе компания собирает через API отзывы разработчиков, выявляет ошибки и дорабатывает модель до широкого запуска. Поэтапное открытие чат-интерфейса по списку ожидания — тоже часть этого процесса: доступ расширяется постепенно.
Кто стоит за компанией
Elorian основал Эндрю Дай (Andrew Dai), ранее работавший исследователем в Google DeepMind. До выпуска продукта компания привлекла посевной раунд в размере 55 миллионов долларов при оценке в 300 миллионов. Посевной раунд — первый этап внешнего финансирования компании, и оценка на нём отражает уверенность инвесторов в идее.
Цены и порядок доступа
Цены Glimpse объявлены открыто: 0,60 доллара за миллион входных токенов и 3 доллара за миллион выходных. Токен — единица текста, которую обрабатывает модель; цена за миллион токенов — стандартный способ расчёта стоимости использования API. Пока доступ к модели открыт через API; чат-интерфейс постепенно открывается по списку ожидания.
