OpenAI 22 октября открыла Decisions API для всех клиентов в режиме общедоступности (GA). Этим шагом компания напрямую вышла на рынок так называемых «моделей решений», который создала модель Jev компании TypeSafe: в нём большие языковые модели решают мелкие, но многократно повторяющиеся выборы в рабочих процессах не за секунды, а за миллисекунды.
Decisions API построена на GPT-6 Luna и, по словам компании, работает до 10 раз быстрее, чем GPT-6 Luna через Responses API. В общедоступную версию добавлены голосовой и визуальный режимы, а инференс выполняется на географически локализованных ресурсах.
Как работает Decisions API
API предлагает разработчикам задать вопрос и набор допустимых ответов; контекст передаётся в виде текста, изображений или локального JSON. Сервис возвращает три типа ответов: вероятность выполнения заданного критерия (probability), выбор из заранее заданных вариантов (choice) и оценку по рубрикам (score).
В одном запросе можно задать до 400 вопросов — вдвое больше прежнего лимита. Поддерживается включение изображений в подсказки вопросов и prompt caching для повторяющегося контекста; резидентность инференса доступна в США и Европейском союзе. Детали приведены в официальном анонсе OpenAI.
Ценовая политика предельно упрощена: $0,10 за 1 миллион входных токенов, $0,01 за кэшированный вход; выходные токены вообще бесплатны. Такая цена резко снижает стоимость высокочастотных вызовов — именно это сделало модели решений альтернативой традиционным LLM.
Скорость и цена: как это достигнуто
По данным TechCrunch, вместо создания отдельно обученной модели решений OpenAI перенастроила ChatGPT Luna под скорость и дешевизну. Руководитель продукта API Никундж Ханда говорит, что задержка сократилась с одной–трёх секунд до 100–180 миллисекунд.
«Главный прорыв Decisions API — это скорость: сокращение с одной–трёх секунд до 100, 120, 180 миллисекунд, — сказал Ханда. — В будущем мы сможем специально обучать наши модели, чтобы сделать их ещё лучше в этом направлении. Но пока работу выполняет просто обычная Luna».
По его словам, его команда, увидев Jev, пришла к выводу, что «у нас есть миллионы сценариев использования для этого», и быстро разработала собственную версию. В общедоступной версии добавлены голосовой и визуальный режимы; в нескольких регионах Азии запущены дополнительные мощности.
Кроме того, Decisions API теперь нативно интегрирована с GPT-Live: в голосовых приложениях быстрые решения можно принимать прямо в ходе диалога — например, агент поддержки клиентов выбирает между уточняющим вопросом, перенаправлением запроса или эскалацией проблемы.
Сервис был анонсирован 29 сентября в день разработчика компании и с тех пор тестировался в бета-режиме. После выхода в общедоступность Ханда также озвучил цель добиться ещё большей скорости: «Сможем ли мы снизить это примерно до 60 миллисекунд — тогда можно будет представить один вызов API на каждый видеокадр, — сказал он TechCrunch. — При классификации изображений Luna очень сильна и показывает лучшую калибровку», при этом клиенты, по его словам, хотят использовать Decisions API более гибко — в том числе с изображениями на выходе.
Первые пользователи и конкурентная среда
В первых тестах инженеры таких клиентов, как Box, Datadog, Ramp и Speak, заменили LLM OpenAI на высокопроизводительные вызовы решений. По словам технического директора Speak — разработчика приложения для изучения языков — Эндрю Хсу, API сократила время между действиями с 1,4 секунды до 0,13 секунды. Сама OpenAI также использовала продукт для ускорения голосового ассистента Dots.
Внутри компании применение тоже широкое: команда Personal Finance использует Decisions API для категоризации описаний транзакций, а команда Communications — для классификации освещения в СМИ по темам и тому, усиливают или ослабляют они ключевые истории.
Конкурентная среда при этом накалена. Публичные рейтинги — AIM System One Index и Artificial Analysis Decision Index — пока высоко оценивают D1 Ultra компании Liquid и Elephant-1 компании Base Lab; последняя модель Jev занимает в этих двух индексах седьмое и третье места соответственно, а модель решений OpenAI — восьмое и четырнадцатое. В то же время, по данным OpenRouter, семейство Jev остаётся самыми востребованными моделями решений.
TypeSafe на прошлой неделе выпустила последнюю версию Jev — с поддержкой изображений и smart-if выражениями. С прошлыми материалами о компании можно ознакомиться в архиве сайта.
Одним из самых интересных тестов моделей решений стал рейтинг JevMan, отмеченный TechCrunch: в этом тесте, составленном компанией Opper AI, модели играют в игру PacMan. По словам директора по росту Opper AI Феликса Вундерлиха, игра — интересный тест, потому что это «непрерывный, быстрый и важный поток решений» — на каждом повороте модель за несколько сотен миллисекунд выбирает, куда двигаться, и на это у неё лишь несколько сотен миллисекунд. В этом рейтинге последняя модель Jev пока занимает первое место.
