Decision 3.0 від vLLM Semantic Router — п’ять відкритих моделей від 0,8B до 27B під Apache-2.0, які повертають ймовірності відповідей замість згенерованого тексту.

Для білдера це інтерфейс для роутингу та перевірки запитів: модель відповідає на іменовані питання, а до отриманих ймовірностей можна застосовувати пороги. Результати Decision 3.0 у рейтингах ґрунтуються на внутрішній оцінці авторів.

Що саме повертає Decision 3.0?

Decision 3.0 приймає стан — текст або JSON, необов’язкові зображення та іменовані питання — і за один виклик повертає ймовірність кожної можливої відповіді. Питання бувають трьох типів: вибір із варіантів, так/ні та оцінка за шкалою, за даними MarkTechPost.

Зображень може бути кілька, у форматах PNG, JPEG або WebP, із роздільністю до 1,6 мегапікселя кожне. Кожне питання має доступ до всіх зображень і потребує окремого проходу моделі через вхідні дані. Тому затримка, ймовірно, зростатиме зі збільшенням кількості питань у запиті.

Довжину контексту не розкрито, офіційних квантованих версій у переліку немає, ваги мають формат BF16. Для завантаження потрібні transformers==5.17.0 і trust_remote_code=True.

Наскільки швидкі п’ять моделей?

Моделі Decision 3.0 мають медіанну затримку 21,7–84 мс на текстових запитах за замірами на одній AMD Instinct MI325X. Автори вимірювали по одному запиту за раз; у картках наведено такі результати:

Найменша d3-lite поступається d3-nano на тексті на 1,8 мс: 23,5 − 21,7 = 1,8. Із зображенням d3-lite швидша: 60,7 мс проти 92,0 мс.

Запит із зображенням має приблизно у 2,6–5,8 раза більшу затримку залежно від моделі. Межі отримано діленням затримок: 60,7 / 23,5 ≈ 2,6 для d3-lite та 171,8 / 29,7 ≈ 5,8 для d3-flash. Джерело не уточнює кількість питань у запитах під час замірів і не наводить результатів на іншому обладнанні.

Що показують рейтинги Decision 3.0?

Decision 3.0 випереджає низку конкурентів у таблицях Jev Decision Index 0.3.1, але її результати отримано у внутрішній оцінці команди. Цей рейтинг порівнює відкриті відтворення системи Jev від TypeSafe.

На текстових завданнях d3 має 64,1 проти 62,8 у Perplexity Decider v1.1 і 60,1 у Jev. На візуальних — 71,6 проти 70,6 у Perplexity Decider v1.1. Водночас на публічному наборі Torchcast Decision 27B має вищий результат за d3: 65,1 проти 64,9.

d3-flash, яку джерело округлено називає 9B-моделлю, набирає 59,0 проти 55,9 у 27B-моделі Decision 2.0. Різниця становить 3,1 пункта: 59,0 − 55,9 = 3,1. На публічному наборі приріст над Decision 2.0 становить від 8,0 пункта для 27B до 15,1 пункта для 0,8B.

Лідерство залежить від розміру й завдання. d3-mini та d3-flash очолюють свої текстові й візуальні таблиці. d3-lite посідає третє місце у своїй візуальній таблиці з 41,1, поступаючись, зокрема, JPT-0.8B із 42,1. d3-nano очолює свою візуальну таблицю, але на тексті поступається LiquidAI d1-3B: 35,8 проти 40,1.

На витягуванні даних із документів KIE (CORD+FUNSD) d3 має 97,7. Серед публічних візуальних завдань вона набирає 97,3 на InfographicVQA і 89,9 на Mind2Web; обидва тести відтворено наближено. Нижчі результати — 46,2 на MMMU-Pro vision, 44,6 на Hateful Memes і 34,1 на R-Bench-M.

Чи підтверджено підтримку Decision 3.0 у рантаймі vllm-sr?

Задача репозиторію містить статус «Done», але наведений опис і журнал активності не дають змоги перевірити, чи підтримка вже працює. Пропозицію інтегрувати п’ять моделей прийняли 11 жовтня 2026 року, за даними vLLM Semantic Router. Мітка «accepted» означає прийняття відповідальною групою або мейнтейнером і сама по собі не підтверджує планування роботи.

Мета задачі — запускати будь-яку з п’яти моделей із текстом і зображеннями командою vllm-sr serve vllm-sr/<model> --engine --platform rocm. До її обсягу входять узгодження швидкого шляху ROCm на gfx942 із випущеним рантаймом, збільшення ліміту тіла запиту для зображень у режимі Engine та обмеження потоків CPU відповідно до квоти контейнера.

Критерій завершення — побайтово ідентичні відповіді для текстових запитів і запитів із зображеннями порівняно з d3_server.py на AMD Instinct MI325X, а також інтеграційний тест передачі зображень через публічний API. d3-edge не входить до цієї задачі: опис допускає для неї окремий запис реєстру згодом.