Как выбрать модель под задачу, а не по бенчмаркам

Верхняя строка лидерборда редко совпадает с лучшей моделью для вашей задачи. Разница в 2–3% на абстрактном тесте может стоить в 30 раз дороже, а на реальных данных преимущество исчезнет. Вот рамка, которая помогает выбирать осознанно.

Четыре вопроса до выбора

1. Какова цена ошибки? Если ответ уходит клиенту или влияет на деньги — берите модель сильнее.
2. Сколько контекста нужно? Для длинных документов и агентов важны не только токены, но и качество удержания.
3. Какая нагрузка? Тысячи коротких запросов и десять сложных сессий — разные бюджеты.
4. Нужны ли инструменты? Не все модели одинаково хорошо вызывают функции и держат план.

Карта семейств

GPT — универсальный выбор: код, агенты, инструменты, изображения и аудио в одном семействе. Claude силён в коде и аккуратной работе с длинным текстом, особенно когда важна структура и стиль. GLM — компромисс цены и качества для IDE и массовых задач. DeepSeek — минимальная цена за токен для объёма.

• Флагманы (GPT 6 Astra, Claude Opus 5.5): архитектура, инциденты, критичное ревью.
• Рабочие лошадки (GPT 6.1 Sol, Claude Sonnet 5.5, GLM-5.3): повседневная разработка и агенты.
• Экономные (GPT 6 Luna, Claude Haiku 5.5, DeepSeek Flash): классификация, извлечение, черновики, фон.

Считайте стоимость решённой задачи

Цена за миллион токенов — не главная метрика. Главная — сколько стоит получить правильный результат. Дешёвая модель, которая ошибается в 30% случаев и требует повторного запроса, может оказаться дороже сильной.

cost_per_solved = (price_per_request × attempts) / success_rate
# attempts = 1 / success_rate, если повторяем до успеха
# cost_per_solved = price_per_request / success_rate²

Пример: модель A стоит 0,05 ₽ и решает 70% задач с первого раза. Модель B стоит 0,30 ₽ и решает 95%. Стоимость решённой задачи у A — около 0,10 ₽, у B — около 0,33 ₽. A всё ещё дешевле, но если ошибка стоит денег или времени человека, выбор меняется.

Стратегия эскалации

Самый практичный подход — начинать с дешёвой модели и эскалировать при неуверенности. Классификатор на DeepSeek, основная работа на Sol или Sonnet, сложные случаи на Opus. Это требует кода, но экономит больше, чем ручной выбор модели на глаз.

1. Соберите 30–50 реальных задач с эталонными ответами.
2. Прогоните их на 2–3 моделях разного ценового уровня.
3. Оцените не «нравится/не нравится», а по чёткому критерию: тесты проходят, поля извлечены, факты совпали.
4. Посчитайте стоимость решённой задачи, а не стоимость токена.
5. Оставьте одну модель по умолчанию и одну для эскалации.

Частые ошибки

• Брать флагман для всего: бюджет уходит на задачи, где разницы нет.
• Экономить на всём: повторные попытки и ручная правка съедают выгоду.
• Сравнивать модели на одном промпте: у каждой свой стиль, нужна адаптация.
• Игнорировать кеш: в агентах он меняет экономику сильнее, чем смена модели.
• Забывать про задержку: для UI она важна не меньше цены.

Начните с 5 млн бонусных токенов и прогоните свой набор задач. Каталог CheApi показывает цену и коэффициент каждой модели, а история запросов — фактический расход. Этого достаточно, чтобы принять решение на данных, а не на маркетинге.