Кеширование промптов: как платить на 60% меньше

В длинных агентных сессиях вы платите не за вопрос, а за контекст. Системный промпт, описание инструментов, история диалога и файлы проекта отправляются снова и снова. Кеширование позволяет не платить за повторяющийся префикс полную цену — в CheApi кеш-вход стоит 40% от обычного.

Что такое кеш-вход

Провайдер сохраняет вычисленное состояние для повторяющегося начала запроса. Если следующий запрос начинается с тех же токенов, они не пересчитываются заново. В ответе появляется поле cached_tokens (у Anthropic — cache_read_input_tokens), а в счёте эти токены идут с коэффициентом 0,4.

Что ломает кеш

• Дата и время в начале системного промпта — каждый запрос уникален.
• Случайный ID сессии или пользователя в системной части.
• Перестановка инструментов или изменение их описаний между запросами.
• Динамические инструкции, которые вы добавляете перед статичным текстом.
• Слишком короткий префикс: провайдеры кешируют начиная с определённой длины.

Правило простое: постоянное — вперёд, переменное — назад. Системный промпт, правила, схемы инструментов и документация должны идти первыми и не меняться. Вопрос пользователя, текущий файл и результаты вызовов — в конце.

Пример структуры

messages = [
    {
        "role": "system",
        "content": SYSTEM_PROMPT + TOOL_SCHEMAS + PROJECT_RULES,
    },
    {
        "role": "user",
        "content": f"Файл: {path}\n\n{file_content}\n\nЗадача: {task}",
    },
]

Если вы добавляете в system текущее время, кеш будет промахиваться всегда. Перенесите время в user-сообщение или вообще уберите, если задача не требует. То же с ID запроса: он нужен в логах, но не в промпте.

Сколько это экономит

Представим агентную сессию: 100 000 входных токенов, из них 80 000 — стабильный префикс. Без кеша вы платите за все 100 000. С кешем — за 20 000 полной цены и 80 000 по 0,4, то есть за 52 000 эквивалентных токенов. Экономия — 48%.

На 20 шагах сессии это уже заметные деньги. При ставке 11,42 ₽ за миллион и коэффициенте ×11 разница составит около 60 ₽ на сессию — немного, но на тысячах сессий превращается в бюджет.

Как проверить, что кеш работает

Смотрите в usage ответа: prompt_tokens_details.cached_tokens или cache_read_input_tokens. В кабинете CheApi есть колонка «Кеш» в истории запросов. Если она всегда нулевая, ищите нестабильный префикс.

• Сравните два одинаковых запроса подряд: второй должен дать больше cached.
• Уберите из system всё, что меняется между вызовами.
• Не перемешивайте инструменты: порядок и формулировки должны быть стабильны.
• Для RAG кладите инструкции первыми, а найденные документы — после.

Кеш — это не магия провайдера, а свойство вашего промпта. Стабильный префикс почти всегда важнее микрооптимизаций модели.

Ограничения

Кеш живёт ограниченное время и может быть вытеснен. Он не гарантирован на 100% и зависит от загрузки провайдера. Для коротких разовых запросов выгоды может не быть вовсе. Но в агентах, чатах с длинной историей и обработке документов это самый простой способ сократить счёт без потери качества.