Кеш GPT-6 Astra повторно использует запрос, а не готовый ответ
В документации OpenAI кеширование привязано к совпадающему началу запроса. Для GPT-6 Astra важны срок доступности кеша и разделение учёта клиентов; одинаковый ввод не гарантирует одинаковый результат.
Кеширование в GPT-6 Astra не означает выдачу однажды сохранённого ответа. OpenAI пишет: повторно используется обработанное начало запроса, а ответ модель генерирует заново. Поэтому одинаковые запросы не обязаны давать одинаковый текст.
Для GPT-5.6 и последующих моделей, к которым относится Astra, минимальный кешируемый префикс составляет 1 024 видимых входных токена. Его доступность для повторного использования сохраняется как минимум 30 минут после последней записи или обращения; компания может хранить его дольше.
Разработчикам многопользовательских сервисов важен отдельный параметр — ключ кеша. В этой группе моделей он необязателен для оптимизации маршрутизации, но позволяет разделить учёт разных клиентов. Кеши не общие для разных организаций и не переносятся через границы регионов обработки.
Практический вывод — сохранять стабильное начало диалога и измерять фактическое повторное использование. Подмена даты в начале запроса способна изменить префикс; это не тест качества ответов.
프리즘코리아 편집국 > Елена Морозова
