Разработчикам, использующим Anthropic API, стала доступна функция кэширования промптов. Благодаря этому можно сократить количество запросов напрямую к нейросети, снизить затраты до 90% и уменьшить задержки в ответах до 85%. Кэширование промптов пока доступно в публичной бета-версии Claude 3.5 Sonnet и Claude 3 Haiku. Также поддержка появится в Claude 3 Opus.
Кэширование особенно полезно в ситуациях, когда пользователь хочет отправить нейросети большое количество информации для контекста, а затем неоднократно обращаться к ней. В этом случае система запомнит данные и будет обращаться к ним, а не формировать новые запросы. Например, функцию можно использовать в следующих проектах:
Разговорные чат-боты. Скорость работы увеличится, если чат-боту часто передают файлы, документы и длинные запросы.
Ассистенты для программистов. Подобные системы традиционно обрабатывают всю кодовую базу проекта, а новая функция позволит кэшировать её.
Сложные запросы. Если нейросети нужно будет выполнить несколько действий с одним и тем же набором данных.
Анализ книг, статей и документов. Можно передать Claude файл и задавать по нему вопросы. При этом запросы будут учитывать документ в кэше.
Функция кэширования будет платной, а цена зависит от количества кэшируемых токенов и того, как часто к ним обращаться. Запись в кэш обойдётся на 25% дороже базовой цены токена ввода для любой модели Claude, а использование кэша — на 10% дешевле. По мнению компании, разработчикам придётся один раз потратить чуть больше на кэширование, но можно будет сэкономить на серии запросов.
Цены на функцию кэширования Claude
Некоторые компании уже начали применять кэширование на базе Claude. Например, функцию внедрили разработчики Notion AI. Это, по их словам, ускорило генерацию ответов.
Источник: habr.com
