Содержание

• Введение и глоссарий
• Шаг 1. Считаем количество токенов
• Шаг 2. Собираем цены LLM и считаем базовую стоимость + шаблон Эксель
• Шаг 3. Учитываем RAG
• Почему мы выбрали “упрощенный” RAG
• Методы оптимизации
• Полезные инструменты

Введение и глоссарий

Привет! Собрала для вас пошаговый гайд по расчёту экономики LLM-продуктов. Фокус будет на запросной части, которая часто становится основной статьёй расходов и сюрпризом после запуска.

Под запросной частью я имею ввиду расходы на каждое обращение к API языковой модели (GPT, Claude, YandexGPT и других). Каждый раз, когда пользователь что-то спрашивает у вашего AI-продукта, вы платите провайдеру за обработку этого запроса.

В этом гайде считаем именно стоимость работы с LLM. Серверную инфраструктуру, разработку и другие части продукта добавляйте сверху в общую экономику.

Даже при тщательных расчётах остаются серые зоны:

• Разные модели по-разному токенизируют один и тот же текст
• Продукт под капотом может формировать запросы размером от 1000 до 110 000 токенов
• Сложные продукты используют цепочки из нескольких моделей и их тоже нужно просчитывать
• RAG может увеличить затраты в 4-10 раз и это не предсказуемо

Небольшой глоссарий:

• Что такое RAG