Михаил ИвановВсе кейсы / ИИ-ассистенты и агенты
Аудит LLM-поиска запчастей и стоимость запроса ниже на 16,7% без потери точности
Отрасль: Площадка по продаже автозапчастейНаправление: ИИ-ассистенты и агенты
−16,7%стоимость одного запроса: $0,1353 → $0,1128
0потерянных OEM-номеров на контрольном наборе после оптимизации
3 этапааудит, доработка точности, снижение стоимости; все оплачены
Было
- Заказчик просил разобрать проблемы точности своего ИИ-поиска по автозапчастям и дать план доработки
- Поиск на Node.js: LLM в Yandex AI Studio плюс веб-поиск, без векторного индекса и эталонной базы
- Оплату снижения стоимости заказчик привязал к замеренному проценту экономии
Что сделали
- Аудит пайплайна: понимание запроса, источники и доверие к ним, извлечение и ранжирование кандидатов
- Замерный стенд: эталонный набор запросов, метрики exact@1, hit@5, MRR, повторные прогоны против шума
- Внедрены определение поколения машины по VIN и проверка применимости детали
- Стоимость: убрали из системного промпта лишнюю базу знаний на 23,7 тыс. символов, сжали JSON, дедуп запросов, кэш статического префикса
- Каждая правка проходила гейт точности; урезанный промпт уронил точность и был откачен
Как это устроено
ЗапросVIN или текст
→
НормализацияLLM разбирает запрос
→
Веб-поискисточники с уровнем доверия
→
Извлечение и ранжированиекандидаты OEM-номеров
→
Замерный стендточность и стоимость каждого прогона
До и после
| Что | Было | Стало |
|---|---|---|
| Стоимость запроса | $0,1353 | $0,1128 |
| Кэшированные токены промпта | 0 | 173 тыс. |
Результат
- Аудит принят, заказчик закрыл заказ
- Доработка и снижение стоимости оплачены, акты подписаны
- Стенд поймал регресс реранкера до выката в прод, изменение откатили
Технологии
Что важно в таком проекте. Стоимость сидела не в веб-запросах (31%), а в токенах модели (69%). Дедуп запросов дал ровно ноль, экономию дали чистка промпта и кэш префикса.
Похожая задача?
Опишите её в двух строках в Telegram. Ответим, как бы сделали, в какой срок и за какие деньги.
Похожие кейсы
Автосервис
Бот каждый вечер присылает владельцу автосервиса итоги дня, а ИИ находит расхождения в цифрах
каждый деньитоги дня владельцу и загрузка механиков утром
SaaS для локального бизнеса: ответы на отзывы
SaaS собирает отзывы с 8 площадок и готовит ответы с ИИ под нишу бизнеса
8 площадокс которых собираются отзывы
Образовательный стартап (EdTech)
MVP платформы, где ИИ собирает учебные материалы для педагогов, с судьёй качества и изоляцией данных
550+ тестовпрогон независимого верификатора, типы без ошибок