Дообучение LLM с проверкой качества
Адаптируем модель под задачи вашей компании: классификацию, извлечение данных и нужный формат ответа. Сначала проверяем простые способы улучшения, затем сравниваем качество, ошибки и стоимость.
- Тест отдельно от обучения
- Критерии приёмки до старта
Когда это нужно
Когда модель знает задачу, но решает её нестабильно
Дообучение LLM на заказ имеет смысл рассматривать, когда есть повторяемая задача, примеры правильных ответов и способ измерить результат. Сначала проверяем, нельзя ли решить проблему инструкцией, контекстом или правилами.
Путает близкие категории
В компании своя классификация обращений или документов. Нужны согласованные определения, пограничные случаи и размеченные примеры.
Нарушает формат ответа
Для дальнейшей обработки нужны определённые поля и правила заполнения. Сначала проверяем ограничения формата и валидацию; дообучение оцениваем, если их недостаточно.
Не следует правилам вашей задачи
Даже с инструкцией модель повторяет одни и те же ошибки. Сравниваем варианты на примерах, которые не использовались при настройке.
Нужен другой баланс качества и затрат
Проверяем, может ли адаптированная модель выполнять узкую задачу с подходящими задержкой и стоимостью. Выигрыш заранее не гарантируем.
Когда дообучение не решит основную проблему
- Если нужны ответы по свежим документам со ссылками, сначала рассматриваем RAG и качество поиска.
- Если задачу закрывают инструкция, примеры в промпте или проверка формата, обучение может быть лишним.
- Если нет согласованных эталонов или разметка противоречива, сначала нужно подготовить данные и критерии оценки.
- Если модель ошибается из-за плохого распознавания или неверных исходных данных, сначала исправляем этот этап.
Критерии результата
Оцениваем конкретное поведение модели
До начала эксперимента определяем, что считается правильным ответом, какой вид ошибки недопустим и с каким решением сравниваем результат.
Качество по сценариям
Считаем метрики по типам задач и важным группам примеров. Средняя доля верных ответов не должна скрывать ошибки в редких категориях.
Регрессии и неопределённость
Проверяем, какие ответы стали хуже и умеет ли модель передать спорный случай сотруднику. Размер теста и его ограничения включаем в отчёт.
Стоимость и задержка
Измеряем выполнение задачи на согласованных настройках. Учитываем подготовку данных, обучение, проверку и сопровождение, а не только стоимость одного ответа.
Если результат не превосходит более простое решение по согласованным критериям, рекомендуем остановить дообучение и использовать подходящий базовый вариант.
Как работаем
От примеров ошибок к проверяемому сравнению
Пилот ограничиваем одной задачей, набором данных и бюджетом экспериментов. Объём, метрики и условия остановки фиксируем до обучения.
- 01 · Базовый вариант
Проверяем исходное решение
Разбираем ошибки модели. Пробуем инструкцию, примеры, поиск по документам или ограничения формата там, где они соответствуют задаче.
- 02 · Данные
Разделяем обучение и проверку
Согласуем разметку, убираем дубликаты и отделяем связанные документы или переписки. Формируем обучающую, валидационную и отложенную тестовую выборки.
- 03 · Эксперимент
Обучаем и подбираем настройки
Выбираем доступную модель и способ адаптации с учётом инфраструктуры. Настройки подбираем по валидационной выборке, не по финальному тесту.
- 04 · Решение
Сравниваем и фиксируем вывод
На отложенных данных проверяем качество, критические ошибки, регрессии, задержку и стоимость. Передаём отчёт и рекомендацию: внедрять, уточнить данные или остановиться.
Как это устроено
Что входит в адаптацию модели
Датасет и правила разметки
Для каждого примера нужны вход, ожидаемый результат и критерий проверки. Контролируем согласованность разметки, права на данные и исключение информации, которая не должна попасть в обучение.
Модель и способ обучения
Выбираем исходную модель и доступный способ обновления её параметров или адаптеров. Учитываем лицензию, требования к размещению и стоимость экспериментов.
Воспроизводимая оценка
Фиксируем версии данных, инструкций и моделей. Сравниваем варианты на одинаковых задачах; отдельно разбираем ошибки и возможное попадание тестовых примеров в обучение.
Внедрение и контроль
После успешной проверки согласуем интеграцию, мониторинг качества и возможность возврата к предыдущей версии. При изменении процесса или данных качество проверяется заново.
Размещение модели внутри компании →
Что выбрать
Промпт, RAG или дообучение
Эти способы решают разные проблемы и могут использоваться вместе. Выбираем их по источнику ошибки, а не по сложности технологии.
| Промпт и правила | RAG | Дообучение | |
|---|---|---|---|
| Главная задача | Задать инструкцию, примеры и ограничения ответа. | Найти нужные сведения и передать их модели с источниками. | Адаптировать поведение модели на примерах задачи. |
| Новые документы | Можно передать ограниченный контекст в запросе. | Обновляется база источников и поиск по ней. | Не заменяет поиск по актуальным документам. |
| Что подготовить | Описание задачи, примеры и критерии проверки. | Документы, права доступа, поиск и тестовые вопросы. | Согласованную разметку и отдельные наборы для обучения, настройки и теста. |
| Что проверить | Устойчивость инструкции и корректность формата. | Находит ли поиск нужный фрагмент и подтверждает ли он ответ. | Качество, регрессии, стоимость и преимущество над базовым вариантом. |
Если нужны ответы по внутренним регламентам со ссылками, начнём с RAG. Дообучение не является обязательным способом загрузить знания компании.
Отличие
Готовая модель или адаптация под задачу
Готовую модель берём как базовый вариант сравнения. Дообучение оправдано, если даёт проверяемое преимущество с учётом полной стоимости решения.
| Готовая модель с настройкой | Проект дообучения | |
|---|---|---|
| Данные | Нужны примеры для инструкции и оценки; обучение может не потребоваться. | Дополнительно нужны обучающие данные, разметка и контроль её качества. |
| Эксперименты | Сравниваем модели, промпты, контекст и ограничения формата. | Сравниваем способы адаптации и настройки с лучшим базовым вариантом. |
| Результат | Фиксируем качество доступного решения и его ограничения. | Проверяем, сохраняется ли выигрыш на независимом тесте и важных сценариях. |
| Изменения | Проверяем поведение после смены инструкции, данных или версии модели. | Дополнительно поддерживаем версии датасета и обученных параметров. |
Ни размер модели, ни сам факт дообучения не доказывают улучшение. Решение принимаем по результатам проверки.
Доказательства
Рост метрики ещё не означает готовность к запуску
В учебном примере сравниваются категории восьми обращений. Переключите вариант, проверьте отдельный ответ и раскройте все результаты. Числа считаются по подготовленным ответам, без запуска или обучения моделей.
Иллюстрация методики · ответы написаны вручную
Задача — выбрать категорию обращения. Это учебный набор, а не эксперимент с моделью: обучение и генерация не выполнялись. Названия вариантов обозначают сценарии сравнения.
- Верных категорий
- 7 / 887,5%
- Критических ошибок
- 1Проверяется случай T08
- Регрессий
- 1Относительно предыдущего варианта
Учебный критерий качества не пройден
Правило примера: минимум 7 из 8 верных категорий и ни одной критической ошибки. Для реальной приёмки также нужны независимый тест, проверка задержки и стоимости. Эти параметры здесь не измерялись.
Заказ оплачен. Повторная отправка webhook получает 403, данные не поступают.
- Эталонная категория
- Интеграция
- Подготовленный ответ
- Оплата
Критическая ошибка
По правилам примера сбой webhook после успешной оплаты идёт в интеграции. Ошибочная маршрутизация этого приоритетного случая считается критической.
Все 8 тестов и расчёт метрики
Верно = категория в точности совпала с эталоном. Доля верных = число совпадений / 8. В каждом столбце один и тот же тест; T08 — критический случай.
| Тест / эталон | Исходная модель | Промпт + справочник | После дообучения |
|---|---|---|---|
| T01Оплата | ОплатаВерно | ОплатаВерно | ОплатаВерно |
| T02Доступ | ОплатаОшибка | ДоступВерно | ДоступВерно |
| T03Интеграция | ДоступОшибка | ИнтеграцияВерно | ИнтеграцияВерно |
| T04Доступ | ДоступВерно | ДоступВерно | ДоступВерно |
| T05Оплата | УточнитьОшибка | ОплатаВерно | ОплатаВерно |
| T06Уточнить | ИнтеграцияОшибка | ИнтеграцияОшибка | УточнитьВерно |
| T07Оплата | ОплатаВерно | УточнитьОшибка | ОплатаВерно |
| T08 · критическийИнтеграция | УточнитьОшибка | ИнтеграцияВерно | ОплатаОшибка |
Обучение, подбор настроек и независимый тест
В учебной схеме три непересекающихся списка: 4 примера для обучения, 2 для подбора настроек и 8 для теста. Такой объём не доказывает качество реальной модели. Ответы демонстрации подготовлены вручную и не являются результатом обучения на этих данных.
Учебные примеры
- L01 · «Прошу выслать акт и счёт за март.» → Оплата
- L02 · «Не приходит письмо для сброса пароля.» → Доступ
- L03 · «При создании заявки API отвечает 500.» → Интеграция
- L04 · «В интерфейсе что-то сломалось, подробностей нет.» → Уточнить
Подбор настроек
- V01 · «Где посмотреть баланс и задолженность?» → Оплата
- V02 · «После смены почты не могу войти.» → Доступ
В реальном проекте отделяем связанные переписки и дубликаты до разбиения. Тест не используем для подбора промпта, обучения или выбора настроек. После анализа ошибок финальное качество подтверждаем на новой отложенной выборке.
- Что передаём в пилоте
Отчёт о сравнении вариантов
Версии данных и моделей, методика оценки, метрики по сценариям, примеры ошибок и ограничения. Если критерии не выполнены, это отражается в выводе — без заявления об успешном внедрении.
Стоимость
Из чего складывается стоимость дообучения
Для оценки нужны задача, примеры ошибок, доступная разметка и ограничения инфраструктуры. Согласуем бюджет пилота и границы экспериментов после разбора этих материалов.
Подготовка данных
Объём и качество примеров, разметка, согласование спорных ответов, удаление дубликатов и разделение выборок.
Эксперименты
Выбор моделей и способов адаптации, вычислительные ресурсы и число согласованных итераций.
Проверка качества
Метрики задачи, экспертная оценка, критические сценарии и сравнение с более простыми решениями.
Размещение и поддержка
Интеграция, нагрузка, требования ИБ, контроль регрессий и обновление данных после запуска.
Результат пилота: подготовленные выборки, базовый вариант, эксперимент по адаптации и отчёт по отдельному тесту с рекомендацией. Если данные или базовые проверки показывают, что обучение нецелесообразно, фиксируем это до затрат на следующие этапы. Внедрение и сопровождение оцениваются отдельно.
Вопросы
Частые вопросы
Когда нужно дообучение LLM, а когда достаточно промпта?
Сначала проверяем инструкцию, примеры и ограничения формата. Дообучение рассматриваем, если остаются повторяемые ошибки на конкретной задаче, есть качественная разметка и критерии результата. Выбор подтверждаем сравнением на отдельной выборке.
Можно ли просто загрузить документы в модель?
Для ответов по актуальным документам обычно рассматриваем поиск с передачей найденных фрагментов в контекст — RAG. Дообучение меняет поведение модели и не гарантирует точное воспроизведение каждого факта или ссылку на источник.
Сколько данных нужно для обучения?
Универсального количества нет: оно зависит от задачи, разнообразия примеров, исходной модели и требований к качеству. Сначала проверяем доступные данные и разметку. Маленькие наборы в демонстрации показывают структуру проверки, а не рекомендуемый объём обучения.
Как вы докажете, что качество улучшилось?
Согласуем эталоны и метрики, сравним с лучшим базовым вариантом на одном отложенном тесте. Покажем ошибки, регрессии и результаты по важным группам. После использования теста для анализа дальнейшие улучшения подтверждаем на новых отложенных данных.
Чем валидационная выборка отличается от тестовой?
Валидационную используем при подборе настроек. Финальный тест сохраняем отдельно и не используем для обучения, составления промпта или выбора параметров. Связанные примеры и дубликаты разделяем до формирования наборов.
Можно ли дообучать модель внутри компании?
Рассматриваем локальный вариант с учётом модели, лицензии, доступного оборудования и требований ИБ. Нужные ресурсы и способ адаптации определяем после обследования. Само локальное размещение не заменяет проверку качества.
Станет ли модель быстрее и дешевле?
Это возможная цель эксперимента, но не гарантированный эффект. Сравниваем задержку и стоимость выполнения задачи на согласованных настройках, учитывая подготовку данных, обучение и сопровождение.
Что если средняя метрика выросла, но появились новые ошибки?
Разбираем регрессии и критические сценарии. Если нарушен согласованный порог, вариант не проходит приёмку даже при росте средней метрики. Возможны дополнительные данные, другая настройка или возврат к базовому решению.
Что если дообучение не даст выигрыша?
Останавливаемся по согласованным условиям и передаём результаты сравнения. Можно оставить промпт, RAG или другой базовый вариант. Следующие итерации не запускаются автоматически ради самого обучения.
Что подготовить для оценки задачи?
Описание процесса, примеры ошибочных и правильных ответов, используемую модель, доступную разметку и требования к скорости, стоимости и размещению. Для первого разговора достаточно обезличенных примеров; конфиденциальные данные через форму отправлять не нужно.
Пилот
Проверим, нужно ли вам дообучение
Опишите задачу и типичные ошибки модели. Начнём с критериев результата и оценки доступных данных.
Или напрямую: Telegram ↗ · +7 931 203-30-78 · hello@dev-crabs.ru
Заявка отправлена
Спасибо! Свяжемся с вами в течение 24 часов — на почту или в Telegram.