Цены, ассортимент и данные поставщиков — в вашей таблице или системе по расписанию
Категорийные менеджеры и аналитики вручную собирают цены и карточки конкурентов, а данные устаревают быстрее, чем готовится отчёт. Настраиваем регулярный сбор данных с сайтов, сопоставляем товары с вашим каталогом и передаём результат в нужном формате — с проверкой, что собрано всё.
- Сбор по расписанию
- Сопоставление с вашим каталогом
- Контроль полноты каждого запуска
Когда это нужно
Когда парсинг сайтов на заказ имеет смысл
Цены конкурентов собирают вручную
Менеджер раз в неделю открывает сайты конкурентов и переносит цены в Excel. Пока отчёт готовится, часть цен уже другая.
Ассортимент меняется быстрее отчётов
Нужно видеть, какие позиции появились у конкурентов, какие закончились и что есть только под заказ, — не раз в квартал, а каждую неделю.
Данные поставщиков разбросаны по сайтам
Прайсы, остатки и карточки товаров лежат на сайтах поставщиков, у каждого в своём виде. Мониторинг цен поставщиков превращается в ручную сверку.
Нужны не файлы, а данные в системе
Разовая выгрузка в Excel задачу не решает: данные должны регулярно попадать в вашу таблицу, базу или BI и быть привязаны к позициям вашего каталога.
Когда не подойдёт
- Нужна одна выгрузка с одного-двух сайтов — фрилансер или готовый парсер обойдутся дешевле.
- Достаточно стандартных отчётов по ценам на маркетплейсах — хватит готового сервиса мониторинга.
- Нужны контакты или другие персональные данные людей — такие данные не собираем.
- Задача — разобраться во внутренних данных из CRM и ERP. Это AI-аналитика, отдельное направление.
Главный сценарий
Мониторинг цен конкурентов и маркетплейсов
Мониторинг цен конкурентов — это регулярный сбор цен, акций и наличия по тем же товарам, что продаёте вы, и сравнение с вашими ценами. Для стандартных случаев есть готовые сервисы мониторинга. Услуга мониторинга цен под вашу задачу нужна, когда у вас свои источники, правила сопоставления или формат отчёта.
Сайты конкурентов
Парсинг цен товаров в интернет-магазинах и на сайтах дистрибьюторов: базовая цена, акция и срок её действия, наличие и срок поставки — по каждой позиции вашего каталога.
Маркетплейсы
Мониторинг цен маркетплейсов по вашим позициям: цена продавца с учётом скидки, сам продавец и наличие. Частоту подбираем под то, что выдерживает площадка.
Поставщики
Цены и остатки с сайтов поставщиков, в том числе из личных кабинетов с вашим доступом: у кого и когда изменилась закупочная цена.
Сигналы вместо таблицы на тысячи строк
Правила задаёте вы: конкурент дешевле больше чем на 5 %, товар пропал из наличия, появилась новая позиция. В отчёт попадают изменения, полные данные остаются в выгрузке.
Система собирает и сравнивает цены, но ваши цены сама не меняет. Решение остаётся за категорийным менеджером.
Как работаем
Начинаем с одной категории и нескольких источников
Сбор данных не запускаем сразу по всему рынку. Сначала — несколько сайтов и одна категория товаров: так ещё до регулярной работы видно, сколько товаров сопоставляется само и где нужен человек.
- Неделя 0
Разбор источников и формата
Вы присылаете список сайтов, категорию и пример отчёта, который хотите получать. Проверяем, какие данные открыты и какие поля есть на каждом сайте.
- Недели 1–2
Сбор и сопоставление
Настраиваем сбор по выбранным источникам и сопоставляем товары с вашим каталогом. Спорные пары отдаём вам на подтверждение.
- Недели 3–4
Запуски по расписанию
Сбор идёт по согласованному расписанию, данные приходят в вашу таблицу или систему. Смотрим полноту каждого запуска и сопоставление на ваших позициях.
- Ваше решение
Регулярный сбор или стоп
Устраивает результат — добавляем источники и категории и берём сбор на поддержку. Нет — останавливаемся на пилоте, собранные данные остаются у вас.
Как это устроено
Как устроен автоматический сбор данных
Сбор по расписанию
Для каждого источника — свой сборщик: обычные страницы, каталоги с подгрузкой, личные кабинеты с вашим доступом. Частота — от раза в неделю до нескольких раз в день.
Очистка и контроль полноты
Цены, единицы и упаковки приводятся к одному виду. Каждый запуск сверяется с предыдущим: если карточек стало заметно меньше, данные помечаются, а не уходят в отчёт как полные.
Сопоставление товаров
Товар с чужого сайта привязывается к позиции вашего каталога по артикулу, штрихкоду или характеристикам. Если совпадение неполное, пару один раз подтверждает человек.
Доставка данных
Результат приходит туда, где с ним работают: Google Таблицы или Excel, база данных, API, выгрузка для BI. Формат согласуем на старте.
AI — только там, где он нужен
При парсинге товаров языковая модель помогает сопоставить позиции с разными названиями и разобрать карточки, где характеристики написаны свободным текстом. Остальной сбор — обычный код: так дешевле и предсказуемее.
Отличие
Чем это отличается от заказа парсинга у фрилансера
Парсинг сайтов конкурентов часто заказывают на фриланс-биржах: парсер пишут быстро и недорого, и для разовой выгрузки это разумный выбор. Разница появляется, когда данные нужны регулярно, сопоставленными с вашим каталогом и в ваших системах.
| Разовый парсер | Регулярный сбор | |
|---|---|---|
| Результат | Файл с данными на дату сдачи | Данные по расписанию в вашей таблице, базе или BI |
| Сайт сменил вёрстку | Парсер перестаёт работать — нужен новый заказ | Падение полноты видно в том же запуске, сборщик чиним в рамках поддержки |
| Сопоставление товаров | Обычно нет: строки с сайта как есть | Товары привязаны к вашему каталогу, спорные пары подтверждает человек |
| Контроль качества | На глаз, при сдаче | Проверка полноты и цен в каждом запуске |
| Стоимость | Ниже на старте | Выше на старте, дальше — поддержка по договору |
Если нужна одна выгрузка с одного-двух сайтов, фрилансер или готовый парсер цен конкурентов обойдутся дешевле — так и советуем. Регулярный сбор оправдан, когда данные нужны каждую неделю или чаще и по ним принимают решения о ценах и закупках.
Доказательства
Опыт команды и пример выгрузки
Как выглядит контроль одного запуска сбора цен — на вымышленных магазинах. И продукты, в которых команда строила агента, собирающего данные с веб-страниц, и извлекала структуру из свободного текста.
- 2
- требуют внимания
- 1
- вопрос менеджеру
- 9
- проверок пройдено
- Магазин B · ЦенаТребует внимания
Перфоратор ProDrill 26 SDS-plus, 800 Вт, кейс · 8 490 ₽, до акции 10 990 ₽
Правило контроляЦена конкурента ниже вашей не больше чем на 5 %.
Ваша цена — 9 390 ₽, у магазина B на 9,6 % ниже с 16.09. Снижение по акции до 30.09 — в отчёте видно, что оно временное. Решение о цене — за менеджером.
- Магазин D · ПолнотаТребует внимания
Каталог «Перфораторы»: собрано 38 карточек, в прошлый запуск — 142
Правило контроляЧисло карточек не падает больше чем на 10 % между запусками.
Магазин сменил вёрстку каталога, сборщик нашёл только часть карточек. Данные магазина D помечены как неполные и в сравнение не идут, сборщик правим и повторяем запуск.
- Магазин C · СопоставлениеРешает менеджер
«Перфоратор ProDrill 26 SDS+ без кейса» · 7 990 ₽
Правило контроляТовар сопоставлен с позицией вашего каталога по артикулу или характеристикам.
Модель та же, комплектация другая: без кейса. Такую пару подтверждает менеджер — один раз, дальше она сопоставляется сама.
- Магазин A · НаличиеВ порядке
ProDrill 26, кейс · 9 150 ₽ · «Под заказ, 5–7 дней»
Правило контроляНаличие и срок поставки записываются вместе с ценой.
Товара нет на складе, поэтому цена в сравнение не попадает: иначе отчёт показывал бы недоступную цену как реальную.
- Магазин C · ЕдиницыВ порядке
Бур SDS-plus 8×160 мм, набор 5 шт. · 1 250 ₽
Правило контроляЦены приводятся к одной единице: у вас бур продаётся поштучно.
Пересчитано: 250 ₽ за штуку, у вас 260 ₽ — в пределах порога.
- Browser AI
Sigma AI Browser
AI-движок приватного браузера: агент открывает веб-страницы, собирает с них данные, заполняет формы и выполняет сценарии в веб-интерфейсах. Команда отвечала за архитектуру агента и AI-движок. Регулярного сбора и отчётов по расписанию в этом проекте не было.
- LegalTech
ContractCrab
Сервис анализа договоров: извлекает из документов ключевые условия и приводит их к единой структуре. Тот же приём нужен для карточек товаров, где характеристики написаны свободным текстом. Команда отвечала за обработку документов и интерфейс.
Стоимость
От чего зависит стоимость
Цену пилота фиксируем до старта, после разбора источников. На неё влияют четыре вещи.
Источники
Сколько сайтов и насколько они сложны: простой каталог дешевле сайта с подгрузкой, личного кабинета или защиты от автоматического сбора.
Объём и частота
Сколько позиций собирать и как часто обновлять: раз в неделю или несколько раз в день.
Сопоставление
По артикулам и штрихкодам товары сопоставляются просто. По названиям и характеристикам — дольше, и часть пар подтверждает человек.
Формат и поддержка
Таблица проще записи в базу или BI. Регулярному сбору нужна поддержка: сайты меняются, сборщики приходится чинить.
Пилот — одна категория и несколько источников, запуски по расписанию и проверка на ваших позициях. После заявки за 24 часа вернёмся с вопросами и оценкой.
Вопросы
Частые вопросы
Как часто обновляются данные?
Как нужно задаче и как позволяет источник: от раза в неделю до нескольких раз в день. Для цен конкурентов обычно хватает ежедневного сбора, для акций и наличия на маркетплейсах бывает нужно чаще. Расписание согласуем на старте и меняем по ходу.
Как сопоставляются товары?
По артикулу производителя или штрихкоду, если они есть на сайте. Если нет — по названию и характеристикам, здесь помогает языковая модель. Пару с неполным совпадением один раз подтверждает сотрудник, дальше она сопоставляется автоматически.
В каком виде передаётся результат?
В том, где с данными работают: Google Таблицы или Excel, CSV по расписанию, база данных, API или выгрузка для BI. В отчёт можно выводить только изменения и сигналы, а полные данные держать в выгрузке.
Что будет, если сайт-источник поменяется?
Каждый запуск сверяется с предыдущим: если карточек стало меньше или пропали поля, данные помечаются и в отчёт как полные не идут. Сборщик чиним в рамках поддержки. Поэтому регулярный сбор — это работа с поддержкой, а не разовая сдача.
Чем это отличается от заказа у фрилансера?
Фрилансер обычно сдаёт парсер или файл с данными на дату сдачи. Мы отвечаем за регулярность: запуски по расписанию, контроль полноты, сопоставление с вашим каталогом и доставку данных в ваши системы. Для разовой выгрузки фрилансер дешевле.
Можно ли собирать цены с маркетплейсов?
Да, с открытых карточек товаров: цену с учётом скидки, продавца и наличие. Маркетплейсы защищаются от автоматического сбора сильнее обычных магазинов, поэтому такой сбор дороже, а частоту подбираем осторожно. Если хватает стандартных отчётов, сначала посмотрите готовые сервисы мониторинга.
Какие данные вы не собираете?
Персональные данные и контакты людей, а также данные за авторизацией, доступа к которой у вас нет. Собираем то, что сайт показывает любому посетителю: цены, наличие, характеристики и описания товаров. Если у источника есть официальный API или выгрузка, используем их.
Сколько стоит парсинг сайта?
Зависит от числа и сложности источников, объёма, частоты и формата данных. Цену пилота называем после разбора источников и фиксируем до старта. После пилота регулярный сбор оплачивается как поддержка.
Где здесь AI?
Там, где правил недостаточно: сопоставить товар, который на чужом сайте называется иначе, разобрать характеристики из свободного текста карточки, привести единицы к одному виду. Сам сбор — обычный код. Если модель в задаче не нужна, мы её не добавляем.
Что нужно, чтобы заказать парсинг?
Список сайтов, категория или выгрузка ваших позиций, пример отчёта, который хотите получать, и желаемая частота. Если данные должны попадать в вашу систему — описание формата или доступ к тестовой среде.
Пилот
Оценить источники и формат данных
Расскажите, какие сайты и данные нужны, как часто и куда их передавать. За 24 часа вернёмся с вопросами и оценкой пилота.
Или напрямую: Telegram ↗ · +7 931 203-30-78 · hello@dev-crabs.ru
Заявка отправлена
Спасибо! Свяжемся с вами в течение 24 часов — на почту или в Telegram.