Dev Crabs

Данные с сайтов — в вашей таблице, базе или API

Разрабатываем сбор данных с выбранных сайтов: извлекаем карточки, характеристики и другие согласованные поля, приводим к единому формату и проверяем полноту. Настраиваем разовую выгрузку или регулярное обновление.

  • Согласованная схема данных
  • Контроль качества выгрузки
Оценить источники

Когда это нужно

Когда парсинг сайтов на заказ имеет смысл

  1. Данные приходится переносить вручную

    Сотрудники копируют карточки и характеристики из разных каталогов. Нужен сбор в согласованную структуру без ручного переноса каждого поля.

  2. Каталог требует регулярного обновления

    Нужен повторяемый сбор карточек и характеристик с контролем полноты, дубликатов и обязательных полей.

  3. Данные поставщиков разбросаны по сайтам

    Прайсы, остатки и карточки товаров лежат на сайтах поставщиков, у каждого в своём виде. Нужен единый формат данных и понятное происхождение каждой строки.

  4. Нужны не файлы, а данные в системе

    Разовая выгрузка в Excel задачу не решает: данные должны регулярно попадать в вашу таблицу, базу или BI и быть привязаны к позициям вашего каталога.

Когда не подойдёт

  • Нужна одна выгрузка с одного-двух сайтов — фрилансер или готовый парсер обойдутся дешевле.
  • Достаточно стандартных отчётов по ценам на маркетплейсах — хватит готового сервиса мониторинга.
  • Нужны контакты или другие персональные данные людей — такие данные не собираем.
  • Задача — разобраться во внутренних данных из CRM и ERP. Это AI-аналитика, отдельное направление.

Как работаем

Начинаем с одной категории и нескольких источников

Сбор данных не запускаем сразу по всему рынку. Сначала — несколько сайтов и одна категория товаров: так ещё до регулярной работы видно, сколько товаров сопоставляется само и где нужен человек.

  1. 01 · Этап

    Разбор источников и формата

    Вы присылаете список сайтов, категорию и пример отчёта, который хотите получать. Проверяем, какие данные открыты и какие поля есть на каждом сайте.

  2. 02 · Этап

    Сбор и сопоставление

    Настраиваем сбор по выбранным источникам и сопоставляем товары с вашим каталогом. Спорные пары отдаём вам на подтверждение.

  3. 03 · Этап

    Запуски по расписанию

    Сбор идёт по согласованному расписанию, данные приходят в вашу таблицу или систему. Смотрим полноту каждого запуска и сопоставление на ваших позициях.

  4. 04 · Решение

    Регулярный сбор или стоп

    Устраивает результат — добавляем источники и категории и берём сбор на поддержку. Нет — останавливаемся на пилоте, собранные данные остаются у вас.

Как это устроено

Как устроен автоматический сбор данных

  • Сбор по расписанию

    Для каждого источника — свой сборщик: обычные страницы, каталоги с подгрузкой, личные кабинеты с вашим доступом. Частота — от раза в неделю до нескольких раз в день.

  • Очистка и контроль полноты

    Цены, единицы и упаковки приводятся к одному виду. Каждый запуск сверяется с предыдущим: если карточек стало заметно меньше, данные помечаются, а не уходят в отчёт как полные.

  • Сопоставление товаров

    Товар с чужого сайта привязывается к позиции вашего каталога по артикулу, штрихкоду или характеристикам. Если совпадение неполное, пару один раз подтверждает человек.

  • Доставка данных

    Результат приходит туда, где с ним работают: Google Таблицы или Excel, база данных, API, выгрузка для BI. Формат согласуем на старте.

  • AI — только там, где он нужен

    При парсинге товаров языковая модель помогает сопоставить позиции с разными названиями и разобрать карточки, где характеристики написаны свободным текстом. Остальной сбор — обычный код: так дешевле и предсказуемее.

Отличие

Готовый парсер или разработка сборщика

Выбор зависит от источника, структуры данных и требований к передаче результата. Проверяем, что можно получить готовыми инструментами.

Готовый инструментСборщик под задачу
ИсточникиПроверяем поддержку нужных страниц и способов загрузки.Реализуем сбор с проверенных источников под согласованные поля.
СтруктураПроверяем доступные правила извлечения и преобразования.Настраиваем схему, нормализацию и проверки под вашу систему.
ДоставкаПроверяем выгрузки, расписание и ограничения инструмента.Настраиваем передачу в нужный API, базу или файл и обработку ошибок.
Изменения сайтаУточняем, кто обновляет правила и как обнаруживаются сбои.Согласуем контроль полноты и сопровождение сборщика.

Для простой выгрузки готового парсера может быть достаточно. История цен, уведомления и сравнение предложений по вашему каталогу — отдельная услуга мониторинга.

Доказательства

Опыт команды и пример выгрузки

Пример проверки выгрузки: обязательные поля, полнота каталога, комплектация и единицы. Данные вымышлены; это контроль качества сбора, а не отчёт об изменении цен.

Демонстрация

Проверка выгрузки · вымышленные каталоги

Контроль запуска: 4 магазина, 12 проверок

2
требуют внимания
1
вопрос менеджеру
9
проверок пройдено
  1. Магазин B · Обязательные поляТребует внимания
    Карточка ProDrill 26: название и цена извлечены, артикул отсутствует.

    Правило контроляДля передачи в каталог нужен артикул производителя или подтверждённый идентификатор.

    Строка помечена как неполная и не передаётся как готовая к загрузке. Проверяем поле на странице и правило извлечения; остальные данные сохраняем с источником.

  2. Магазин D · ПолнотаТребует внимания
    Каталог «Перфораторы»: собрано 38 карточек, в прошлый запуск — 142

    Правило контроляЧисло карточек не падает больше чем на 10 % между запусками.

    Магазин сменил вёрстку каталога, сборщик нашёл только часть карточек. Данные магазина D помечены как неполные и в сравнение не идут, сборщик правим и повторяем запуск.

  3. Магазин C · СопоставлениеРешает менеджер
    «Перфоратор ProDrill 26 SDS+ без кейса» · 7 990 ₽

    Правило контроляТовар сопоставлен с позицией вашего каталога по артикулу или характеристикам.

    Модель та же, комплектация другая: без кейса. Комплектацию сохраняем отдельным полем. Объединять эти карточки без согласованного правила нельзя.

  4. Магазин A · НаличиеВ порядке
    ProDrill 26, кейс · 9 150 ₽ · «Под заказ, 5–7 дней»

    Правило контроляНаличие и срок поставки записываются вместе с ценой.

    Статус «под заказ» и срок поставки сохранены отдельно. Он не превращается в «в наличии» при загрузке в систему.

  5. Магазин C · ЕдиницыВ порядке
    Бур SDS-plus 8×160 мм, набор 5 шт. · 1 250 ₽

    Правило контроляЦены приводятся к одной единице: у вас бур продаётся поштучно.

    Сохраняем цену упаковки 1 250 ₽, количество 5 шт. и вычисленную цену 250 ₽ за штуку. Получатель может проверить пересчёт.

Демонстрация на вымышленных данных: магазины, товары и цены условные. Источники, расписание, правила сопоставления и формат отчёта настраиваем под вашу категорию. Долю товаров, которые сопоставляются без человека, называем только после пилота на ваших источниках.
  • Browser AI

    Sigma AI Browser

    AI-движок приватного браузера: агент открывает веб-страницы, собирает с них данные, заполняет формы и выполняет сценарии в веб-интерфейсах. Команда отвечала за архитектуру агента и AI-движок. Регулярного сбора и отчётов по расписанию в этом проекте не было.

  • LegalTech

    ContractCrab

    Сервис анализа договоров: извлекает из документов ключевые условия и приводит их к единой структуре. Тот же приём нужен для карточек товаров, где характеристики написаны свободным текстом. Команда отвечала за обработку документов и интерфейс.

Стоимость

От чего зависит стоимость

Цену пилота фиксируем до старта, после разбора источников. На неё влияют четыре вещи.

  • Источники

    Сколько сайтов и насколько они сложны: простой каталог дешевле сайта с подгрузкой, личного кабинета или защиты от автоматического сбора.

  • Объём и частота

    Сколько позиций собирать и как часто обновлять: раз в неделю или несколько раз в день.

  • Сопоставление

    По артикулам и штрихкодам товары сопоставляются просто. По названиям и характеристикам — дольше, и часть пар подтверждает человек.

  • Формат и поддержка

    Таблица проще записи в базу или BI. Регулярному сбору нужна поддержка: сайты меняются, сборщики приходится чинить.

Пилот — выбранные источники, согласованная схема данных, сборщик и проверка полноты и передачи результата. Сроки, расписание и сопровождение фиксируем до начала работ.

Вопросы

Частые вопросы

Как часто обновляются данные?

Как нужно задаче и как позволяет источник: от раза в неделю до нескольких раз в день. Для цен конкурентов обычно хватает ежедневного сбора, для акций и наличия на маркетплейсах бывает нужно чаще. Расписание согласуем на старте и меняем по ходу.

Как сопоставляются товары?

По артикулу производителя или штрихкоду, если они есть на сайте. Если нет — по названию и характеристикам, здесь помогает языковая модель. Пару с неполным совпадением проверяет сотрудник. При изменении карточки подтверждение может потребоваться заново.

В каком виде передаётся результат?

В том, где с данными работают: Google Таблицы или Excel, CSV по расписанию, база данных, API или выгрузка для BI. Состав полей, идентификаторы и обработку неполных строк фиксируем до разработки.

Что будет, если сайт-источник поменяется?

Каждый запуск сверяется с предыдущим: если карточек стало меньше или пропали поля, данные помечаются и в отчёт как полные не идут. Сборщик чиним в рамках поддержки. Поэтому регулярный сбор — это работа с поддержкой, а не разовая сдача.

Чем это отличается от заказа у фрилансера?

Фрилансер обычно сдаёт парсер или файл с данными на дату сдачи. Мы отвечаем за регулярность: запуски по расписанию, контроль полноты, сопоставление с вашим каталогом и доставку данных в ваши системы. Для разовой выгрузки фрилансер дешевле.

Можно ли собирать цены с маркетплейсов?

Да, с открытых карточек товаров: цену с учётом скидки, продавца и наличие. Маркетплейсы защищаются от автоматического сбора сильнее обычных магазинов, поэтому такой сбор дороже, а частоту подбираем осторожно. Если хватает стандартных отчётов, сначала посмотрите готовые сервисы мониторинга.

Какие данные вы не собираете?

Персональные данные и контакты людей, а также данные за авторизацией, доступа к которой у вас нет. Собираем то, что сайт показывает любому посетителю: цены, наличие, характеристики и описания товаров. Если у источника есть официальный API или выгрузка, используем их.

Сколько стоит парсинг сайта?

Зависит от числа и сложности источников, объёма, частоты и формата данных. Цену пилота называем после разбора источников и фиксируем до старта. После пилота регулярный сбор оплачивается как поддержка.

Где здесь AI?

Там, где правил недостаточно: сопоставить товар, который на чужом сайте называется иначе, разобрать характеристики из свободного текста карточки, привести единицы к одному виду. Сам сбор — обычный код. Если модель в задаче не нужна, мы её не добавляем.

Что нужно, чтобы заказать парсинг?

Список сайтов, категория или выгрузка ваших позиций, пример отчёта, который хотите получать, и желаемая частота. Если данные должны попадать в вашу систему — описание формата или доступ к тестовой среде.

Смежные задачи

Если задача рядом

Все услуги →
  • Мониторинг тендеров

    Когда нужно сверять лоты с каталогом поставщика и передавать подходящие закупки ответственному.

  • Мониторинг цен конкурентов

    Если нужны сопоставимые предложения по вашему каталогу, история цен и наличия и сигналы по изменениям. Здесь — разработка сбора и передачи данных.

  • AI-аналитика по данным компании

    Если нужно разбирать внутренние данные: продажи, CRM, ERP. Здесь — внешние открытые источники: сайты конкурентов, маркетплейсов и поставщиков.

  • AI-обработка входящих документов

    Если данные поставщиков приходят не на сайте, а документами: прайсами, счетами и спецификациями по почте.

Пилот

Оценить источники и формат данных

Расскажите, какие сайты и данные нужны, как часто и куда их передавать. Уточним состав пилота, сроки и стоимость.

Или напрямую: Telegram ↗ · +7 931 203-30-78 · hello@dev-crabs.ru