Сбор с интернет-магазинов

Шаблон проекта «Сбор с интернет-магазинов» помогает регулярно собирать товарные данные с сайтов интернет-магазинов: цены, наличие, категории, характеристики, продавцов, ссылки на карточки и другую информацию, доступную на страницах сайта.

Это универсальный шаблон для интернет-магазинов. В одном проекте можно настроить разные сценарии сбора: по карточкам товаров, по категориям или по поисковым запросам. На выходе проект формирует товарный отчёт, журнал запусков и детализацию стоимости каждого сбора.

Шаблон не предназначен для маркетплейсов, аптек, FMCG/продуктовых сервисов, автотоваров, керамики, плитки и сантехники. Для таких задач лучше использовать отдельные отраслевые шаблоны, потому что у них отличается структура данных, источники и логика сбора.

Менеджерам по ценообразованию

Тем, кто отслеживает цены и наличие товаров на сайтах конкурентов, партнёров или ритейлеров. Шаблон помогает регулярно получать фактические данные с карточек, категорий и поисковой выдачи.

Категорийным менеджерам

Если нужно понимать, как представлен ассортимент в интернет-магазинах: какие товары есть в категории, какие бренды видны, какие позиции отсутствуют и как меняется наличие.

Бренд-менеджерам и производителям

Для контроля представления бренда на сайтах партнёров: названий товаров, ссылок, цен, наличия, категорий, изображений и других атрибутов карточек.

Аналитикам и BI-командам

Когда нужны структурированные данные для отчётов, выгрузок и дальнейшего анализа. Результаты можно фильтровать, сортировать и использовать как первичный слой данных.

Командам e-commerce и продаж

Если нужно проверять, как товары размещены на сайтах интернет-магазинов, насколько корректно отображаются цены, есть ли товары в наличии и какие данные доступны покупателю.

С помощью шаблона «Сбор с интернет-магазинов» можно:

• собирать данные из конкретных карточек товаров;
• собирать товары из категорий интернет-магазинов;
• собирать поисковую выдачу по заданным фразам;
• отслеживать цены, цены до скидки, акции и наличие;
• фиксировать остатки, если источник показывает такие данные;
• собирать названия, бренды, категории, изображения и ссылки на карточки;
• учитывать регион, если цена или наличие зависят от города;
• сохранять HTML или скриншот страницы для последующей проверки;
• видеть историю запусков в сессиях;
• контролировать стоимость каждого запуска в биллинге.

Шаблон подходит как для разового сбора, так и для регулярного мониторинга по расписанию.

Откройте шаблон «Сбор с интернет-магазинов» и создайте проект на его основе. Система подготовит проект с таблицами заданий, сессий, отчёта и биллинга.

Укажите понятное название проекта и выберите папку в воркспейсе. Название должно помогать быстро понять цель проекта, например:

• «Мониторинг электроники — интернет-магазины»;
• «Сбор карточек мебели — партнёры»;
• «Категории детских товаров — регионы»;
• «Поиск товаров конкурентов — интернет-магазины».

После создания проект находится в статусе «Черновик». В этом статусе можно добавлять и редактировать задания. Автоматический сбор начнётся только после активации проекта.

Добавление нового задания

Каждое задание описывает отдельный сценарий сбора: сайт, регион, режим, входные данные, расписание и дополнительные настройки.

Создавайте отдельные задания, если отличаются:

• сайт интернет-магазина;
• регион;
• режим сбора;
• список ссылок или поисковых запросов;
• глубина сбора по страницам;
• расписание;
• необходимость сохранять копию страницы.

Например, если нужно собирать данные с одного сайта в Москве и Санкт-Петербурге, лучше создать два задания. Если нужно сравнить карточки товаров и категорию на одном сайте, также лучше сделать два отдельных задания с разными режимами сбора.

Дайте заданию понятное имя. Хорошие примеры:

• «DNS — смартфоны — карточки»;
• «М.Видео — бытовая техника — категории»;
• «Детский мир — конструкторы — поиск»;
• «Hoff — мебель — Москва».

Выбор сайта

В задании выберите домен интернет-магазина из списка. В шаблоне используется подготовленный список сайтов, которые подходят для общих интернет-магазинных сценариев.

В этот шаблон не включены:

• маркетплейсы;
• аптеки и фарма;
• FMCG и продуктовые сервисы;
• автотовары;
• керамика, плитка и сантехника;
• другие отрасли, для которых нужны специализированные шаблоны.

Если нужного сайта нет в списке, обратитесь в поддержку. Команда Metacommerce проверит, можно ли добавить его в текущий шаблон или лучше использовать отдельное решение.

Выбор режима сбора

Поле «Режим сбора» определяет, какие входные данные нужно заполнить и как система будет собирать результаты.

1. Карточки

Используйте этот режим, если нужно регулярно проверять конкретные товары. В поле «Ссылки» добавьте ссылки на карточки товаров — каждую ссылку с новой строки.

Режим подходит, когда у вас уже есть список SKU или товаров, за которыми нужно следить: цены, наличие, название, бренд, категория, изображение, продавец и другие поля.

Ссылки должны вести на карточки товаров или поддерживаемые страницы товаров. Если нужно собрать весь раздел сайта, используйте режим «Категории».

2. Категории

Используйте этот режим, если нужно собрать товары из раздела или категории интернет-магазина. В поле «Ссылки» добавьте ссылки на нужные категории.

Если категория содержит несколько страниц, заполните поле «Пейджер». Оно ограничивает количество страниц, которые нужно обработать. Например, можно собрать первые 5, 10 или 20 страниц категории.

Режим подходит, когда важна не одна карточка, а общая картина категории: ассортимент, цены, наличие, бренды и позиции товаров в выдаче.

3. Поисковые запросы

Используйте этот режим, если нужно собрать выдачу интернет-магазина по поисковым фразам. В поле «Поисковые запросы» добавьте фразы — каждую с новой строки.

Примеры запросов:

• смартфон Samsung;
• ноутбук Lenovo;
• телевизор 55 дюймов;
• детский конструктор;
• офисная бумага.

Для поисковой выдачи также может использоваться «Пейджер», если нужно собрать несколько страниц результатов. В этом режиме ссылки указывать не нужно.

Регион

Выберите регион, для которого нужно собрать данные. У интернет-магазинов цены, наличие, доставка и ассортимент могут отличаться в зависимости от города.

Если нужно сравнить несколько регионов, создайте отдельное задание для каждого региона. Так результаты будут проще анализировать, а сессии и биллинг останутся прозрачными.

Расписание и окно сбора

Задание можно запускать вручную или по расписанию. Расписание определяет, как часто будет выполняться сбор, а окно сбора — промежуток времени, в течение которого система должна выполнить задание.

Пример: окно 00-06/6 означает, что сбор может быть запущен в любой момент с 00:00 до 06:00, а к 06:00 данные должны быть готовы.

Если точное время запуска не критично, выбирайте более широкое окно. Это делает сбор гибче. Если данные нужны к определённому времени, настройте окно так, чтобы сбор успевал завершиться заранее.

Сохранённая копия страницы

При необходимости включите сохранение копии страницы. Эта настройка полезна, если нужно позже проверить, как выглядела карточка, категория или поисковая выдача в момент сбора.

Доступные варианты:

• не сохранять копию;
• HTML;
• Screenshot;
• HTML + Screenshot.

Сохранение копий увеличивает стоимость сбора, поэтому включайте его только там, где нужна доказательная база или ручная проверка исходной страницы.

После добавления заданий активируйте проект. Пока проект находится в статусе «Черновик», автоматические сборы не выполняются.

Перед запуском проверьте:

• выбран ли домен;
• указан ли регион;
• выбран ли режим сбора;
• заполнены ли ссылки для режимов «Карточки» и «Категории»;
• заполнены ли поисковые запросы для режима «Поисковые запросы»;
• нужен ли «Пейджер» для категорий или поисковой выдачи;
• корректно ли настроено расписание;
• действительно ли нужно сохранять HTML или скриншоты.

После активации задания будут запускаться по расписанию. Если нужен разовый сбор, запустите задание вручную.

Каждый запуск задания создаёт отдельную сессию. В сессии можно посмотреть:

• задание, по которому выполнен сбор;
• домен, регион и режим сбора;
• дату и время запуска;
• статус выполнения;
• количество обработанных страниц или записей;
• количество строк, отправленных в отчёт;
• информацию об ошибках, если они возникли.

Сессии помогают связать результаты отчёта с конкретным запуском и быстро понять, когда и с какими настройками были собраны данные.

Результаты появляются в отчёте проекта. В зависимости от сайта и режима сбора в отчёте могут быть заполнены:

• дата сбора;
• домен и регион;
• режим сбора;
• поисковый запрос;
• артикул или ID товара;
• название товара;
• бренд;
• категория;
• ссылка на карточку;
• ссылка на изображение;
• цена;
• цена до скидки;
• акция или уценка;
• наличие;
• остатки;
• продавец;
• характеристики товара;
• вес или объём, если эти данные есть на странице;
• позиция в категории или поисковой выдаче;
• собранная ссылка;
• кэш страницы, если он был включён.

Набор заполненных полей зависит от интернет-магазина и от того, какие данные доступны на странице. Для анализа используйте фильтры, сортировку и выгрузку данных.

Шаблон «Сбор с интернет-магазинов» не является универсальным решением для всех типов сайтов. В него не входят:

• сбор с маркетплейсов;
• фармацевтические сценарии;
• FMCG и продуктовые сервисы;
• автотовары и автозапчасти;
• керамика, плитка, сантехника и строительные категории со специализированными параметрами;
• сопоставление с ассортиментной матрицей клиента;
• автоматический расчёт отклонений от цены клиента;
• готовые BI-дашборды и аналитические витрины;
• ручная проверка качества данных как отдельный процесс.

Если вам нужны такие задачи, используйте профильный шаблон или обратитесь в поддержку, чтобы подобрать подходящее решение.

Если у вас возникли вопросы по настройке проекта, выбору режима сбора, добавлению сайта или интерпретации отчёта, напишите на support@metacommerce.ru или позвоните по номеру 8 800 500-22-64.