Сбор с FMCG-сайтов

Шаблон проекта «Сбор FMCG-товаров» помогает собирать данные с FMCG-сайтов: продуктового ритейла, сервисов доставки, сайтов напитков, косметики, товаров для дома, детских товаров и зоотоваров.

Это шаблон именно для сбора данных. Он подходит, когда нужно получить структурированный отчёт по товарам, ценам, наличию, категориям, ссылкам, брендам, продавцам, EAN/штрихкодам и другим атрибутам. В первый вариант шаблона не входят ассортиментная матрица, EAN-сопоставление, пересчёт цены за базовую единицу, мониторинговые сводки и аналитические витрины динамики.

Категорийным менеджерам

Тем, кто следит за представленностью товаров в продуктовых сетях, доставке, косметике, товарах для детей, животных и других FMCG-сегментах. Шаблон помогает понять, какие товары есть в продаже, как они называются на сайте, к каким категориям относятся и какие цены показывает источник.

Командам e-commerce и продаж

Если нужно регулярно проверять карточки товаров, категории или поисковую выдачу на сайтах партнёров и конкурентов. Например, посмотреть наличие, цену, акцию, промо-цену, остатки и ссылку на карточку.

Аналитикам и BI-командам

Когда требуется получать структурированные данные для дальнейшего анализа, отчётов или дашбордов. Результаты сбора можно фильтровать, выгружать и использовать как первичный слой данных.

Маркетологам и трейд-маркетингу

Для проверки того, как товары и категории представлены на разных FMCG-сайтах: какие бренды видны, какие промо есть на странице, какие товары попадают в выдачу по выбранным запросам.

Командам закупок и ценообразования

Если нужно собрать первичную витрину цен и наличия по выбранным источникам. Шаблон фиксирует фактические данные с сайтов, но не рассчитывает готовые мониторинговые показатели вроде минимальной, средней или медианной цены.

С помощью шаблона «Сбор FMCG-товаров» можно:

• собрать карточки конкретных товаров по ссылкам;
• собрать товары из выбранных категорий или разделов FMCG-сайта;
• собрать поисковую выдачу по заданным фразам;
• сравнить, как один товарный сегмент представлен на разных источниках;
• получить цены, цены до скидки, специальные цены, промо, наличие и остатки;
• сохранить ссылку на карточку, изображение, категорию, бренд, продавца и EAN/штрихкод, если эти данные есть на странице;
• учитывать регион и адрес магазина или точки, если выдача зависит от местоположения;
• сохранить HTML или скриншот страницы для последующей проверки;
• видеть журнал запусков и детализацию стоимости сбора.

На базе полученных данных можно проводить ручной анализ, готовить отчёты и проектировать следующий слой мониторинга. Если нужна регулярная аналитика по ассортиментной матрице, сопоставлению товаров или сводкам по конкурентам, это лучше выносить в отдельный мониторинговый проект поверх результатов сбора.

Откройте шаблон «Сбор FMCG-товаров» в Foldi и создайте проект на его основе. Система подготовит проект с таблицами заданий, запусков, отчёта и биллинга.

Укажите понятное название проекта и выберите папку в воркспейсе. Название лучше делать прикладным, чтобы по нему было понятно, что собирается и для какой задачи, например: «Сбор FMCG: молочная категория — Москва» или «FMCG: цены и наличие в доставке».

После создания проект находится в статусе «Черновик». В этом статусе можно добавлять и настраивать задания, но автоматический сбор ещё не выполняется.

Добавление нового задания

Каждое задание описывает отдельный сценарий сбора: источник, регион, режим, входные данные, расписание и настройки сохранения страницы.

Создавайте отдельные задания, если отличаются:

• FMCG-сайт;
• регион или адрес точки;
• режим сбора;
• список ссылок или поисковых запросов;
• расписание и окно сбора;
• необходимость сохранять копию страницы.

Например, если нужно собрать данные по perekrestok.ru в Москве и Санкт-Петербурге, лучше создать два задания. Так результаты проще сравнивать, а расписание и стоимость каждого сбора будут прозрачнее.

Дайте заданию понятное имя. Хорошие примеры:

• «Молочные товары — Перекрёсток — Москва»;
• «Бакалея — Магнит — категории»;
• «Корма — 4 лапы — карточки»;
• «Детские товары — Детский мир — поиск».

Выбор FMCG-сайта

В задании выберите домен из готового списка. Шаблон рассчитан на FMCG и смежные товары повседневного спроса, поэтому список источников намеренно ограничен.

Выбор режима сбора

Поле «Режим сбора» определяет, какие входные данные нужно заполнить и как система будет собирать результаты.

1. Карточки

Используйте этот режим, если нужно проверить конкретные товары. В поле «Ссылки» добавьте ссылки на карточки товаров или листинги карточек — каждую ссылку с новой строки.

Режим подходит для регулярной проверки цены, наличия, продавца, бренда, промо и других атрибутов по заранее выбранным товарам.

2. Категории

Используйте этот режим, если нужно собрать товары из раздела или категории сайта. В поле «Ссылки» добавьте ссылки на нужные категории.

Если категория состоит из нескольких страниц, заполните поле «Пейджер». Оно ограничивает глубину сбора и помогает не собирать лишний объём данных. Например, можно указать 5, 10 или 20 страниц.

3. Поисковые запросы

Используйте этот режим, если нужно собрать поисковую выдачу по выбранным фразам. В поле «Поисковые запросы» добавьте фразы, по которым пользователи ищут товары, — каждую с новой строки.

Примеры запросов:

• молоко безлактозное;
• кофе растворимый;
• корм для кошек;
• детское питание;
• гель для стирки.

Для поисковой выдачи также может использоваться «Пейджер», если нужно собрать несколько страниц результатов. Ссылки в этом режиме указывать не нужно.

Регион и адрес

Выберите регион, для которого нужно собирать данные. Для FMCG-сайтов это особенно важно: цены, наличие, остатки, сроки доставки и ассортимент могут отличаться в зависимости от города или адреса.

Если источник поддерживает привязку к магазину, точке доставки или адресу, заполните адрес. Это поможет получить результаты, близкие к тому, что видит пользователь в конкретной локации.

Если нужно сравнить несколько регионов или адресов, создайте отдельное задание для каждого региона. Так будет проще анализировать различия и управлять расписанием.

Расписание и окно сбора

Задание можно запускать вручную или по расписанию. При настройке расписания укажите окно сбора — промежуток времени, в течение которого система должна выполнить задание.

Выбирайте окно с учётом того, к какому времени данные должны быть готовы. Если точное время запуска не критично, лучше использовать более широкое окно: это делает сбор гибче.

Пример: если выбрано окно 00-06/6, сбор будет выполнен в промежутке с 00:00 до 06:00, а к 06:00 данные должны быть готовы.

Сохранённая копия страницы

При необходимости включите сохранение копии страницы. Это полезно, если нужно позже проверить, как выглядела карточка, категория или выдача в момент сбора.

Доступные варианты:

• не сохранять копию;
• HTML;
• Screenshot;
• HTML + Screenshot.

Сохранение копий увеличивает стоимость сбора, поэтому включайте его только для задач, где важно иметь доказательную базу или возможность последующей ручной проверки.

После добавления и проверки заданий активируйте проект. Пока проект находится в статусе «Черновик», автоматические сборы не выполняются.

Перед активацией проверьте:

• выбран ли домен;
• указан ли регион;
• выбран ли режим сбора;
• заполнены ли ссылки для режимов «Карточки» и «Категории»;
• заполнены ли поисковые запросы для режима «Поисковые запросы»;
• нужен ли «Пейджер» для категорий или поиска;
• корректно ли настроено расписание;
• действительно ли нужно сохранять HTML или скриншоты.

После активации задания будут запускаться по расписанию. Если для задания выбран ручной режим, запустите его самостоятельно из проекта.

Каждый запуск задания создаёт отдельную сессию. В таблице сессий можно посмотреть:

• задание, по которому выполнен сбор;
• домен, регион, адрес и режим сбора;
• дату и время запуска;
• статус выполнения;
• количество записей, отправленных в отчёт;
• информацию об ошибках, если они возникли.

Сессии помогают понимать историю запусков и быстро находить, к какому сбору относятся конкретные строки отчёта.

Результаты появляются в отчёте проекта. В зависимости от сайта и режима сбора в отчёте могут быть заполнены:

• дата сбора;
• домен, регион и адрес;
• режим сбора;
• поисковый запрос;
• артикул или SKU товара;
• название товара;
• бренд и производитель;
• категория;
• ссылка на карточку;
• ссылка на изображение;
• цена;
• цена до скидки;
• специальная или промо-цена;
• наличие;
• остатки;
• продавец;
• EAN или штрихкод;
• вес, объём или упаковка;
• информация о доставке и самовывозе;
• позиция в выдаче;
• собранная ссылка;
• кэш страницы, если он был включён.

Набор заполненных полей зависит от источника и от того, какие данные доступны на странице. Для анализа можно использовать фильтры, сортировку и выгрузку данных.

Важно: отчёт показывает собранный факт по товару или предложению. Он не определяет автоматически, относится ли товар к ассортиментной матрице клиента, не сопоставляет EAN и не рассчитывает агрегаты по рынку.

В текущий шаблон «Сбор FMCG-товаров» не входят:

• ассортиментная матрица;
• EAN-matching как отдельный процесс сопоставления;
• дедупликация относительно ассортимента;
• сравнение с ценой;
• расчёт отклонений;
• пересчёт цены в базовую единицу как бизнес-логика;
• минимальная, максимальная, средняя и медианная цена по рынку;
• сводки по ассортименту;
• pivot-отчёты, где сайты или продавцы становятся колонками;
• автоматическое расширение списка источников до всех доступных доменов.

Если такие задачи нужны, используйте результаты сбора как исходный слой данных и настройте отдельный мониторинговый или аналитический проект.

Если у вас возникли вопросы по настройке проекта, выбору режима сбора, добавлению источника или интерпретации отчёта, напишите на support@metacommerce.ru или позвоните по номеру 8 800 500-22-64.