Какие данные в интернете умеет собирать сервис Metacommerce?

Большинство компаний, которые занимаются сбором данных в интернете или парсингом, собирают данные о товарах только по прямым ссылкам. Сначала формируется реестр, в котором к каждому артикулу товара вручную привязывается ссылка с конкретного сайта. Затем парсер бегает по этим ссылкам и собирает данные. Один из недостатков метода состоит в том, что клиент получает информацию только о цене и наличии товаров. А существует еще множество других данных, которые полезны для мониторинга рынка и управления ассортиментом.

Методы сбора данных Metacommerce

Так как задачи клиентов сильно отличаются, мы разработали собственную систему сбора информации о товарах в интернете, которая с помощью 4 различных методологии сбора данных способна эффективно собрать информацию для решения любой задачи:

1. Сплошной сбор всего доступного ассортимента на сайте
   Благодаря технологии сплошного сбора данных, которая позволяет собрать полный ассортимент сайта и все необходимые параметры товаров, стал возможен ассортиментный анализ конкурентов с распределением их товаров по дереву категорий наших клиентов.
2. Сбор по ссылкам на категории или отдельные товары
   Отдельные товары или категории товаров по ссылкам, применяя при этом фильтрацию и сортировку листинга. Например, можно отсортировать товары по цене и собрать информацию о 10 самых дешевых продуктах в категории. Можно поставить фильтр для категории по определенному бренду и собирать данные только по этим позициям.
3. Сбор с помощью поисковых запросов на сайтах
   Данные по всем товарам, соответствующим определенному запросу в поисковой строке на сайте. Например, ноутбук игровой, кефир обезжиренный, конструктор пластмассовый и т.д.
4. Сбор данных по уже сопоставленному ассортименту.

Логика сбора данных

В зависимости от бизнес-задачи реализуется различная логика сборов. Данные могут собираться:

• из категорий товаров, включая следование по страницам сайта;
• из подкатегорий с целью сбора отдельных позиций, которые могут быть не представлены в общей категории;
• из карточек товаров, так как некоторые данные скрыты в списочной выдаче и требуется зайти в конкретную карточку и собрать информацию там (например, артикул, описание); 
• при помощи определенных действий на сайте. Например, добавление товаров в корзину, если стоит задача собрать доступное для заказа количество товаров в магазине.

Собираемые поля данных

Платформа Metacommerce умеет собирать из цифровых источников все данные о товарах, которые визуально доступны пользователям. Тип собираемых данных может быть любым. Главное — эти данные должны быть визуально доступны. 

Параметры, которые сервис собирает в любом случае при любой задаче или цели сбора данных:

• Наименование товара
• Ссылка на товар
• Текущая цена
• Валюта
• Наличие/отсутствие товара на сайте
• Населенный пункт
• Сохраненная копия страницы

Кроме того, Metacommerce может собирать и другие параметры, необходимые для решения задач динамического ценообразования, ассортиментного менеджмента, маркетинга, управления репутацией, трейд-маркетинга, логистики:

• Цена до скидки или зачеркнутая цена
• Специальная цена
• Размер кэшбека или бонусов
• Размер платежа по кредиту или в рассрочку
• Признак не ценовых промо
• Категория товара
• Вложенность категорий товара
• Наименование товара из карточки (оно может быть отлично от наименования в листинге)
• Артикул магазина
• Артикул производителя
• EAN (штрихкод)
• Остатки товара (иногда это указано на сайте, а иногда требуется добавление товара в корзину)
• Количество дней доставки
• Стоимость доставки
• Наличие и остатки в розничных магазинах
• Ссылка на фотографию товара на сайте;
• Позиция в выдаче на сайте;
• Количество отзывов;
• Рейтинг товара на сайте;
• Бренд;
• Производитель.

Сервис Metacommerce использует различные методологии сбора данных в интернете и благодаря этому предлагает возможность собирать огромные объемы данных.

Теперь об ограничениях. Но существует также ряд ограничений. Мы не оперируем данными, добытыми нелегально, хакерскими данными, взломанными личными кабинетами и авторизованными зонами, если эти зоны не предоставлены в рамках публичной регистрации и использования. Мы не ломаем финансовые данные, не собираем информацию о транзакциях пользователей, не наносим вред источникам, где собираются данные. Информация, которая не видна обычному пользователю, будет недоступна и для парсеров Metacommerce. 

Сервис Metacommerce предлагает решение широкого спектра бизнес-задач. Данные, собираемые с помощью уникальных технологий, могут использоваться:

• магазинами — для конкурентного анализа и динамического ценообразования; 
• брендами — для отслеживания каналов продаж и ассортиментного анализа конкурентов;
• сервисными и иными компаниями — для анализа рынка, предложений конкурентов и совершенствования внутренних процессов, например скоринга пользователей.

Информация, собранная с помощью Metacommerce, используется как для решения задач ценообразования, так и при ассортиментном анализе и маркетинговом исследовании рынка. Например, бренды любят собирать рейтинги и отзывы на товары. Эта информация используется маркетологами и менеджерами по работе с ключевыми клиентами и влияет на цифровой мерчендайзинг, определяет лояльность потребителя, оборот по товару, частоту сделок, средний чек. Мы стараемся расширять наши возможности и использовать нетривиальный подход для сбора и обработки данных, необходимых нашим клиентам.