Ручное сопоставление и подбор ссылок
Сначала ассортимент заказчика сопоставляют с товарами конкурентов. Для этой цели агентство — иногда в штате, иногда вне штата — держит армии работников, которые эти большие данные пытаются вручную сопоставить. Люди ищут руками и глазами через поисковики товары из ассортимента клиента на сайтах конкурентов. Конечная задача — найти карточку товара, которая идентична товару из ассортимента заказчика и скопировать ссылку или url-код. Затем они добавляют эту ссылку в специальный реестр — таблицу, где есть товары заказчика и сайты конкурентов по городам. Каждый товар надо найти на сайте каждого конкурента в конкретном городе и привязать найденную ссылку к артикулу товара клиента. После того как сформирован реестр ссылок по всем городам, всем сайтам и по всем товарам, запускается парсер, который бегает по этим ссылкам и собирает цены на товары.
Если заказчик — крупный ритейлер
Возьмем супермаркет с количеством товаров 50 000 SKU. Федеральные гиганты мониторят в среднем 20−30 сайтов конкурентов. Возьмем 30 сайтов. Если 50 000 умножить на 30, то получаем 1 500 000 — это количество потенциальных связей, которые могут существовать между ассортиментом заказчика и ассортиментом конкурентов в одном городе.
Крупные федеральные сети в разных городах пытаются по-разному выстраивать политику как по ассортименту, так и по ценам. Если взять хотя бы 50 крупных федеральных или региональных центров и умножить на 1 500 000 пересечений, то получается 75 000 000 связей.
Это не значит, что можно 1 раз найти эти 75 000 000 связей, а потом постоянно запускать парсер по ссылкам. Ассортимент меняется на сайте клиента и на сайтах конкурентов. Старые товары уходят, а новинки выходят на рынок. То, что вы видите в магазине сегодня, уже завтра будет выглядеть совсем по-другому: добавятся новые товары, какие-то карточки пропадут, ссылки поменяются. Происходит регулярное обновление ассортимента. 75 000 000 связей постоянно ломаются, появляются новые. Эти связи нужно каждый день проверять, реактуализировать и пытаться установить между ассортиментом клиента и товарами на сайтах конкурентов. Это огромный объем обработки данных. Количество связей и количество изменений, которое происходит на каждом из сайтов и в ассортименте заказчика — масштабно. Вручную это сделать невозможно. Это очень дорого, а главное — физически невозможно. Нельзя набрать столько людей и обеспечить такую динамику работ, чтобы предоставлять свежие данные каждое утро, собирая их в ночь.
Поэтому сервисные компании, которые используют ручной подбор ссылок, предлагают обновлять эти связи 1 раз в месяц. Все остальное время они собирают информацию по подобранным ранее ссылкам. При ручном сопоставлении невозможно отслеживать все изменения в ассортименте конкурентов на ежедневной основе. Предоставляются неактуальные данные, которые вредят методологии ценообразования.
Кроме того, большая доля ручного труда приводит к таким проблемам как низкая скорость реализации проекта сопоставления, дороговизна процесса подбора ссылок, некорректная и недостоверная информация о ценах конкурентов. Клиент не будет вручную проверять миллион гипотез на следующий день. Если это сделать, то окажется, что часть данных — устаревшая, часть данных — удалена, много данных — не собрано, а все имеющиеся пересечения — лишь малая часть из того, что необходимо для выстраивания грамотной ценовой и ассортиментной политики.
Если заказчик — бренд-производитель
Количество товаров для мониторинга у брендов гораздо меньше, чем у крупных ритейлеров: это сотни товаров, иногда тысячи, если это крупный бренд. Это несопоставимые с гипермаркетами и маркетплейсами цифры. Задача мониторинга у бренда — мониторинг собственной цены, или РРЦ, а также наличия или отсутствия товаров в каналах продаж. Бренду важно понимать ежедневное изменение цены и появление новинок в каналах продаж.
Например, задача состоит в том, чтобы каждый день мониторить каналы продаж на предмет появления тех товаров, которые еще на рынке не продаются. Бренд обеспечивает равные конкурентные права для всех своих каналов продаж. Важно, чтобы маркетинговые активности начинались в один и тот же день для wow-эффекта продаж во всех каналах. Если кто-то из ритейлеров начнет промоактивности на день-два раньше, то это попытка ритейлера обеспечить себе эксклюзивность. В маркетинговых контрактах предусмотрены штрафы за нарушение сбытовой политики. Задача мониторинга — фиксировать момент, когда появляется новинка из ассортимента бренда и сообщать об этом немедленно. Это контроль своевременного запуска новинок на рынке.
При ручном подборе ссылок нужно ежедневно использовать людей для перепроверки гипотез о наличии или отсутствии товаров. Парсеру нечего собирать, ссылки нет. В любой момент новинка может появиться. Человеку нужно ее гуглить, искать на сайте, и несколько раз в день перепроверять. Это постоянная ручная работа, которая приводит к тому, что момент прецедента может быть вовремя не зарегистрирован.
Приведенные примеры показывают, что большая доля ручного труда в данном подходе снижает достоверность и актуальность полученных данных. Есть еще один недостаток. Агентства, использующие ручное сопоставление данных, проводят сбор только сопоставленных товаров. Данные о ценах собираются по подобранным ссылкам из реестра. Парсер ищет только те товары, которые есть в ассортименте заказчика, а другие товары по категории конкурента в целом — не собирает. Если у заказчика стоит более сложная задача, чем собирать цены по конкретным товарам, реализовать ее довольно сложно, а в некоторых случаях невозможно.
В этом случае информация о товарах собирается перед обработкой и сопоставлением. Заказчику для исследования каналов продаж или конкурентов нужны данные из виртуальных или реальных источников. Сервис Metacommerce собирает информацию о товарах онлайн, используя технологию сплошного сбора данных, и офлайн — с помощью технологии распознавания ценников.
После сбора информации нужно произвести сопоставление товаров. Для этого ассортимент заказчика накладывается на собранные данные. Наложение ассортимента помогает увидеть, какие из товаров клиента присутствуют на сайтах или на реальных полках конкурентов, сравнить по ним цены и промо-предложения. Кроме того, выявляются товары, которых нет у конкурентов. Это влияет на ценовую политику: при продаже эксклюзивных товаров демпинговать смысла нет. Также клиент видит, какие товары из матрицы конкурента отсутствуют у него и оценивает их популярность. Это влияет на ассортиментную политику: в портфолио добавляются популярные позиции.
Возможность наложить свой ассортимент на ассортимент конкурента или ассортимент канала продаж позволяет проанализировать рынок в соответствии с тем, как ты выглядишь против кого-то. Результат обработки данных — это кросс-матрица, в которой видно, как один и тот же телефон, пылесос, детское кресло, фармацевтический препарат или пачка молока — выглядят на разных источниках.
Мастер-каталог
В Metacommerce уже много лет существует собственный мастер-каталог, который содержит мастер-данные по всем товарам рынка, которые были хотя бы единожды поставлены на мониторинг нашими заказчиками из их ассортимента.
Когда приходит новый заказчик, мы заводим его товары в каталоге в виде отдельных карточек с полями и параметрами, которые уникальным образом описывают и детерминируют этот товар на рынке. В этой карточке присутствуют такие параметры как бренд, категория, наименование, артикул производителя, коды и сокращения, фотография, цвет, транслитерация. Необходимы параметры, которые позволяют по этой карточке идентифицировать товар как единственный и уникальный. Например, гигабайтность телефона. Один и тот же смартфон может быть на 128 Гб, а может быть на 256 Гб. Соответственно, две модификации — это две разные карточки.
Карточка каталога Metacommerce — это уникальным образом описанный товар, который имеет четкую структуру и мастер-данные, позволяющие этот товар детерминировать на рынке.
Когда мы получаем ассортимент клиента, наступает фаза настройки — фаза создания и проработки карточек, наполнения их характеристиками. Если карточки уже созданы, то мы донасыщаем каталог нужными параметрами или полями из ассортимента клиента. Мы создаем связь между товаром ассортимента и карточкой каталога.
Алгоритмы сопоставления
Каждый товар сопоставляется по нескольким параметрам. В первую очередь система анализирует семантическое ядро, ищет слова: apple, iphone, samsung или galaxy и так далее. Затем использует все доступные параметры: название, цена, категория, наименование, артикул, уникальный ID, EAN, фотография и другие.
Всего есть 12 параметров, которые играют роль в оценке точности сопоставления. По ним принимаются решения трех типов: этот товар идентичный, этот товар не идентичный и этот товар по каким-то параметрам вроде бы идентичный, а по каким-то нет. Товары с вопросом — уходят к оператору для подтверждения или опровержения идентичности в ручном режиме, человеком. Система запоминает это решение и в последующем, когда этот товар попадает к ней, принимает уже правильное решение.
Сейчас система дошла в своем уровне развития до такого этапа, что она автоматически мэтчит брендированные товары в определенных категориях самостоятельно и не требует участия оператора в реактуализации или постоянной перепроверке. Это сложный алгоритм, за реализацию которого компания «Метакоммерс» получила резидентство Сколково.
Статистическая экспертная система через машинное обучение самосовершенствуется по категориям товаров, которые она постоянно сопоставляет. Мы уже 10 лет сопоставляем товары в категориях: электроника и бытовая техника, детские товары, фармацевтика и медицина, брендированные продукты. Поэтому система работает на самом высоком уровне в этих категориях.
Система Metacommerce не требует ручной связи товаров. Когда на сайте конкурентов вчера товара не было, а сегодня он появился — система автоматически его увидит и подтянет. Машина вместо человека каждый день и каждый раз проверяет гипотезы об идентичности товаров из ассортимента заказчика с рынком. Связь устанавливается по факту возникновения в момент нового сбора, без участия человека, который должен снова перепроверить все гипотезы. Автоматизированное сопоставление больших данных позволяет делегировать роботу ежедневную перепроверку и контроль появления новинок на сайтах конкурентов из ассортимента заказчика.
Сервис Metacommerce предлагает возможность ежедневной реактуализации больших данных с помощью автоматизированного алгоритма сопоставления. Это позволяет избежать постоянной ручной работы и гарантирует клиенту высочайшую полноту и точность сопоставлений.