Сегодня хочу рассказать о том, что такое Парсинг и как его сделать.

Парсинг сайта — это автоматический, систематизированный сбор данных с сайта с помощью специальных программ — Парсеров.

Другими словами, с помощью парсера вы можете скачать все данные сайта, такие как:

• Названия страниц
• Описания
• Фотографии
• Цены на товары
• Характеристики и Атрибуты товаров
• Ссылки на страницы
• Meta Title и Description
• Увидеть ошибки на страницах и многое другое

Зачем вам это? Например, чтобы быстро скачать весь каталог товаров поставщика с его сайта или сделать Фид для Merchant Center, сделать SEO анализ сайта.

Давайте разберем как это работает на примере программы Screaming Frog SEO Spider. Скачать её можно бесплатно, но к сожалению для активации понадобится ключ. Благо их можно найти на просторах интернета.

И так, запускаем наш Screaming Frog.

Чтобы спарсить сайт, достаточно вставить ссылку на сайт в строку сверху и нажать “Start” 

Выглядит это вот так

Таким образом вы можете Спарсить стандартные поля которые по умолчанию у вас настроены. Вы соберете очень много информации, но например цену товара, валюту или фотографии вы так не получите. Для этого нам нужно будет немного заморочится и залезть в Код сайта. Но не всё так страшно как может показаться.

Чтобы вытянуть дополнительную информацию, нам нужно дать Парсеру информацию “Куда смотреть”.

Например давайте вытянем информацию о цене на сайте:

1.Заходим на сайт, открываем любой товар и нажимаем F12 на клавиатуре (или правой кнопкой мыши по экрану и нажать “Посмотреть код страницы”)

В выскочившем окне с кодом, нажимаем кнопку “Выбора элемента” и наводим мышкой на цену. Справа в консоли вам подсветит строку кода отвечающую за этот элемент. Нажимаем на эту строку правой кнопкой мыши и нажимаем Copy -> Copy Full XPath

Мы скопировали Путь к нужной нам информации. Возвращаемся в Screaming Frog и сверху нажимаем Configuration -> Custom -> Extraction 

В выскочившем окне нажимаем “+Add”, называем поле как нам удобно, вставляем наш Путь и нажимаем “ОК”. 

Запускаем парсинг и теперь у нас появилось новое поле “Price 1”

Сохраняем Парсинг (Ctrl+S), нажимаем Export, выгружаем данные в Excel файл и готово.
Остаётся очистить лишние данные и парсинг готов.