Сьогодні хочу розповісти про те, що таке парсинг і як його зробити.

Парсинг сайту – це автоматичний, систематизований збір даних з сайту за допомогою спеціальних програм – парсерів.

Іншими словами, за допомогою парсера ви можете завантажити всі дані сайту, такі як:

• Назви сторінок
• Описи
• Фотографії
• Ціни на товари
• Характеристики та атрибути товарів
< li>Посилання на сторінки
• Meta Title та Description
• Побачити помилки на сторінках та багато іншого

Навіщо це вам? Наприклад, щоб швидко завантажити весь каталог товарів постачальника з його сайту або зробити Фід для Merchant Center, зробити SEO аналіз сайту.

Давайте розберемо, як це працює на прикладі програми Screaming Frog SEO Spider. Завантажити її можна безкоштовно, але, на жаль, для активації знадобиться ключ. Добре, що їх можна знайти на просторах інтернету.

І так, запускаємо наш Screaming Frog.

Щоб спарсити сайт, достатньо вставити посилання на сайт у рядок зверху та натиснути “Start” 

Виглядає це ось так

Таким чином ви можете спарсувати стандартні поля які за замовчуванням у вас налаштовані. Ви зберете дуже багато інформації, але, наприклад, ціну товару, валюту або фотографії ви так не отримаєте. Для цього нам потрібно буде трохи заморочитись і залізти в Код сайту. Але не все так страшно, як може здатися.

Щоб витягнути додаткову інформацію, нам потрібно надати Парсеру інформацію “Куди дивитися”.

Наприклад, давайте витягнемо інформацію про ціну на сайті:

1.Заходимо на сайт, відкриваємо будь-який товар і натискаємо F12 на клавіатурі (або правою кнопкою миші по екрану та натиснути “Подивитися код сторінки”)

У вікні, що вискочило з кодом, натискаємо кнопку “Вибору елемента” і наводимо мишкою на ціну. Праворуч у консолі вам підсвітить рядок коду, що відповідає за цей елемент. Натискаємо на цей рядок правою кнопкою миші та натискаємо Copy -> Copy Full XPath

Ми скопіювали Шлях до потрібної інформації. Повертаємось у Screaming Frog і зверху натискаємо Configuration -> Custom -> Extraction 

У вікні, що вискочило, натискаємо “+Add”, називаємо поле як нам зручно, вставляємо наш Шлях і натискаємо “ОК”. 

Запускаємо парсинг і тепер у нас з’явилося нове поле “Price 1”

Зберігаємо Парсинг (Ctrl+S), натискаємо Export, вивантажуємо дані в Excel файл і готово.
Залишається очистити зайві дані та парсинг готовий.