Что такое парсинг и как правильно парсить

Современный маркетинг – это работа с огромными массивами данных. Нужно анализировать работу сайта, конкурентов, свою аудиторию и еще массу всего. Но откуда брать эти данные? Можно собрать что-то вручную, пойти в метрику, wordstat или дугой аналитический сервис и что-то увидеть. Однако часто ручного сбора информации недостаточно, тогда на помощь приходят парсеры.

Простыми словами парсинг – это автоматический сбор данных по конкретным параметрам или под какие-то задачи. Соответственно, парсеры – специальные сервисы для автоматического сбора данных. Собирать информацию можно практически из любых источников. Там где вы можете вычленить данные вручную, там можно использовать и парсинг, главное подобрать правильный инструмент для этого.

В этой статье мы разберем парсеры, которые позволяют собирать данные, полезные для развития сайта.

Применение парсинга в целом не запрещено законом. В конституции РФ закреплено право свободно искать, получать и распространять информацию любым законным способом. Таким образом, если информация не защищена авторским правом, находится в свободном доступе для каждого человека и нет никаких других запретов с точки зрения закона, значит, ее можно копировать и распространять, а способ копирования и распространения большого значения не имеет.

Однако, помните о том, что есть некоторые виды информации, которые защищены законом. Пример таких данных – персональные данные пользователей. Эта информация защищена Законом «О персональных данных» и с их парсингом нужно сохранять некоторую осторожность. Если собираете личные данные, уведомляйте пользователя об этом:

Таким образом, парсинг разрешен, но не путайте его с другими понятиями:

• взломом сайта: получением данных из личных кабинетов пользователей
• DDOS-атакой: когда сайт перестает работать вследствие слишком частых запросов к серверу
• заимствованием авторского контента: забрали картинку с копирайтом или уникальный текст и разместили у себя

Такие действия – недобросовестная конкуренция, они запрещены и за них можно получить наказание: санкции со стороны закона, поисковиков, от социальных сетей и так далее.

Парсинг – это законно, если вы собираете информацию находящуюся в открытом доступе и это не вредит другим лицам

Парсер – это робот. Он воспринимает информацию на сайте не так как мы. Ему не интересны визуальные эффекты, он видит только код и текстовое содержимое страницы. Программа находит информацию по заданным параметрам, сравнивает ее, анализирует и сохраняет в нужном вам формате.

В качестве объекта парсинга может выступать практически все что угодно: обычный сайт, интернет-магазин, социальная сеть, какой-то каталог.

Объемы данных в интернете настолько большие, что обработать их вручную бывает просто невозможно. Представьте сайт с каталогом товаров на 3000 позиций. Как анализировать такой массив данных вручную? Никак. Какую-то часть информации, скажем, процентов 15-20 удастся держать под контролем вручную, но остальная доля будет оставаться без внимания. Парсинг данных позволяет контролировать всё.

Вот некоторые способы использования парсеров на благо своего сайта:

1. Для наведения порядка на сайте. Снова к тому же примеру: на сайте несколько тысяч товаров. Как вы будете поддерживать актуальность цен? А как следить за наличием товара? А каким образом проверите есть ли такой товар в каталоге, если забыли, размещалась группа товаров или нет? С помощью парсера можно собрать все страницы и в одной таблице увидеть все позиции с адресами и описанием
2. Анализ цен и подстройка под рынок. Чтобы собрать цены вручную, нужно: открыть страницу → найти товар → найти цену на странице. В парсере нужно нажать три кнопки и заполнить пару полей и вы увидите полный список товаров конкурента с ценами
3. Наполнение карточек товаров. Снова тот же каталог на несколько тысяч позиций. Как писать для каждого товара описания? Вручную, это объем работ на десятки, если не на сотни часов. А ведь можно пойти более простым путем. Спарсить данные, например, с англоязычного сайта, перевести автоматическим способом и у вас есть список из нескольких сотен готовых текстов, требующих минимальных доработок
4. Парсинг используют при SEO-оптимизации: для аналитики своего сайта(позволяет в одном документе посмотреть мета-теги, урлы и другие данные) и при аналитике конкурентов

Это всего четыреи метода парсинга, которые относятся только к сайту, но даже они способны сэкономить десятки и сотни часов вашего времени.

1. Быстрый сбор информации. Человек, работающий с данными устает, устает, ошибается, путается в информации. Робот – нет, он всегда работает в одном режиме. Парсер может работать круглосуточно
   
2. Точное следование любым настройкам. Программа не будет отклоняться от заданных параметров сбора информации. Если данные невозможно собрать, выведется ошибка, но точность данных никогда не пострадает
3. Формирование массивов данных в любой удобный формат
4. Регулярно проверять сайт. Парсинг может быть систематическим с постоянным контролем качества материалов. Программу можно настроить так, чтобы она отправляла уведомления при обнаружении проблем

Парсинг может быть ограничен внутренними ресурсами на сайте:

• user-agent. Перед посещением сайта бот сообщает ему о себе. Парсер может быть заблокирован при входе на сайт. Чтобы избежать этого, можно задать настройки, чтобы бот представлялся как YandexBot или Googlebot, ограничение будет снято
• robots.txt. Если ваш бот представился роботом гугла или яндекса, проверьте, нет ли ограничений для поисковиков в файле robots.txt. Найти файл можно на любом сайте по адресу site.ru/robots.txt
• IP-адрес. Если с одного и того же IP поступает много запросов за короткий промежуток времени IP может быть заблокирован. Если это случилось, используйте VPN
• Капча. Действия могут быть ограничены, если они повторяют или похожи друг на друга. Выводится капча. Можно научить парсер обходит капчу, но это трудно и дорого, альтернатива – использовать сервисы антикапчи

Облачные парсеры

Преимущество таких программ – не требуют установки на компьютер. Их можно использовать онлайн и вся собираемая информация хранится на серверах разработчика. Работают через веб-интерфейсы или по API. Пара примеров облачных сервисов с русскоязычным интерфейсом:

• Церебро Таргет – для парсинга аудитории по интересам из VK
• Диггернаут – парсинг сайтов конкурентов
• Catalogloader – многофункциональный парсер для наполнения, отслеживания цен, мониторинга акций и т.д.

Программы-парсеры

Это приложения для установки на компьютер. Как правило, хорошо совместимы с Windows, на линуксе и MacOS возникают проблемы, запускаются через виртуальные машины.

• Постраничный SEO-парсинг для выявления ошибок на страницах, качества заполнения мета данных и так далее – Screaming Frog, Netpeak Spider
• Key Collector – специальное приложение для парсинга ключевых слов из различных источников

Парсеры на основе Python и PHP

Python – самый популярный язык для создания парсеров. По функциональности такие приложения превосходят все аналоги. Однако, если у вас нет навыков программирования, создать такой парсер не получится. Парсер на Python или PHP можно написать абсолютно под любые задачи. Но прежде, чем идти со своим заказом к разработчику, поищите готовое решение. Скорее всего оно уже есть, нужно просто подобрать. За разработкой актуально обращаться только для решения узких специфических задач.

Парсеры-расширения для браузеров

Парсеры в виде расширений – очень удобные решения с той точки зрения, что не нужны никакие дополнительные приложения, кроме постоянно используемого браузера. По функциональности это чаще всего простые приложения, способные вытащить со страницы или сайта простые данные: цены, новости, товары, отзывы. Они делают выгрузку данных и компанют их в удобный для восприятия вид, обычно в Excel или Google Таблицы.

Вот пара полезных расширений в Chrome для владельцев интернет-магазинов: Scraper, Parsers.

Парсеры сайтов на основе Excel

Excel – настолько многофункциональное приложение, что на его основе разрабатывается масса надстроек, упрощающих жизнь вебмастеров и владельцев бизнеса в интернете. Парсинг в таком случае реализуется через макросы: специальные команды для Excel. Пример такой надстройки – ParserOK.

Парсинг при помощи Google Таблиц

В Google Таблицах есть встроенный функционал для автоматического сбора информации. Это две функции:

• IMPORTXML – импортирует информацию из разных источников: XML, CSV, RSS, HTML через запросы Xpath
• IMPORTHTML – у этой функции возможности уже. Она предназначена для импорта данных из списков и таблиц, размещенных на конкретной странице

Чтобы использовать эти функции не обязательно знать язык запросов Xpath.

Спектр задач, которые решаются с помощью парсера – основной параметр выбора. Вот основные разновидности парсеров по сферам применения:

Парсеры для организаторов совместных покупок (СП)

Предназначены для сбора данных о магазинах в социальных сетях, продающих свои товары мелким оптом по сниженной цене. Это парсеры с узким функционалом:

• сбор товаров из интернет-магазинов и социальных сетей
• выгрузка товаров из альбомов и каталогов соцсетей
• сохранение информации в форматы XLS и CSV
• автообновление блоков информации, например, цен

Отличаются понятным интерфейсом, могут быть реализованы разными способами: браузерная версия, приложение на компьютер и смартфон. Настройки простые: какие страницы парсить, расписание проверок, группы для выгрузки.

Примеры приложений такого типа:

• SPparser.ru
• PARSER.PLUS
• Q-Parser

Сервисы мониторинга конкурентов

Полезные сервисы для аналитики предложений ваших конкурентов. Они помогают поддерживать ваши предложения в соответствии с рынком. Например, если конкурент повысит или понизит цену, вы узнаете об этом первым и скорректируете свое поведение в соотвествии с рынком. Пример приложения для этих целей – Marketparser.

Сбор данных и автонаполнение контентом

Когда на сайте тысячи страниц, наполнение и обновление контента превращается в непосильную задачу. Чтобы не мониторить сайты конкурентов и поставщиков в ручную и не собирать с них информацию, можно использовать специальные сервисы. Парсер соберет информацию, выгрузит в таблицу или сразу на ваш сайт. В настройках таких приложений можно указать размер наценки, собирать данные сразу с нескольких сайтов и задать систематические проверки и анализ сайтов с автообновлением контента. Сервис для автонаполнения сайта – Диггернаут.

Многофункциональные парсеры

Это сервисы с широким функционалом, способны собирать данные для наполнения сайта, проверять разные SEO-параметры, мониторить цены конкурентов.

Примеры решений:

• ParseHub – мощный облачный парсер с широким функционалом. Может собирать цены, контакты, маркетинговую информацию, SEO-параметры
• Datacol – его особенность в работе с широким перечнем источников. Способен доставать данные из соцсетей, с сайтов-конкурентов, из Яндекс Карт

SEO-парсеры

Эти сервисы нужны, чтобы проверить техническое состояние сайта и качество оптимизации. Вот основные задачи, которые решаются с их помощью:

• сбор всех страниц сайта с основными параметрами качества
• проверка качества оптимизации изображений
• поиск битых ссылок и других проблем
• проверка качества внутренней перелинковки: какая страница, куда ссылается
• сбор сведений о технической оптимизации

Самые популярные SEO-парсеры: Screaming Frog SEO Spider, Netpeak Spider.

Парсеры – сервисы, которые экономят ваше время и отдают максимально точную информацию за считанные минуты. Чтобы получать нужные данные, важно подобрать правильный парсер. Вот вопросы, на которые нужно ответить:

• Зачем? Какие данные нужно извлечь и что нужно сделать: изучить конкурентов, наполнить сайт, проверить SEO-параметры или решить сразу несколько задач
• В каком виде нужны данные? Формат и объем данных – важный параметр, некоторые сервисы выгружают в небольшую таблицу, другие способны сразу загрузить информацию на сайт
• Когда и как часто делать выгрузки? Одни сервисы работают только при ручном запуске, другие самостоятельно обновляют данные и уведомляют об изменениях

После ответов на эти вопросы возьмите несколько подходящих приложений и изучите отзывы. Опыт прошлого использования подскажет, какой парсер ваш.