Как работают программы парсеры. Работа парсера для социальных сетей Facebook и ВКонтакте + видео
Парсер – это программа для сбора данных и преобразования (работа парсера) их в структурированный формат, например, а таблицу Excel. С таким форматом удобно работать, структурировать, менять и т.д.
На этом сайте есть множество парсеров для социальных сетей. Они быстро соберут для вас нужную информацию, такую как список групп по заданному запросу, список участников этих групп, список пользователей, друзей и другое. Применение такой информации для разных задач разнообразно. Также, вы всегда можете заказать индивидуальный парсер для сбора информации с любого сайта. При этом, заказывая индивидуальный макрос обратите внимание на особенности парсеров iMacros.
Особенностей парсеров iMacros важно знать и понимать перед покупкой (заказом) любого макроса. Для примера, я буду рассматривать парсеры для двух самых распространенных социальных сетей – Фейсбук и ВКонтакте.
Работа парсера – особенности парсеров iMacros
Парсер iMacros собирает то, что “видит”. Другими словами, все что открыто на странице и видно человеку. Парсер НЕ соберет, все то, что не видно (зависло, скрыто кнопкой “Еще”, нужно прокрутить страницу, чтобы она открылась) – и остановится. Есть и хорошая новость, все мои парсеры справляются с задачей нажать кнопку “Еще” и/или прокрутить страницу в атоматическом режиме. Более того, в некоторых парсерах в лог-файле скрипт напишет – смог ли он достигнуть окончания вывода данных или нет. Внимание, если при работе скрипта – все зависло, или отключился интернет. Парсер остановится. Повторный запуск приведет к тому, что скрипт начнет сбор сначала. В социальных сетях нет смысла настраивать функцию продолжения с момента прерывания (хотя это и возможно), так как для открытия данных – нужно поркручивать страницу вниз, а значит начинать работать все-равно сначала.
Стартовая страница сбора информации – всегда указана во всем моих макросах. Макрос собирает то что, видит, и написан под определенную страницу. Поэтому парсер групп – собирает группы, а парсер пользователей – людей. При этом в соцсетях вывод данных (группы, пользователи) может отображаться в разных вариантах, поэтому всегда проверяйте инструкцию и запускайте макрос только тогда, когда уверены, что все условия описанные в инструкции соблюдены. Иначе, макрос просто остановится и выдаст ошибку.
Фейсбук никогда не открывает все данные. По разным причинам. Поэтому не удасться собрать 100% данных. Также в зависимости от мощности машины, вам удасться прокрутить и открыть максимум 10000 данных. Страница просто зависает и перестает прокручиваться.
ВКонтакте пошли другим путем. Они просто не открывают более 1000 данных. Совсем. Но у них есть фильтр поиска. Поэтому испльзуя фильтр и включая макрос каждый раз, можно добиться большего сбора данных.
Скорость прокрутки можно редактирвоать во всех моих макросах. Для этого есть переменная TimeOut. По умолчанию TimeOut=3; что означает = задержка 3 секунды. Посте прокрутки страницы, макрос будет ждать 3 секунды, пока страница откроется. Чаще всего этого времени достаточно. Но, если вам нужно больше времени, вы можете изменять эту переменную.
Если изменение задержки после прокрутки страницы не помогает, я рекомендую перед работой парсеров Фейсбук или Вконтакте предварительно прокручивать сильно страницу, а потом уже начинать собирать данные. Для этого существует бесплатный макрос прокрутки страницы.
Скорость сбора данных достаточно высокая, так как данные собираются полностью на javascript. По сути время занмает только прокрутка страницы. Поэтому если страница полностью открыта макрос соберет данных по человеческим меркам практически мгновенно. Но с учетом траты времени на прокрутку страницы собрать все данных мгновенно с Фейсбук или Вконтакте не выйдет. Тем не менее это достаточно быстро, точно быстрее во много раз, чем это делать вручную. Например, парсер групп Facebook собирет 100 данных примерно за 30 секунд.
Когда Вы понимаете все особенности работы парсеров iMacros у вас будут реальные ожидания от программы, вы не будете ожидать чудо. И хоть парсеры iMacros и не всесильны, они очень помогают в работе.
Ниже видео с примерами, чтобы лучше все объяснить.