vexal
РекламаГарантДепозитFAQ
РекламаГарантДепозитFAQ
РекламаРекламаРеклама
Реклама
vexal
Форум
Разделы›Поиск›
Ресурсы
FAQ›Политика конфиденциальности›Условия использования›
© 2014–2026 VEXAL. Все права защищены.
Политика конфиденциальностиУсловия использования
ФорумОффтопФлудилкаA-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

Просмотры: 194015 · Ответы: 59
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
17 окт. 2015 г., 14:48#46
A-Parser - версия 1.0.236 - промежуточный релиз, исправление текущих ошибок

Улучшения:
  • Теперь можно перемещать задания в очереди используя API - добавлен метод moveTask
  • Многократно увеличена скорость при обработке регулярных выражений в Parse custom result
Исправления:
  • Исправлена ошибка в se-yandex.png SE::Yandex приводящая к падению парсера, ошибка появилась в предыдущей версии
  • Исправлен парсер se-youtube.png SE::YouTube в связи с изменением в выдаче
  • Парсер мог упасть при использовании неправильного регулярного выражения, ошибка появилась в предыдущей версии
  • Исправлен регистратор аккаунтов в Яндексе se-yandex-register.png SE::Yandex::Register в связи с изменением в выдаче
  • Исправлен парсер se-yahoo.png SE::Yahoo в связи с изменением в выдаче
Подробнее тут: Версия 1.0.236
← Назад4 / 4

Войди, чтобы ответить в теме

A-Parser Support
A-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
10 нояб. 2015 г., 14:59#47
A-Parser - 1.0.268 - Бета версия, полный переход на новый шаблонизатор, множество улучшений

Основные улучшения:
  • Переход на систему быстрых обновлений, теперь получить обновление на канале бета-версии можно за пару минут
  • Полный переход на новый шаблонизатор, старый синтаксис более недоступен
  • Все настройки в автоматическом режиме преобразуются под новый синтаксис при первом старте парсера
  • Создан инструмент для тестирования шаблонов, в нем можно проверить форматирование до парсинга
  • В настройках можно указать часто используемые макросы и функции, которые будут доступны в любом месте где используется шаблонизатор
  • Шаблоны также работают в полях Prepend и Append - автоматическое добавление заголовка и окончания для файлов результатов
  • Теперь шаблон можно задавать в удобном многострочном редакторе
  • Увеличена скорость работы конструктора запросов и результатов
  • В парсере se-yandex-suggest.png SE::Yandex::Suggest теперь можно выбрать произвольный регион, в т.ч. на основе IP адреса
Исправления в связи с изменениями в выдачи:
  • Исправлена опция эмуляции браузера для парсера se-yandex.png SE::Yandex
  • Исправлен парсинг выдачи se-yandex.png SE::Yandex при запросах вида url:, а так же исправлен парсинг рекламных блоков
  • Исправлен парсер тИЦ se-yandex-tic.png SE::Yandex::TIC
  • Исправлен парсер rank-ahrefs.png Rank::Ahrefs - выдавал неверные данные
  • Исправлен парсинг общего числа результатов в se-baidu.png SE::Baidu
  • Исправлен парсер rank-dmoz.png Rank:: DMOZ
  • Исправлен парсер картинок se-google-images.png SE::Google::Images
  • Исправлен парсинг описаний к видео в se-youtube.png SE::YouTube
Информация
  • Для обновления необходимо зайти в Members Area, раздел Downloads, в секции A-Parser Beta запросить обновление кликнув по Update
  • Все вопросы по новому синтаксису шаблонов можно задавать в этом топике
  • Для желающих тестировать самые последние версии создан отдельный скайп-чат, подробнее тут
Список всех изменений в версии 1.0.268
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
5 янв. 2016 г., 16:38#48
Новая документация и текущий статус Бета-версии

В скором времени увидит свет A-Parser версии 1.1.0 - результат двух-месячной разработки Бета-версии. На текущий момент Бета-версия абсолютно стабильна и рекомендуется к использованию как новым пользователям, так и всем кто уже имеет лицензию

Ключевой особенностью новой версии парсера является наличие новой документации, в которой мы постарались осветить все возможности и особенности работы A-Parser'а. В документации подробно описаны такие возможности как:
  • Задания и очередь
  • Форматирование и подстановки запросов
  • Форматирование результатов
  • Уникализация результатов
  • Фильтрация результатов
  • Конструктор запросов
  • Конструктор результатов
  • Parse cutom result и использование регулярных выражений
  • Описание шаблонизатор Template Toolkit
  • и многое другое
Обсудить новую документацию можно на форуме

Помимо этого текущая бета версия содержит множество исправлений и улучшений, следите за новостями о релизе!
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
24 февр. 2016 г., 13:12#49
Новая версия Lite, автоматическая оплата прокси

  • Добавлена новая лицензия Lite, включающая только парсеры Google и Яндекса
  • Добавлена автоматическая оплата через WebMoney, Yandex.Money, Visa, MasterCard, Paxum, LiqPay, PerfectMoney, W1, Банки, СМС, Терминалы оплаты
  • Оплачивать можно лицензии на A-Parser, A-Poster, прокси, обновления A-Parser и дополнительные лицензии A-Parser
  • Новая сетка цен
  • Последние изменения в бета версии
  • Переработано описание парсера
Мы ждем ваших вопросов :) наши контакты
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
3 мар. 2016 г., 13:27#50
Релиз A-Parser 1.1.0, автоматический прием PayPal, Wire, QIWI

Релиз A-Parser 1.1.0 - результат активной разработки в течении двух месяцев в рамках бета-версии

FaKHz.png

Улучшения
  • Новый парсер html-textextractor-langdetect.png HTML::TextExtractor::LangDetect - улучшенное определение языка страницы, без использования сторонних сервисов
  • Для парсера se-google.png SE::Google добавлена возможность указывать локацию поиска - город или регион
  • Новый инструмент - обновление A-Parser, теперь обновления можно устанавливать автоматически через интерфейс, поддерживается два канала обновлений - Stable и Beta
  • Для уникализации результатов теперь используется LevelDB - лучшая скорость и низкое потребление памяти
  • Улучшена работа с битыми кодировками и детектирование кодировки страницы
  • В инструменте тестирования шаблонов теперь доступны предустановленные результаты для всех парсеров
  • Шаблонизатор теперь можно использовать в самих запросах, в формате запроса, а также в Конструкторе результатов
  • Для парсера net-http.png Net::HTTP при формировании POST запроса добавлена возможность использовать шаблонизатор в теле запроса
  • Добавлена возможность выводить результаты в формате JSON
  • Новая опция Not found is error для парсера net-dns.png Net:: DNS - позволяет перепроверять ложные ответы от DNS серверов
  • Добавлена возможность удалять неиспользуемые базы данных Keep unique
  • Новые подсказки в интерфейсе, соответствуют новому формату шаблонов
  • Добавлена возможность сбросить пароль доступа к интерфейсу A-Parser
  • Сервер парсера теперь можно выключить или перезапустить через веб-интерфейс
Исправления
  • Исправлен парсер se-yandex.png SE::Yandex в связи с переходом на новую выдачу
  • Исправлен парсер se-aol.png SE::AOL в связи с изменением в выдачи
  • Исправлен ошибка, при которой проверка прокси начиналась заново при перезагрузке интерфейса
  • Исправлена медленная работа очереди заданий при большом количестве заданий(более 1000)
  • Исправлен вывод исходного запроса $query.first при многоуровневом парсинге в se-yandex-wordstat.png SE::Yandex::WordStat
  • net-dns.png Net:: DNS - исправлена работа на ОС Windows
  • se-yandex-webmaster-index.png SE::Yandex::Webmaster::Index удален в связи с прекращением работы сервиса
  • Исправлено некорректное определение некоторых полей в парсере net-whois.png Net::Whois
  • Исправлена работа переменной $pagenum в парсере net-http.png Net::HTTP
  • Исправлена ошибка, при которой парсер мог вылететь при использовании уникализации по простым результам
  • Задания с пустым файлом запросов не завершались автоматически
  • Исправлен парсер rank-ahrefs.png Rank::Ahrefs в связи с изменением в выдачи
  • Исправлен парсер rank-alexa.png Rank::Alexa в связи с изменением в выдачи
  • Исправлен парсер rank-majesticseo.png Rank::MajesticSEO в связи с изменением в выдачи
  • Исправлена работа с кодировкой windows-1251
  • Исправлен подсчет числа простых результатов
  • Исправлена работа метода CONNECT при использовании прокси с авторизацией по логин\паролю
  • Исправлен парсер rank-category.png Rank::Category в связи с изменением в выдачи
Полный список всех изменений в соответствующем разделе

Также мы рады сообщить что добавили прием PayPal, QIWI и Wire Transfer в автоматическом режиме
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
23 мар. 2016 г., 16:54#51
A-Parser - версия 1.1.20 - обновление парсера Rank::CMS, разные форматы результатов для нескольких файлов

Улучшения
  • Полностью переработан парсер rank-cms.png Rank::CMS, теперь он определяет движок сайта на основе большой и качественной базы признаков Wappalyzer, также появилась возможность выбрать категорию или конкретные движки для распознавания
  • Появилась возможность сохранять результаты одного задания в разные файлы, с выбором формата результата для каждого файла, к примеру при парсинге Гугла можно сохранять ссылки в один файл и сниппеты в другой
  • Добавлена возможность использовать шаблоны в параметрах Extra query string и User Agent
  • В шаблонах теперь можно использовать инструменты, которые доступны через переменную $tools, первый инструмент - выбор произвольного User Agent: $tools.ua.random(), список агентов хранится в файле files/tools/user-agents.txt
  • Улучшен парсер net-dns.png Net::DNS при работе через прокси
  • В API появилась возможность запрашивать статус сразу нескольких заданий
  • В API появилась возможность скачивать файл результата
  • Парсер se-aol.png SE::AOL теперь позволяет выбрать US, UK, FR или DE выдачу
  • В парсере rank-ahrefs.png Rank::Ahrefs теперь дополнительно парсятся параметры URL Rank и Ahrefs Domain Rank
Исправления
  • Исправлен парсер se-youtube.png SE::YouTube в связи с изменением в выдачи
  • Исправлен парсинг с блогов в парсере se-google.png SE::Google в связи с изменением в выдачи
  • Исправлена ошибка при которой парсер мог вылететь если в качестве запроса передать очень длинный URL
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
8 апр. 2016 г., 15:28#52
A-Parser - версия 1.1.41 - новые парсеры MailRu и Dogpile, поддержка многоядерности для чекера CMS

Улучшения
  • Новый парсер se-mailru.png SE::MailRu - собирает ссылки, анкоры и сниппеты, количество результатов в выдаче
  • Новый парсер se-mailru-position.png SE::MailRu::position - проверяет позиции сайтов в выдаче go.mail.ru
  • Новый парсер se-dogpile.png SE::Dogpile - парсер поисковика dogpile.com, собирает ссылки, анкоры и сниппеты, количество результатов в выдаче и связанные ключевые слова
  • Добавлена экспериментальная поддержка многоядерных процессоров для наиболее требовательного к ресурсам процессора парсера rank-cms.png Rank::CMS
  • Для парсера rank-ahrefs.png Rank::Ahrefs добавлен парсинг социальных факторов(google+, twitter, facebook), а также возможность выбора режима отчета(ссылка, папка, домен, домен с сабдоменами)
  • Для парсера rank-majesticseo.png Rank::MajesticSEO добавлена возможность получать данные по полной ссылке
  • Новая опция Emulate browser headers для парсера net-http.png Net::HTTP - автоматически эмулирует хедеры современных браузеров
  • Для парсера se-yandex-position.png SE::Yandex::position теперь доступна статистика по использованию каптчи
Исправления
  • Исправлен парсинг рекламных блоков в парсере se-google.png SE::Google в связи с изменением в выдачи
  • Исправлен парсер se-baidu.png SE::Baidu в связи с изменением в выдачи
  • Исправлен парсер проверки языка сайта se-bing-langdetect.png SE::Bing::LangDetect
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
27 апр. 2016 г., 16:51#53
A-Parser - версия 1.1.61 - улучшение очереди заданий, поддержка аккаунтов в парсере Яндекса

Улучшения
  • Появилась возможность ограничивать общее потребление потоков, что позволяет пропускать задания превышающие текущее потребление, давая возможность выполнится заданиям с меньшим числом потоков. Также данный функционал полезен при использовании прокси-сервисов с лимитированным числом подключений, тем самым можно гарантированно не выходить за пределы тарифа
  • В очереди заданий теперь можно удалить все задания разом, отдельно для активной очереди и очереди завершенных заданий
  • Парсер se-yandex.png SE::Yandex теперь поддерживает работу с аккаунтами(опция Use Accounts)
  • При парсинге рекламы в se-google.png SE::Google теперь дополнительно можно вывести позицию рекламного блока(сверху или справа), а также номер страницы выдачи, на котором показано рекламное объявление
Исправления
  • Исправлено отображение русских имен файлов запросов и результатов на ОС Linux
  • Исправлено определение ТИц в парсере se-yandex-tic.png SE::Yandex::TIC
  • Исправлено распознавание каптчи в регистраторе аккаунтов Яндекса se-yandex-register.png SE::Yandex::Register в связи с изменением в выдачи
  • Исправлена работа с заблокированными аккаунтами в парсере se-yandex-wordstat.png SE::Yandex::WordStat
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
10 мая 2016 г., 15:15#54
Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте

Этот пост начинает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга

Определяем CMS для 1000000 доменов за 15 часов

В примере рассказано как определить используемый движок у сайтов из базы Алексы топ-миллион, результат автоматически сортируется по файлам с названием CMS. Также дан пример как увеличить скорость обработки и проверить 1 миллион доменов всего за 2 часа

e273J.png

Немного статистики:
  • Скорость парсинга составила 1100 доменов в минуту
  • Всего определились 301841 из 1000000 доменов как использующие на своей главной странице одну из популярных CMS, форумов или Wiki
  • Определено 126 различных CMS
  • Топ 10 самых популярных CMS, первое значение определяет количество доменов:
Код: Развернуть Свернуть Копировать
209855 WordPress
23732 Joomla
22945 Drupal
6488 TYPO3 CMS
4917 vBulletin
3726 1C-Bitrix
2515 phpBB
2415 ExpressionEngine
2022 DataLife Engine
1928 Microsoft SharePoint

Читать целиком »

Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут
Проверяем словарь Даля на частотность запросов в Яндексе используя парсер se-yandex-wordstat.png SE::Yandex::WordStat, скорость парсинга составила 3000 слов в минуту без использования каптчи! Результат сохраняется в 2 разных файла - в первом статистика по исходным запросам, во втором - все новые ключевые слова из левой и правой колонки Вордстата

Немного статистики:
  • Парсинг 115390 ключевых слов занял всего 40 минут
  • 80208 слов из 115390 имеют ненулевую статистику в Вордстате
  • Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
  • Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц
Читать целиком »

Создаем парсер VKontakte обрабатывающий 14000 анкет в минуту
В примере показывается как с помощью парсера net-http.png Net::HTTP и регулярных выражений можно создать парсеры почти любых сайтов и сервисов, например VKonktake :-)
Пример разделен на 2 части:
  • Сбор ссылок на анкеты из результатов поиска
  • Обработка анкет - парсинг полей "Родной город", "Семейное положение" и "Время захода на анкету"
В результате получаем файл с примерно следующим содержимым:
Код: Развернуть Свернуть Копировать
http://vk.com/id1492 - none - none - none
http://vk.com/id1485 - п. Сиверский - всё сложно - заходил 15 сентября в 1:34
http://vk.com/id1489 - Ленинград - none - Online
http://vk.com/id1481 - Санкт-Петербург - none - заходила 48 минут назад
http://vk.com/id1482 - град Поднебесный - не женат - Online
http://vk.com/id1493 - none - none - none

Читать целиком »
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
25 мая 2016 г., 17:14#55
A-Parser - версия 1.1.86 - поддержка многоядерной обработки и фильтрации результатов

В данной версии добавлена поддержка обработки и фильтрации результатов(Parse custom result, Конструкторы результатов и фильтры) на многоядерных процессорах, что в несколько раз увеличивает скорость парсинга при использовании "тяжелых" регулярных выражений, например скорость сбора email адресов со страниц достигает 10000 ссылок в минуту при 2000 потоках(при этом A-Parser обрабатывает поток 130 мбит\с gzip-сжатых данных)

Другие улучшения
  • Добавлена возможность указать сразу несколько форматов для запроса, что позволяет комбинировать множество вариантов подстановок для одних и тех же запросов в одном задании
  • Добавлена возможность использовать формат запроса на всех уровнях вложенного парсинга, например при парсинге ключевых слов с подсказок Google подстановки будут добавляться так же и для новых найденных ключевых слов(как и для исходных запросов)
  • Для парсера se-yandex.png SE::Yandex добавлена возможность парсить не персонализированную выдачу, что позволяет более точно снимать позиции сайтов
  • В парсере net-http.png Net::HTTP опция Check next page теперь поддерживает захват следующей ссылки для перехода, она будет использоваться если не указана опция Use pages
Исправления
  • В некоторых случаях могли неверно обрабатываться страницы большого размера с сжатием gzip
  • Парсер net-whois.png Net::Whois не работал без использования прокси, ошибка появилась в предыдущей версии
  • В конструкторе результатов, при использовании замены по регулярному выражению, некорректно обрабатывалась замена переменных $1 $2...
  • Парсер мог упасть при использовании одинаковой базы Keep unique в двух одновременно работающих заданиях
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
9 июн. 2016 г., 15:26#56
A-Parser - 1.1.108 - улучшения паука сбора ссылок, множество исправлений

Улучшения парсера html-linkextractor.png HTML::LinkExtractor
  • Добавлена опция Follow links позволяющая выбрать порядок следования по ссылкам: только по внутренним, по внутренним и внешним, только по внешним
  • Добавлен массив результатов $followlinks, который содержит ссылки для последующего перехода, над этим массивом можно применять фильтры и конструкторы результатов, что позволяет переходить только по определенным ссылкам(например только по топикам форумов)
  • Добавлена корректная обработка тега <base href=
Другие улучшения
  • Теперь парсер автоматически определяет кодировку по содержимому страницы, если другие методы не дали результатов. В случае если кодировку определить не удается и она не является корректной с точки зрения UTF-8 то содержимое страницы становится недоступным для обработки. Данное улучшение призвано исправить редкие проблемы когда файл результата A-Parser'а невозможно использовать в качестве запросов, т.к. файл мог содержать некорректную кодировку
  • При парсинге рекламы в se-google.png SE::Google теперь дополнительно парсится видимая ссылка на сайт
Исправления
  • Исправлен парсер se-yandex.png SE::Yandex в связи с изменением в выдачи
  • На платформе Windows при закрытии приложения парсера возникала ошибка
  • В парсере net-whois.png Net::Whois не был доступен исходный результат $data для пользовательской обработки
  • В парсере se-yandex.png SE::Yandex была ошибка в получении каптчи если в запросе содержалась скобка
  • Результат $query мог быть изменен некоторыми парсерами
  • Парсер rank-opensiteexplorer.png Rank::OpenSiteExplorer исправлен в связи с изменением в выдачи
  • Добавлен запрет на изменение результатов с зарезервированными именами($query, $info)
  • При использовании нескольких конструкторов результатов невозможно было выбрать новые результаты для обработки
T
tatarin
Новичок
Регистрация: 03.06.2015
Сообщения: 5
Реакции: 0
Депозит: $0
Гарант: 0
9 июн. 2016 г., 19:55#57
Чем он круче Content Downloader?
alekwuyalekwuy
Новичок
Регистрация: 16.08.2014
Сообщения: 1
Реакции: 0
Депозит: $0
Гарант: 0
9 июн. 2016 г., 22:22#58
tatarin написал(а): Чем он круче Content Downloader?
это 2 разные программы
T
tatarin
Новичок
Регистрация: 03.06.2015
Сообщения: 5
Реакции: 0
Депозит: $0
Гарант: 0
9 июн. 2016 г., 22:23#59
alekwuy написал(а): это 2 разные программы
Это я понял:-)
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
17 июн. 2016 г., 19:05#60
Сборник рецептов #2: собираем форумы для (другой софт), парсим email со страниц контактов

Этот пост продолжает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга

Парсим базу для (другой софт): 420000 форумов за 9 часов

Учимся быстро собирать большие базы методом перебора

p7pOr.png

За 9 часов работы:
  • Было обработано 525254 запроса на максимальную глубину
  • Спаршено 68 миллионов ссылок, 420к из которых подходят под фильтр и уникальны по домену
  • Средняя скорость парсинга составила 1000 запросов в минуту
Собираем 1.65 миллиона email со страниц контактов за 2.5 часа

Парсим ссылки на страницы с контактными данными, затем собираем с них email-адреса

JVdOG.png

  • Средняя скорость обработки составила 12000 ссылок в минуту
  • ТОП-10 почтовых доменов:
Код: Развернуть Свернуть Копировать
249772 mail.ru
129894 gmail.com
91901 yandex.ru
25625 rambler.ru
20821 bk.ru
19773 hotmail.com
14656 yahoo.com
14117 list.ru
13636 inbox.ru
11670 ukr.net


Сбор перелинкованных топиков

Метод описывает как используя возможности парсера html-linkextractor.png HTML::LinkExtractor собирать ссылки на перелинкованные топики - еще один хороший метод сбора баз форумов для (другой софт)

Алгоритм работы:
  • Переходим только по внешним ссылкам
  • Фильтруем ссылки для перехода по признакам форумов
  • Добавляем уникализацию по домену
  • Сохраняем ссылки по которым переходим, тем самым собираем все ссылки на новые форумы которые встретятся

Парсинг форумов по признакам и запросам

Классический вариант сбора форумов - используя признаки движков и подставляя дополнительные кейворды. Ссылки дополнительно фильтруются по регулярному выражению и проходят уникализацию по домену

Предыдущие рецепты:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте