vexal
РекламаГарантДепозитFAQ
РекламаГарантДепозитFAQ
РекламаРекламаРеклама
Реклама
vexal
Форум
Разделы›Поиск›
Ресурсы
FAQ›Политика конфиденциальности›Условия использования›
© 2014–2026 VEXAL. Все права защищены.
Политика конфиденциальностиУсловия использования
ФорумОффтопФлудилкаA-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

Просмотры: 194013 · Ответы: 59
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
18 апр. 2015 г., 19:59#31
A-Parser - версия 1.0.119

Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут

Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)

Исправлена обработка каптчи в парсере yandex.png SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется

В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm

Добавлен парсер новой поисковой системы duckduckgo.png SE:: DuckDuckGo

Обновлен список доменов гугла в парсере google.png SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})

Исправления:
  • Иногда ссылка на первый ролик в youtube.png SE::YouTube парсилась некорректно
  • Исправлено падение в некоторых случаях после постановки задания на паузу
  • Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
  • При дублировании задания частично пропадали настройки Results Builder
Подробнее тут: 1.0.119
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
14 мая 2015 г., 15:50#32
A-Parser - версия 1.0.130

Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.

Улучшения:
  • Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
  • Улучшен парсинг se-aol.png SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
  • Теперь парсер se-bing.png SE::Bing парсит до 1000 результатов с каждого запроса
  • В парсере se-google-pr.png [NOPARSE]SE::Google::PR[/NOPARSE] если у домена или страницы нету PageRank то в результате выведет -1
  • Парсер [NOPARSE]SE::DMOZ [/NOPARSE]переименован в rank-dmoz.png [NOPARSE]Rank::DMOZ[/NOPARSE]
Исправления:
  • Исправлена работа уникализации результатов в тесте A-Parser'а
  • Исправлено автоматическое удаление временных файлов при работе уникализации
  • rank-alexa.png Rank::Alexa в связи с изменением в выдаче
  • se-google-compromised.png SE::Google::Compromised в связи с изменением в выдаче
  • se-qip.png SE::QIP в связи с изменением в выдаче
  • se-duckduckgo.png [NOPARSE]SE::DuckDuckGo[/NOPARSE] в связи с изменением в выдаче
  • se-yandex-wordstat.png SE::Yandex::WordStat в связи с изменением в выдаче
  • rank-dmoz.png [NOPARSE]Rank::DMOZ [/NOPARSE]ошибка при проверке домена с www.
  • rank-ahrefs.png Rank::Ahrefs в связи с изменением в выдаче
Подробнее тут: 1.0.130
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
26 мая 2015 г., 14:18#33
A-Parser - версия 1.0.148

Новый парсер se-yandex-direct-frequency.png SE::Yandex:: Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
XHict.png

На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту

В парсере html-textextractor.png HTML::TextExtractor теперь корректно обрабатываются списки(<select>)

Исправления в связи с изменением в выдаче:
  • rank-alexa.png Rank::Alexa
  • se-google.png SE::Google - определение запросов по которым нет результатов
Другие исправления:
  • Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
  • При парсинге se-youtube.png SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера
  • При парсинге se-yandex-wordstat-bydate.png SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой
  • В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
  • Парсер se-yandex.png SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси)
  • Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
  • Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
6 июн. 2015 г., 14:27#34
A-Parser - версия 1.0.154

В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер se-yandex-register.png SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.

gC17i.png
На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.

Парсеры se-yandex-wordstat.png SE::Yandex::WordStat и se-yandex-wordstat-bydate.png SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!

qVta2.png

Другие улучшения:
  • Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
  • Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
  • В парсер se-yandex.png SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
Исправления:
  • Исправлен парсер подсказок se-google-suggest.png SE::Google::Suggest в связи с изменением в выдаче
  • Исправлен парсер se-duckduckgo.png SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу
  • При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
Подробнее тут: Версия 1.0.154
VitalVital
Новичок
Регистрация: 16.08.2014
Сообщения: 5
Реакции: 0
Депозит: $0
Гарант: 0
9 июн. 2015 г., 01:11#35
У меня вопрос к создателям программы перед покупкой: положим я парсю гугл регулярным выражением -нахожу 500 000 ответов -теперь надо собрать ссылки. Мне как простому пользователю дают собрать 300 ссылок. С помощью вашей программы я соберу больше?
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
21 июн. 2015 г., 13:43#36
A-Parser - версия 1.0.180

Парсер Яндекса se-yandex.png SE::Yandex:
  • Добавлена опция Parse not found, определяющая парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
  • Теперь яндекс гораздо реже показывает каптчу
  • Исправлена отправка каптчи в связи с изменением в выдачи
  • В некоторых случаях неверно отправлялся запрос на антигейт о неправильной каптчи
Парсер Яндекс Вордстата se-yandex-wordstat.png SE::Yandex::WordStat:
  • Улучшена работа с аккаунтами - неверно определялся заблокированный аккаунт
  • Нельзя было использовать антигейт совместно с аккаунтами
Другие улучшения:
  • Реализована статистика работы по каждому заданию, в текущей версии считает количество успешных запросов, использование проксей, попыток и HTTP-запросов
  • Теперь при просмотре логов неудачные запросы выделяются красным цветом для удобства отладки
  • Небольшие улучшения в скорости работы прокси
Исправления:
  • Исправлен парсер se-aol.png SE::AOL в связи с изменением в выдачи
  • Исправлен парсер rank-ahrefs.png Rank::Ahrefs в связи с изменением в выдачи
  • Исправлен парсер se-google-trustcheck.png SE::Google::TrustCheck в связи с изменением в выдачи
  • Исправлено разделение логов по запросам
Подробнее тут: Изменения в версии 1.0.180
ForbiddenForbidden
Пользователь
Регистрация: 16.08.2014
Сообщения: 13
Реакции: 0
Депозит: $0
Гарант: 0
21 июн. 2015 г., 13:56#37
Vital написал(а): У меня вопрос к создателям программы перед покупкой: положим я парсю гугл регулярным выражением -нахожу 500 000 ответов -теперь надо собрать ссылки. Мне как простому пользователю дают собрать 300 ссылок. С помощью вашей программы я соберу больше?

За счет перебора фраз соберет гораздо больше
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
24 июн. 2015 г., 18:15#38
A-Parser - версия 1.0.183 - Русская каптча и эмуляция браузера в Яндексе

Теперь в настройках Антигейта( util-antigate.png Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.

Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:
LfYmZ.png

В дополнении к этому в парсере se-yandex.png SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):
uZpcl.png

Исправления:
  • Исправлен парсинг сниппетов в парсере se-google.png SE::Google
Подробнее тут: Изменения в версии 1.0.183
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
11 июл. 2015 г., 17:54#39
A-Parser - версия 1.0.198 - Улучшения в работе с Google, множественные исправления

Улучшения:
  • Улучшения в работе с сессиями в парсере se-google.png SE::Google - уменьшено использование каптч
  • Улучшения в работе с сессиями в парсере se-yandex-wordstat-bydate.png SE::Yandex::WordStat::ByDate - уменьшено использование каптч
  • Парсер net-http.png Net::HTTP теперь возвращает контент для обработки при любых ответах сервера(в т.ч. неудачных)
Исправления:
  • В парсере se-google.png SE::Google не распознавалась каптча
  • В парсере se-yandex.png SE::Yandex не сохранялись сессии
  • HTTP прокси с авторизацией не работали в комбинации с некоторыми парсерами(например SE::Yandex)
  • Макрос результата {firstquery} (первый запрос при использовании вложенного парсинга или парсинга с подстановками) не корректно работал с подстановками
  • Исправлено определение количества результатов в выдаче в парсере se-google.png SE::Google
  • Парсер se-yandex-wordstat-bydate.png SE::Yandex::WordStat::ByDate не возвращал недельную разбивку, теперь выбор периода разбивки добавлен в настройки
  • Парсер se-google-compromised.png SE::Google::Compromised в некоторых случаях работал некорректно
  • Исправлен парсер se-aol.png SE::AOL
  • Исправлен парсер rank-opensiteexplorer.png Rank::OpenSiteExplorer
Подробнее тут: Версия 1.0.198
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
22 июл. 2015 г., 14:58#40
A-Parser - версия 1.0.201 - обновлен парсер картинок Google, парсинг Bing News

Улучшения
  • Полностью переписан парсер картинок se-google-images.png SE::Google::Images - теперь он парсит новую выдачу, до 10 страниц по 100 результатов
  • Парсер se-bing.png SE::Bing теперь поддерживает парсинг Bing News, также теперь можно выбрать время выдачи(за все время, за 24 часа, за неделю или за месяц)
  • Парсер html-linkextractor.png HTML::LinkExtractor теперь автоматически считает внутренними ссылки с поддоменов www. и ftp., возможность учитывать все поддомены как внутренние оставлена без изменений
Исправления
  • Исправлен парсер se-bing-langdetect.png SE::Bing::LangDetect в связи с изменением в выдачи
  • Исправлен парсер rank-ahrefs.png Rank::Ahrefs в связи с изменением в выдачи
  • Парсер se-google.png SE::Google некорректно работал с каптчей при использовании регионального домена Google
  • Парсер se-yandex-wordstat.png SE::Yandex::WordStat зацикливался при работе с прокси, что приводило к остановке парсинга
Подробнее: Изменения в версии 1.0.201
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
7 авг. 2015 г., 14:53#41
A-Parser - 1.0.214 - новогоднее обновление, более 30 изменений!

Всех с наступающим Новым годом! Мы заготовили вам большой подарок, включающий более 30 изменений!

4gQyt.png
Интерфейс претерпел множество изменений:
  • Переработано отображение задания в очереди, теперь оно более наглядное и информативное
  • Настройки теперь сгруппированы по закладкам, что сильно упрощает навигацию
  • Появилась возможность перемещать задание непосредственно в начало или в конец очереди
  • Обновлен перевод всех элементов на русский язык
  • В задании отображается прогресс в виде процента выполненных запросов
  • Иконка теперь корректно отображается во всех браузерах
  • Основное окно теперь можно позиционировать в верхний левый угол и масштабировать на всю рабочую область браузера
  • Исправлена ошибка в импорте пресетов
Добавлены новые парсеры, общее число парсеров перевалило за 50:
  • rank-linkpad.png Rank::Linkpad - парсер беклинков(линк, анкор, уровень вложенности) и статистики(число беклинков, доноров, iGood и т.д.) с сервиса linkpad.ru(бывший solomono)
  • se-bing-images.png SE::Bing::Images - парсер картинок с поисковика Bing(ссылка, размер, разрешение и сниппет)
  • se-yandex-wordstat-byregion.png SE::Yandex::WordStat::ByRegion - парсер статистики ключевых слов по регионам и городам в Вордстате
  • se-yandex-webmaster-index.png SE::Yandex::Webmaster::Index - быстрая оценка количества проиндексированных страниц в Яндексе
  • se-google-trends.png SE::Google::Trends - парсер кейвордов в тренде по версии Google, дополнительно парсит принадлежность кейвордов к группам
  • rank-alexa-api.png Rank::Alexa::API - быстрый чекер алексы через API
Улучшения:[NOSMILES]
  • В парсер Яндекса se-yandex.png SE::Yandex добавлен парсинг ссылки на кэш страницы, также теперь парсер пробует использовать другую прокси если Яндекс принудительно перенаправляет на региональный домен(ua, kz, tr)
  • Теперь можно производить уникализацию, фильтрацию и применять конструктор результатов ко всем результатам созданным пользователем с использованием фукнции Parse custom result(парсинг произвольного контента с помощью регулярных выражений)
  • В настройках теперь возможно указать тип переноса строки используемый по умолчанию(Windows или Linux)
  • Добавлена возможность сохранять неудачные запросы
  • В статистику работы задания добавлен вывод забаненых проксей для каждого используемого парсера
  • Файл с запросами теперь можно выбирать из подпапок
  • В парсер частотности ключевых слов se-yandex-direct-frequency.png SE::Yandex:: Direct::Frequency добавлен парсинг дополнительных ключевых слов(подсказок)
  • В парсер Вордстата se-yandex-wordstat.png SE::Yandex::WordStat добавлена возможность выбора сразу нескольких регионов для оценки
Исправления:
  • rank-majesticseo.png Rank::MajesticSEO в связи с изменением в выдаче
  • rank-ahrefs.png Rank::Ahrefs в связи с изменением в выдаче
  • se-aol.png SE::AOL в связи с изменением в выдаче
  • net-whois.png Net::Whois - некорректно определял незанятые домены в некоторых зонах
  • Исправлено падение в некоторых случаях при использовании большого файла запросов совместно с уникализацией запросов
Подробнее: Изменения в версии 1.0.214
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
23 авг. 2015 г., 17:47#42
A-Parser - версия 1.0.218

Улучшения
  • Парсер net-whois.png Net::Whois теперь поддерживает работу с интернациональными доменами(IDN, например яндекс.рф)
  • Для парсера se-aol.png SE::AOL добавлена опция No results is error - в некоторых случаях аол может вернуть пустую выдачу на вполне нормальный запрос, с этой опцией запросы с пустой выдачей будут перепаршиваться повторно
Исправления
  • Парсер картинок se-google-images.png SE::Google::Images в связи с изменением в выдаче
  • Парсер se-aol.png SE::AOL в связи с изменением в выдаче
  • При использовании API после некоторого числа запросов оно переставало отвечать
  • Парсер se-baidu.png SE::Baidu в связи с изменением в выдаче
  • Исправлена ошибка в обработке списка файлов запросов, что приводило к невозможности выбрать файл запроса из папки queries/
  • Опция Try in Parser Test работала некорректно
  • Исправлена ошибка в интерфейсе при составлении заданий с использованием опций Parse custom result/Results Builder, появившаяся в предыдущей версии

Подробнее: Изменения в версии 1.0.218
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
13 сент. 2015 г., 17:46#43
A-Parser - версия 1.0.223

Новые парсеры:
  • se-yandex-catalog.png SE::Yandex::Catalog - парсер сайтов по Яндекс.Каталогу, парсит ссылку, анкор, сниппет, категорию и гео-привязку. Также парсит количество результатов по запросу
  • rank-archive.png Rank::Archive - парсит дату первого и последнего кэширования сайта в веб архиве(archive.org), также парсит количество сохраненных копий сайта. Данный парсер будет очень полезен для оценки доменов
Исправления:
  • Парсер se-aol.png SE::AOL в связи с изменением в выдачи
  • Парсинг связанных кейвордов(related) в парсере se-bing.png SE::Bing в связи с изменением в выдачи
  • В некоторых случаях могли не передаваться дополнительные параметры к запросу(Extra query string)

Подробнее: Изменения в версии 1.0.223
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
6 окт. 2015 г., 18:17#44
A-Parser - версия 1.0.232 - Новый шаблонизатор результатов, подстановка переменных и многое другое

Поздравляем всех защитников отечества с их профессиональным праздником!
В A-Parser включен шаблонизатор Template Toolkit - мощный инструмент для форматирования результатов, запросов, строк поиска и сравнения и т.д.; его основные особенности:
  • Поддержка переменных, условий, циклов, макросов
  • Множество встроенных функций для строк, массивов и хешей
  • Неограниченные возможности по расширению
  • Подробная документация на русском и английском языках
На данный момент по умолчанию действует старый шаблонный движок, тем самым позволяя использовать все ранее сохраненные настройки. Полный переход на новый движок будет плавный и будет включать следующие этапы:
  • Развернутый пост о преимуществах с примерами на следующей неделе
  • Обновление конфигурации A-Parser с новым синтаксисом формата вывода результатов
  • Выпуск версии с поддержкой нового шаблонизатора по умолчанию
  • Помощь со стороны технической поддержки в адаптации старых проектов
Новый синтаксис применяется если шаблон содержит комбинацию [% ... %], уже сейчас новый синтаксис можно использовать в:
  • Шаблонах форматирования результатов(Result format)
  • Шаблоне имени файла(Result file name)
  • Фильтрах результатов для подстановки переменных данных(запросов, результатов) в условия сравнения
  • Функции поиска по регулярному выражению(Parse custom result) в качестве части регулярного выражения
Другие улучшения:
  • Добавлена функция сохранения исходного кода страниц, с которых осуществляется парсинг, что даёт возможность дополнительной обработки результатов(Raw data results)
  • Подстановка запросов(или результатов) в условия для сравнения в фильтрах и как часть регулярного выражения для Parse custom result
  • Дополнительный параметр к HTTP запросу(Extra query string) теперь подставляется только для главных запросов, от которых ожидаются результаты парсинга. Для вспомогательных запросов(работа с cookie, каптчей, авторизацией) этот параметр не подставляется
Исправления:
  • Исправлена утечка памяти при обработке кодировки некоторых сайтов и сервисов
  • Исправлен парсер se-yandex.png SE::Yandex - в связи с изменением в выдаче результаты из рекламных блоков считались результатами основной выдачи
  • Парсер rank-cms.png Rank::CMS не работал при использовании функции логирования долгих регулярных выражений(Log long running regex)
Подробнее тут: Версия 1.0.232
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
11 окт. 2015 г., 14:09#45
Новый шаблонизатор в A-Parser

Зачем?
  • Расширение возможностей - старый шаблонизатор был ограничен в возможностях, фактически он не умел ничего кроме вывода переменных и массивов
  • Наглядный пример: используя шаблоны можно результаты парсинга автоматически преобразовать в дорвеи, готовые для загрузки на хостинг! Другой пример: готовый отчет по анализу доменов в виде HTML или CSV файла
  • Лёгкий способ использовать переменные данные(запросы, результаты парсинга) на всех этапах работы парсера(формирование запроса; фильтрация, уникализация, форматирование, дополнительная обработка результатов)
  • Исчерпывающая документация: Template Toolkit - проверенный времен шаблонный движок, который имеет большое сообщество пользователей
Массив? Переменная? Мне нужно программировать?
  • Однозначно нет :) A-Parser рассчитан на широкую аудиторию и из коробки позволяет выполнять все основные задачи без каких либо дополнительных знаний
  • Шаблоны призваны упростить решение сложных комплексных задач, например подсчет количества ссылок в топ10 выдачи Яндекса, в которых встречается исходный запрос в анкоре
  • Шаблон - не язык программирования, он содержит около 5 основных макросов которые легко запомнить и использовать
Читать далее
← Назад3 / 4Вперёд →

Войди, чтобы ответить в теме