A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc
Просмотры: 194013 · Ответы: 59
18 апр. 2015 г., 19:59#31
A-Parser - версия 1.0.119
Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере
SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы
SE:: DuckDuckGo
Обновлен список доменов гугла в парсере
SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})
Исправления:
Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере
SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняетсяВ API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы
SE:: DuckDuckGoОбновлен список доменов гугла в парсере
SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})Исправления:
- Иногда ссылка на первый ролик в
SE::YouTube парсилась некорректно - Исправлено падение в некоторых случаях после постановки задания на паузу
- Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
- При дублировании задания частично пропадали настройки Results Builder
14 мая 2015 г., 15:50#32
A-Parser - версия 1.0.130
Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.
Улучшения:
Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.
Улучшения:
- Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
- Улучшен парсинг
SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга - Теперь парсер
SE::Bing парсит до 1000 результатов с каждого запроса - В парсере
[NOPARSE]SE::Google:
R[/NOPARSE] если у домена или страницы нету PageRank то в результате выведет -1 - Парсер [NOPARSE]SE:
MOZ [/NOPARSE]переименован в
[NOPARSE]Rank:
MOZ[/NOPARSE]
- Исправлена работа уникализации результатов в тесте A-Parser'а
- Исправлено автоматическое удаление временных файлов при работе уникализации
-
Rank::Alexa в связи с изменением в выдаче -
SE::Google::Compromised в связи с изменением в выдаче -
SE::QIP в связи с изменением в выдаче -
[NOPARSE]SE:
uckDuckGo[/NOPARSE] в связи с изменением в выдаче -
SE::Yandex::WordStat в связи с изменением в выдаче -
[NOPARSE]Rank:
MOZ [/NOPARSE]ошибка при проверке домена с www. -
Rank::Ahrefs в связи с изменением в выдаче
26 мая 2015 г., 14:18#33
A-Parser - версия 1.0.148
Новый парсер
SE::Yandex:: Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере
HTML::TextExtractor теперь корректно обрабатываются списки(<select>)
Исправления в связи с изменением в выдаче:
Новый парсер
SE::Yandex:: Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере
HTML::TextExtractor теперь корректно обрабатываются списки(<select>)Исправления в связи с изменением в выдаче:
-
Rank::Alexa -
SE::Google - определение запросов по которым нет результатов
- Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
- При парсинге
SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера - При парсинге
SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой - В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
- Парсер
SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси) - Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
- Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
6 июн. 2015 г., 14:27#34
A-Parser - версия 1.0.154
В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер
SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.
На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.
Парсеры
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!
Другие улучшения:
В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер
SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.
На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.
Парсеры
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!
Другие улучшения:
- Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
- Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
- В парсер
SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
- Исправлен парсер подсказок
SE::Google::Suggest в связи с изменением в выдаче - Исправлен парсер
SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу - При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
9 июн. 2015 г., 01:11#35
У меня вопрос к создателям программы перед покупкой: положим я парсю гугл регулярным выражением -нахожу 500 000 ответов -теперь надо собрать ссылки. Мне как простому пользователю дают собрать 300 ссылок. С помощью вашей программы я соберу больше?
21 июн. 2015 г., 13:43#36
A-Parser - версия 1.0.180
Парсер Яндекса
SE::Yandex:
SE::Yandex::WordStat:
Парсер Яндекса
SE::Yandex:- Добавлена опция Parse not found, определяющая парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
- Теперь яндекс гораздо реже показывает каптчу
- Исправлена отправка каптчи в связи с изменением в выдачи
- В некоторых случаях неверно отправлялся запрос на антигейт о неправильной каптчи
SE::Yandex::WordStat:- Улучшена работа с аккаунтами - неверно определялся заблокированный аккаунт
- Нельзя было использовать антигейт совместно с аккаунтами
- Реализована статистика работы по каждому заданию, в текущей версии считает количество успешных запросов, использование проксей, попыток и HTTP-запросов
- Теперь при просмотре логов неудачные запросы выделяются красным цветом для удобства отладки
- Небольшие улучшения в скорости работы прокси
- Исправлен парсер
SE::AOL в связи с изменением в выдачи - Исправлен парсер
Rank::Ahrefs в связи с изменением в выдачи - Исправлен парсер
SE::Google::TrustCheck в связи с изменением в выдачи - Исправлено разделение логов по запросам
21 июн. 2015 г., 13:56#37
Vital написал(а): У меня вопрос к создателям программы перед покупкой: положим я парсю гугл регулярным выражением -нахожу 500 000 ответов -теперь надо собрать ссылки. Мне как простому пользователю дают собрать 300 ссылок. С помощью вашей программы я соберу больше?
За счет перебора фраз соберет гораздо больше
24 июн. 2015 г., 18:15#38
A-Parser - версия 1.0.183 - Русская каптча и эмуляция браузера в Яндексе
Теперь в настройках Антигейта(
Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.
Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:
В дополнении к этому в парсере
SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):
Исправления:
Теперь в настройках Антигейта(
Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:
В дополнении к этому в парсере
SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):
Исправления:
- Исправлен парсинг сниппетов в парсере
SE::Google
11 июл. 2015 г., 17:54#39
A-Parser - версия 1.0.198 - Улучшения в работе с Google, множественные исправления
Улучшения:
Улучшения:
- Улучшения в работе с сессиями в парсере
SE::Google - уменьшено использование каптч - Улучшения в работе с сессиями в парсере
SE::Yandex::WordStat::ByDate - уменьшено использование каптч - Парсер
Net::HTTP теперь возвращает контент для обработки при любых ответах сервера(в т.ч. неудачных)
- В парсере
SE::Google не распознавалась каптча - В парсере
SE::Yandex не сохранялись сессии - HTTP прокси с авторизацией не работали в комбинации с некоторыми парсерами(например SE::Yandex)
- Макрос результата {firstquery} (первый запрос при использовании вложенного парсинга или парсинга с подстановками) не корректно работал с подстановками
- Исправлено определение количества результатов в выдаче в парсере
SE::Google - Парсер
SE::Yandex::WordStat::ByDate не возвращал недельную разбивку, теперь выбор периода разбивки добавлен в настройки - Парсер
SE::Google::Compromised в некоторых случаях работал некорректно - Исправлен парсер
SE::AOL - Исправлен парсер
Rank::OpenSiteExplorer
22 июл. 2015 г., 14:58#40
A-Parser - версия 1.0.201 - обновлен парсер картинок Google, парсинг Bing News
Улучшения
Улучшения
- Полностью переписан парсер картинок
SE::Google::Images - теперь он парсит новую выдачу, до 10 страниц по 100 результатов - Парсер
SE::Bing теперь поддерживает парсинг Bing News, также теперь можно выбрать время выдачи(за все время, за 24 часа, за неделю или за месяц) - Парсер
HTML::LinkExtractor теперь автоматически считает внутренними ссылки с поддоменов www. и ftp., возможность учитывать все поддомены как внутренние оставлена без изменений
- Исправлен парсер
SE::Bing::LangDetect в связи с изменением в выдачи - Исправлен парсер
Rank::Ahrefs в связи с изменением в выдачи - Парсер
SE::Google некорректно работал с каптчей при использовании регионального домена Google - Парсер
SE::Yandex::WordStat зацикливался при работе с прокси, что приводило к остановке парсинга
7 авг. 2015 г., 14:53#41
A-Parser - 1.0.214 - новогоднее обновление, более 30 изменений!
Всех с наступающим Новым годом! Мы заготовили вам большой подарок, включающий более 30 изменений!
Интерфейс претерпел множество изменений:
Всех с наступающим Новым годом! Мы заготовили вам большой подарок, включающий более 30 изменений!
Интерфейс претерпел множество изменений:
- Переработано отображение задания в очереди, теперь оно более наглядное и информативное
- Настройки теперь сгруппированы по закладкам, что сильно упрощает навигацию
- Появилась возможность перемещать задание непосредственно в начало или в конец очереди
- Обновлен перевод всех элементов на русский язык
- В задании отображается прогресс в виде процента выполненных запросов
- Иконка теперь корректно отображается во всех браузерах
- Основное окно теперь можно позиционировать в верхний левый угол и масштабировать на всю рабочую область браузера
- Исправлена ошибка в импорте пресетов
-
Rank::Linkpad - парсер беклинков(линк, анкор, уровень вложенности) и статистики(число беклинков, доноров, iGood и т.д.) с сервиса linkpad.ru(бывший solomono) -
SE::Bing::Images - парсер картинок с поисковика Bing(ссылка, размер, разрешение и сниппет) -
SE::Yandex::WordStat::ByRegion - парсер статистики ключевых слов по регионам и городам в Вордстате -
SE::Yandex::Webmaster::Index - быстрая оценка количества проиндексированных страниц в Яндексе -
SE::Google::Trends - парсер кейвордов в тренде по версии Google, дополнительно парсит принадлежность кейвордов к группам -
Rank::Alexa::API - быстрый чекер алексы через API
- В парсер Яндекса
SE::Yandex добавлен парсинг ссылки на кэш страницы, также теперь парсер пробует использовать другую прокси если Яндекс принудительно перенаправляет на региональный домен(ua, kz, tr) - Теперь можно производить уникализацию, фильтрацию и применять конструктор результатов ко всем результатам созданным пользователем с использованием фукнции Parse custom result(парсинг произвольного контента с помощью регулярных выражений)
- В настройках теперь возможно указать тип переноса строки используемый по умолчанию(Windows или Linux)
- Добавлена возможность сохранять неудачные запросы
- В статистику работы задания добавлен вывод забаненых проксей для каждого используемого парсера
- Файл с запросами теперь можно выбирать из подпапок
- В парсер частотности ключевых слов
SE::Yandex:: Direct::Frequency добавлен парсинг дополнительных ключевых слов(подсказок) - В парсер Вордстата
SE::Yandex::WordStat добавлена возможность выбора сразу нескольких регионов для оценки
-
Rank::MajesticSEO в связи с изменением в выдаче -
Rank::Ahrefs в связи с изменением в выдаче -
SE::AOL в связи с изменением в выдаче -
Net::Whois - некорректно определял незанятые домены в некоторых зонах - Исправлено падение в некоторых случаях при использовании большого файла запросов совместно с уникализацией запросов
23 авг. 2015 г., 17:47#42
A-Parser - версия 1.0.218
Улучшения
Подробнее: Изменения в версии 1.0.218
Улучшения
- Парсер
Net::Whois теперь поддерживает работу с интернациональными доменами(IDN, например яндекс.рф) - Для парсера
SE::AOL добавлена опция No results is error - в некоторых случаях аол может вернуть пустую выдачу на вполне нормальный запрос, с этой опцией запросы с пустой выдачей будут перепаршиваться повторно
- Парсер картинок
SE::Google::Images в связи с изменением в выдаче - Парсер
SE::AOL в связи с изменением в выдаче - При использовании API после некоторого числа запросов оно переставало отвечать
- Парсер
SE::Baidu в связи с изменением в выдаче - Исправлена ошибка в обработке списка файлов запросов, что приводило к невозможности выбрать файл запроса из папки queries/
- Опция Try in Parser Test работала некорректно
- Исправлена ошибка в интерфейсе при составлении заданий с использованием опций Parse custom result/Results Builder, появившаяся в предыдущей версии
Подробнее: Изменения в версии 1.0.218
13 сент. 2015 г., 17:46#43
A-Parser - версия 1.0.223
Новые парсеры:
Подробнее: Изменения в версии 1.0.223
Новые парсеры:
-
SE::Yandex::Catalog - парсер сайтов по Яндекс.Каталогу, парсит ссылку, анкор, сниппет, категорию и гео-привязку. Также парсит количество результатов по запросу -
Rank::Archive - парсит дату первого и последнего кэширования сайта в веб архиве(archive.org), также парсит количество сохраненных копий сайта. Данный парсер будет очень полезен для оценки доменов
- Парсер
SE::AOL в связи с изменением в выдачи - Парсинг связанных кейвордов(related) в парсере
SE::Bing в связи с изменением в выдачи - В некоторых случаях могли не передаваться дополнительные параметры к запросу(Extra query string)
Подробнее: Изменения в версии 1.0.223
6 окт. 2015 г., 18:17#44
A-Parser - версия 1.0.232 - Новый шаблонизатор результатов, подстановка переменных и многое другое
Поздравляем всех защитников отечества с их профессиональным праздником!
В A-Parser включен шаблонизатор Template Toolkit - мощный инструмент для форматирования результатов, запросов, строк поиска и сравнения и т.д.; его основные особенности:
Поздравляем всех защитников отечества с их профессиональным праздником!
В A-Parser включен шаблонизатор Template Toolkit - мощный инструмент для форматирования результатов, запросов, строк поиска и сравнения и т.д.; его основные особенности:
- Поддержка переменных, условий, циклов, макросов
- Множество встроенных функций для строк, массивов и хешей
- Неограниченные возможности по расширению
- Подробная документация на русском и английском языках
- Развернутый пост о преимуществах с примерами на следующей неделе
- Обновление конфигурации A-Parser с новым синтаксисом формата вывода результатов
- Выпуск версии с поддержкой нового шаблонизатора по умолчанию
- Помощь со стороны технической поддержки в адаптации старых проектов
- Шаблонах форматирования результатов(Result format)
- Шаблоне имени файла(Result file name)
- Фильтрах результатов для подстановки переменных данных(запросов, результатов) в условия сравнения
- Функции поиска по регулярному выражению(Parse custom result) в качестве части регулярного выражения
- Добавлена функция сохранения исходного кода страниц, с которых осуществляется парсинг, что даёт возможность дополнительной обработки результатов(Raw data results)
- Подстановка запросов(или результатов) в условия для сравнения в фильтрах и как часть регулярного выражения для Parse custom result
- Дополнительный параметр к HTTP запросу(Extra query string) теперь подставляется только для главных запросов, от которых ожидаются результаты парсинга. Для вспомогательных запросов(работа с cookie, каптчей, авторизацией) этот параметр не подставляется
- Исправлена утечка памяти при обработке кодировки некоторых сайтов и сервисов
- Исправлен парсер
SE::Yandex - в связи с изменением в выдаче результаты из рекламных блоков считались результатами основной выдачи - Парсер
Rank::CMS не работал при использовании функции логирования долгих регулярных выражений(Log long running regex)
11 окт. 2015 г., 14:09#45
Новый шаблонизатор в A-Parser
Зачем?
Зачем?
- Расширение возможностей - старый шаблонизатор был ограничен в возможностях, фактически он не умел ничего кроме вывода переменных и массивов
- Наглядный пример: используя шаблоны можно результаты парсинга автоматически преобразовать в дорвеи, готовые для загрузки на хостинг! Другой пример: готовый отчет по анализу доменов в виде HTML или CSV файла
- Лёгкий способ использовать переменные данные(запросы, результаты парсинга) на всех этапах работы парсера(формирование запроса; фильтрация, уникализация, форматирование, дополнительная обработка результатов)
- Исчерпывающая документация: Template Toolkit - проверенный времен шаблонный движок, который имеет большое сообщество пользователей
- Однозначно нет
A-Parser рассчитан на широкую аудиторию и из коробки позволяет выполнять все основные задачи без каких либо дополнительных знаний - Шаблоны призваны упростить решение сложных комплексных задач, например подсчет количества ссылок в топ10 выдачи Яндекса, в которых встречается исходный запрос в анкоре
- Шаблон - не язык программирования, он содержит около 5 основных макросов которые легко запомнить и использовать
Войди, чтобы ответить в теме



