A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc
Просмотры: 194012 · Ответы: 59
26 дек. 2014 г., 12:36#16
A-Parser - версия 1.0.27
Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:
Новый парсер
SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле
Исправлено:
Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:
- Поиск и извлечение данных по регулярному выражению
- Замена по регулярному выражению
- Разделение строки по произвольному разделителю
- Замена подстроки в строке
- Извлечение домена/главного домена из ссылки
- Приведение к верхнему\нижнему регистру
- Удаление HTML-тегов из текста
- Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст
Новый парсер
SE::Google::Compromised - проверка наличия надписи This site may be compromised в гуглеИсправлено:
- Обработка каптчи в парсере
SE::Google
- Парсинг ссылок в
SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
10 янв. 2015 г., 16:47#17
A-Parser - полностью обновленный сайт
Несколько важных новостей:
Подписывайтесь на новости и общайтесь на форуме!
Несколько важных новостей:
- У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
- Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
Подробнее на странице покупки A-Parser'а: Купить A-Parser - У нас новый саппорт: Viktoria (контакты)
- Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте
Подписывайтесь на новости и общайтесь на форуме!
13 янв. 2015 г., 21:06#18
A-Parser - версия 1.0.37
Улучшения:
Связанные задачи:
Улучшения:
- При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200
- Исправлен парсер
SE::YouTube в связи с изменением в выдачи - Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
- Исправлена обработка каптчи у парсера
SE::Google - Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)
Связанные задачи:
Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task
21 янв. 2015 г., 19:31#19
A-Parser - версия 1.0.49
Улучшения в парсере гугла:
Полный список изменений тут: 1.0.49
Улучшения в парсере гугла:
- CaptchaKiller - убийца каптчи для парсера
SE::Google - теперь можно парсить inurl: даже на паблик проксях!
В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов
Сравнение парсинга с CaptchaKiller и без на форуме
- Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
- Также парсер
SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок
- Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
- Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
- Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам
- В качестве запросов можно использовать файлы из папки с результатами
- В парсере
SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет - В ProxyChecker изменена проверочная ссылка по умолчанию
- В API теперь возможно отключить ведение логов
- В парсерe
SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче - В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми
-
SE::Bing - не парсились релейтед кейворды -
SE::Yahoo - не парсилась основная выдача и релейтед кейворды -
SE::AOL - не парсилась выдача -
SE::Yandex::Suggest - в некоторых случаях не парсились кейворды -
SE::Yandex - исправлена логика при показе каптчи -
SE::Yandex::WordStat - исправлена логика при показе каптчи -
SE::YouTube - не учитывались параметры фильтров -
Rank::Alexa - не парсился основной рейтинг -
Rank::Ahrefs - не парсилось количество беклинков
Полный список изменений тут: 1.0.49
24 янв. 2015 г., 12:32#20
A-Parser - версия 1.0.60
Улучшения в CaptchaKiller для парсера
SE::Google
Исправлена загрузка каптчи в
SE::Yandex::WordStat и работа фильтров в
SE::YouTube
Полный список изменений тут: 1.0.60
Улучшения в CaptchaKiller для парсера
SE::GoogleИсправлена загрузка каптчи в
SE::Yandex::WordStat и работа фильтров в
SE::YouTubeПолный список изменений тут: 1.0.60
25 янв. 2015 г., 18:50#21
Отличный парсер, перешел полностью на него!) Парсит все и вся! Форбидену респект)
12 февр. 2015 г., 16:29#22
A-Parser - версия 1.0.69
Новый парсер
HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга
В парсере
Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:
Другие улучшения:
Новый парсер
HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга
В парсере
Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:
Другие улучшения:
- Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
- В парсер
Net::Whois добавлен парсинг NS серверов и статусов доменов - В парсере
Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон - Новые результаты для всех парсеров:
- {retries} - использованное количество попыток на данный запрос
- {querynum} - порядковый номер запроса
- {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
- Для парсера
Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов - Для всех парсеров
SE::Google::* добавлен домен www.google.by - Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)
- Исправлен парсинг подсказок
SE::Bing::Suggest - Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)
21 февр. 2015 г., 18:13#23
A-Parser - версия 1.0.71
Мини-апдейт, исправляет ошибки:
В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)
Мини-апдейт, исправляет ошибки:
- В предыдущей версии перестал работать
Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.) - В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
- Парсер падал если не мог создать папку с результатами
В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)
24 февр. 2015 г., 23:34#24
самое эффективное решение в сети, гибкость, простота и доступность. Сам уже полгода пользуюсь, что только на нем не творил, можно делать практически все что в голову придет. Плюс автор лично в аське все рассказывает и помогает, можно под себя парсеры заказывать, респект Форбиддену.
7 мар. 2015 г., 14:31#25
A-Parser - версия 1.0.81
В этой версии только экстренные исправления в связи с изменением в выдаче:
Подробнее тут: 1.0.81
Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.
В этой версии только экстренные исправления в связи с изменением в выдаче:
-
SE::YouTube -
Rank::Alexa -
Rank::MajesticSEO
Подробнее тут: 1.0.81
Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.
17 мар. 2015 г., 13:34#26
A-Parser - версия 1.0.91
Новый парсер
SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:
Новый парсер
SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:
Теперь парсер гугла
SE::Google может парсить по новостям и блогам:
Парсер Яндека
SE::Yandex дополнительно парсит рекламные объявления в выдаче:
Другие улучшения:
Новый парсер
SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:
Новый парсер
SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:
Теперь парсер гугла
SE::Google может парсить по новостям и блогам:
Парсер Яндека
SE::Yandex дополнительно парсит рекламные объявления в выдаче:
Другие улучшения:
- Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:
- Теперь в апарсере есть новости и подсказки на английском и русском:
- В парсере
Net::HTTP появилась возможность указать Cookies - В парсер
HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
- Исправлен парсер
Rank::Ahrefs в связи с изменением в выдаче - Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
- Исправлена работа конструктора результатов Results builder при использовании макроса {query}
- Отсутствовала прокрутка в тестовом парсинге
- Иногда число активных заданий могло уменьшаться
17 мар. 2015 г., 17:11#27
Ура!)
22 мар. 2015 г., 19:44#28
A-Parser - версия 1.0.95
Исправление парсера
SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер 
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере
SE::Yandex
Подробнее тут: 1.0.95
Исправление парсера
SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер 
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере
SE::YandexПодробнее тут: 1.0.95
31 мар. 2015 г., 14:10#29
A-Parser - версия 1.0.99
Вновь исправлен
SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч
Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла
SE::Google::*
Исправления:
Вновь исправлен
SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптчУлучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла
SE::Google::*Исправления:
- В парсере
HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам - В парсере
SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях - Исправлено зависание при парсинге
SE::Baidu - В интерфейсе иногда могли пропадать настройки парсеров
- Исправлен
SE::YouTube в связи с изменением в выдаче
7 апр. 2015 г., 14:37#30
A-Parser - версия 1.0.111
Расширение API:
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.
В парсеры
SE::Bing::Suggest и
SE::Yahoo::Suggest добавлена опция
Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности
В парсере
Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта
Исправлены:
Расширение API:
- Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
- Новый метод getTaskConf - получение полных настроек задания по его ID
- AParser.pm - Perl модуль, реализует текущее API
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.В парсеры
SE::Bing::Suggest и
SE::Yahoo::Suggest добавлена опция
Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенностиВ парсере
Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайтаИсправлены:
-
[NOPARSE]SE:
MOZ[/NOPARSE] - в связи с изменение в выдаче - Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
Войди, чтобы ответить в теме



