vexal
РекламаГарантДепозитFAQ
РекламаГарантДепозитFAQ
РекламаРекламаРеклама
Реклама
vexal
Форум
Разделы›Поиск›
Ресурсы
FAQ›Политика конфиденциальности›Условия использования›
© 2014–2026 VEXAL. Все права защищены.
Политика конфиденциальностиУсловия использования
ФорумОффтопФлудилкаA-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

Просмотры: 194012 · Ответы: 59
ForbiddenForbidden
Пользователь
Регистрация: 16.08.2014
Сообщения: 13
Реакции: 0
Депозит: $0
Гарант: 0
26 дек. 2014 г., 12:36#16
A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:
JzZ0A.png
  • Поиск и извлечение данных по регулярному выражению
  • Замена по регулярному выражению
  • Разделение строки по произвольному разделителю
  • Замена подстроки в строке
  • Извлечение домена/главного домена из ссылки
  • Приведение к верхнему\нижнему регистру
  • Удаление HTML-тегов из текста
  • Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст

Новый парсер google-compromised.png SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:
  • Обработка каптчи в парсере google.ico SE::Google
  • Парсинг ссылок в yandex.ico SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
ForbiddenForbidden
Пользователь
Регистрация: 16.08.2014
Сообщения: 13
Реакции: 0
Депозит: $0
Гарант: 0
10 янв. 2015 г., 16:47#17
A-Parser - полностью обновленный сайт

Несколько важных новостей:

  • У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
  • Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
    systems.png

    Подробнее на странице покупки A-Parser'а: Купить A-Parser
  • У нас новый саппорт: Viktoria (контакты)
  • Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте

Подписывайтесь на новости и общайтесь на форуме!
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
13 янв. 2015 г., 21:06#18
A-Parser - версия 1.0.37

Улучшения:
  • При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200
Исправления:
  • Исправлен парсер youtube.png SE::YouTube в связи с изменением в выдачи
  • Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
  • Исправлена обработка каптчи у парсера google.png SE::Google
  • Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)

Связанные задачи:
Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task
ForbiddenForbidden
Пользователь
Регистрация: 16.08.2014
Сообщения: 13
Реакции: 0
Депозит: $0
Гарант: 0
21 янв. 2015 г., 19:31#19
A-Parser - версия 1.0.49

Улучшения в парсере гугла:
  • CaptchaKiller - убийца каптчи для парсера google.png SE::Google - теперь можно парсить inurl: даже на паблик проксях!

    В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов

    MqTxc.png

    Сравнение парсинга с CaptchaKiller и без на форуме
  • Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
  • Также парсер google.png SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок
Улучшения в сохранении результатов:
  • Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
  • Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
  • Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам
Остальные улучшения:
  • В качестве запросов можно использовать файлы из папки с результатами
  • В парсере yandex.png SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет
  • В ProxyChecker изменена проверочная ссылка по умолчанию
  • В API теперь возможно отключить ведение логов
  • В парсерe yahoo.png SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче
  • В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми
Исправления парсеров в связи с изменением в выдаче:
  • bing.png SE::Bing - не парсились релейтед кейворды
  • yahoo.png SE::Yahoo - не парсилась основная выдача и релейтед кейворды
  • aol.png SE::AOL - не парсилась выдача
  • yandex-suggest.png SE::Yandex::Suggest - в некоторых случаях не парсились кейворды
  • yandex.png SE::Yandex - исправлена логика при показе каптчи
  • yandex-wordstat.png SE::Yandex::WordStat - исправлена логика при показе каптчи
  • youtube.png SE::YouTube - не учитывались параметры фильтров
  • alexa.png Rank::Alexa - не парсился основной рейтинг
  • ahrefs.png Rank::Ahrefs - не парсилось количество беклинков

Полный список изменений тут: 1.0.49
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
24 янв. 2015 г., 12:32#20
A-Parser - версия 1.0.60

Улучшения в CaptchaKiller для парсера google.png SE::Google

Исправлена загрузка каптчи в yandex-wordstat.png SE::Yandex::WordStat и работа фильтров в youtube.png SE::YouTube

Полный список изменений тут: 1.0.60
D
Dodgy
Новичок
Регистрация: 16.08.2014
Сообщения: 1
Реакции: 0
Депозит: $0
Гарант: 0
25 янв. 2015 г., 18:50#21
Отличный парсер, перешел полностью на него!) Парсит все и вся! Форбидену респект)
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
12 февр. 2015 г., 16:29#22
A-Parser - версия 1.0.69

Новый парсер html-textextractor.png HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга

MeHRq.png

В парсере net-http.png Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:

iPxVQ.png

Другие улучшения:

  • Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
  • В парсер whois.png Net::Whois добавлен парсинг NS серверов и статусов доменов
  • В парсере whois.png Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
  • Новые результаты для всех парсеров:
    • {retries} - использованное количество попыток на данный запрос
    • {querynum} - порядковый номер запроса
    • {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
  • Для парсера net-http.png Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
  • Для всех парсеров google.png SE::Google::* добавлен домен www.google.by
  • Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)
Исправления:
  • Исправлен парсинг подсказок bing-suggest.png SE::Bing::Suggest
  • Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)
Подробнее тут: 1.0.69
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
21 февр. 2015 г., 18:13#23
A-Parser - версия 1.0.71

Мини-апдейт, исправляет ошибки:
  • В предыдущей версии перестал работать util-antigate.png Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
  • В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
  • Парсер падал если не мог создать папку с результатами
Подробнее тут: 1.0.71

В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)
P
pakotorn
Новичок
Регистрация: 16.08.2014
Сообщения: 1
Реакции: 0
Депозит: $0
Гарант: 0
24 февр. 2015 г., 23:34#24
самое эффективное решение в сети, гибкость, простота и доступность. Сам уже полгода пользуюсь, что только на нем не творил, можно делать практически все что в голову придет. Плюс автор лично в аське все рассказывает и помогает, можно под себя парсеры заказывать, респект Форбиддену.
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
7 мар. 2015 г., 14:31#25
A-Parser - версия 1.0.81

В этой версии только экстренные исправления в связи с изменением в выдаче:
  • youtube.png SE::YouTube
  • alexa.png Rank::Alexa
  • majesticseo.png Rank::MajesticSEO
Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях

Подробнее тут: 1.0.81

Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
17 мар. 2015 г., 13:34#26
A-Parser - версия 1.0.91

Новый парсер yandex-wordstat-date.png SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:
v0uBh.png

Новый парсер baidu.png SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:
IMgxG.png

Теперь парсер гугла google.png SE::Google может парсить по новостям и блогам:
LKqSH.png

Парсер Яндека yandex.png SE::Yandex дополнительно парсит рекламные объявления в выдаче:
BhWmm.png

Другие улучшения:
  • Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:
ziebY.png

  • Теперь в апарсере есть новости и подсказки на английском и русском:
Lj3sd.png
  • В парсере net-http.png Net::HTTP появилась возможность указать Cookies
  • В парсер html-textextractor.png HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
Исправления:
  • Исправлен парсер ahrefs.png Rank::Ahrefs в связи с изменением в выдаче
  • Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
  • Исправлена работа конструктора результатов Results builder при использовании макроса {query}
  • Отсутствовала прокрутка в тестовом парсинге
  • Иногда число активных заданий могло уменьшаться
Подробнее тут: 1.0.91
rostonixrostonix
Новичок
Регистрация: 16.08.2014
Сообщения: 3
Реакции: 0
Депозит: $0
Гарант: 0
17 мар. 2015 г., 17:11#27
Ура!)
ForbiddenForbidden
Пользователь
Регистрация: 16.08.2014
Сообщения: 13
Реакции: 0
Депозит: $0
Гарант: 0
22 мар. 2015 г., 19:44#28
A-Parser - версия 1.0.95

Исправление парсера yandex-wordstat.png SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер :)
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере yandex.png SE::Yandex

Подробнее тут: 1.0.95
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
31 мар. 2015 г., 14:10#29
A-Parser - версия 1.0.99

Вновь исправлен yandex-wordstat.png SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч

Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.

Обновлен список языков для всех парсеров гугла google.png SE::Google::*

Исправления:
  • В парсере html-linkextractor.png HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
  • В парсере bing.png SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
  • Исправлено зависание при парсинге baidu.png SE::Baidu
  • В интерфейсе иногда могли пропадать настройки парсеров
  • Исправлен youtube.png SE::YouTube в связи с изменением в выдаче
Подробнее тут: 1.0.99
A-Parser SupportA-Parser Support✓
Проверенный
Регистрация: 16.08.2014
Сообщения: 33
Реакции: 0
Депозит: $0
Гарант: 0
7 апр. 2015 г., 14:37#30
A-Parser - версия 1.0.111

Расширение API:
  • Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
  • Новый метод getTaskConf - получение полных настроек задания по его ID
  • AParser.pm - Perl модуль, реализует текущее API
Парсеры yandex-wordstat.png SE::Yandex::WordStat и yandex-wordstat-date.png SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.

В парсеры bing-suggest.png SE::Bing::Suggest и yahoo-suggest.png SE::Yahoo::Suggest добавлена опция parse-all.png Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности

В парсере majesticseo.png Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта

Исправлены:
  • dmoz.png [NOPARSE]SE::DMOZ[/NOPARSE] - в связи с изменение в выдаче
  • Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
Подробнее тут: 1.0.111
← Назад2 / 4Вперёд →

Войди, чтобы ответить в теме