Прокси для парсинга из приватного пула IPv4 и SOCKS5. Ротация подаёт новые адреса прокси, поэтому парсер стабильно держит большие объёмы запросов. Безлимитный трафик, 200+ стран. Бесплатный тест до 2 часов на вашем парсере.
Парсинг это автоматический сбор через прокси через прокси через прокси данных с сайтов: цен, каталогов, объявлений, выдачи поисковиков. Проблема в том, что сайт ограничивает доступ, когда с одного адреса идут тысячи однотипных запросов через прокси через прокси: включается защита, появляется капча при работе через прокси при работе через прокси при работе через прокси при работе через прокси при работе через прокси при работе через прокси, дальше временное или постоянное ограничение доступа. Без прокси массовый парсинг останавливается почти сразу.
Прокси для парсинга решают это: запросы идут через пул прокси адресов, и каждый сайт видит обращения с разных IP. В IPrazon под это работает приватный серверный пул IPv4 и SOCKS5 с автоматической ротацией. Постоянно активны 12 000 адресов, список обновляется в режиме реального времени. Пул доступен только клиентам сервиса.
Простой пример. Нужно собрать каталог маркетплейса, 5000 карточек товаров. Уже на первой сотне запросов с одного IP сайт показывает капчу и вводит лимиты, и сбор данных прерывается. На пул проксие с ротацией эти 5000 запросов расходятся по сотням адресов, и парсер через прокси через прокси через прокси спокойно отрабатывает весь объём.
Капча появляется не потому, что сайт узнал робота, а потому что сработал счётчик. Площадка отслеживает частоту обращений с адреса прокси, равномерность интервалов, порядок переходов и совпадение заголовков. Как только показатель выходит за порог, включается проверка.
Отсюда важное: капча это следствие ритма. Один и тот же парсер на одном адресе упрётся в проверку через сотню запросов, а распределённый по пул проксиу пройдёт тот же объём без единой.
Поэтому в настройке сбора первично частота запросов к прокси на каждый. Сначала находят безопасный ритм для одного IP, и только потом умножают на число адресов, чтобы получить общую скорость.
Расчёт строится от трёх величин: сколько страниц нужно собрать, за какое время и сколько времени занимает один запрос вместе с обработкой. Разделив объём на срок, вы получаете требуемую скорость в страницах в секунду, а умножив её на длительность запроса, получаете число одновременных потоков.
Пример счёта. Сто тысяч страниц за сутки это чуть больше одной страницы в секунду. Если один запрос с разбором занимает две секунды, достаточно трёх потоков. Если страница тяжёлая и на неё уходит десять секунд, нужно уже двенадцать.
Дальше проверяют вторую границу: выдержит ли через через прокси площадка такую частоту с учётом ротации. Если безопасный ритм на адрес ниже расчётного, разницу закрывают числом адресов в пуле прокси.
Кроме адреса площадка видит набор служебных полей запроса. Строка user-agent сообщает браузер и систему, отдельные поля описывают принимаемые языки, кодировки и типы содержимого. Порядок этих полей у разных программ различается и сам по себе служит признаком.
Отсюда типичная ошибка при сборе: адреса меняются, а заголовки остаются одинаковыми во всех потоках. Для площадки это выглядит как множество разных сетей, из которых приходит один и тот же клиент, что заметнее обычного трафика.
Второй слой это параметры защищённого соединения. Скрипт на популярной библиотеке формирует их иначе, чем настоящий браузер, и по этому различию запрос относят к автоматическому даже без анализа поведения.
Практический подход простой: разнообразие адресов имеет смысл поддерживать разнообразием клиентов. Разные user-agent, разный порядок заголовков, а для тяжёлых площадок и запуск через настоящий браузерный движок.
Файл robots.txt это соглашение. Он лежит в корне сайта и перечисляет, какие разделы владелец просит не обходить автоматически. Технически он ничего не запрещает: запрос к закрытому в нём разделу пройдёт так же, как любой другой.
Техническая блокировка устроена иначе. Это уже действие сервера: отказ по коду, требование проверки, ограничение частоты или отсечение по признакам клиента. Она срабатывает независимо от того, что написано в robots.txt.
Путать их не стоит по практической причине. Ориентируясь только на robots.txt, легко упереться в лимиты на разделах, которые в нём открыты. И наоборот, закрытый в файле раздел может не иметь никакой технической защиты.
Для планирования сбора полезнее смотреть на фактическое поведение площадки: с какой частоты появляются проверки, на каких разделах включаются ограничения, как отвечает сервер при росте потоков. Эти границы и определяют рабочий режим.
Под большие регулярные задачи выгоднее месячный или корпоративный тариф. Если нужна именно авто-смена адреса, посмотрите страницу прокси с ротацией, для выбора протокола, SOCKS5 и IPv4.
| Параметр | Значение |
|---|---|
| Потоки под сбор | До 3000, частоту запросов задаёте в своём софте |
| Объём | Трафик безлимитный: маркетплейсы и большая семантика не тарифицируются |
| Формат для списка | IP:PORT основной, вставляется одной колонкой. IP:PORT:LOGIN:PASS второй вариант |
| Ротация | Автоматическая, запросы расходятся по 12 000 адресов |
| Протоколы | SOCKS5 и HTTP/HTTPS, под любой парсер |
| Тип пула | Приватный серверный IPv4 |
| Подключение | Привязка IP в личном кабинете для формата IP:PORT |
| Тест | Бесплатный тест до 2 часов |
Совместим с A-Parser, ZennoPoster, Key Collector и самописными скриптами, формат списка прокси стандартный.
Пул IPrazon это глобальный микс серверных адресов из разных стран, 200+ стран в общей сложности. В пакете IPv4 & SOCKS5 адреса выдаются из общего пула; выборка по отдельной стране не делается. Для парсинга это удобно: большой разнородный пул и ротация важнее, чем привязка к конкретной стране. Все адреса прокси из дата-центров под нашим управлением.
Парсер либо проходит площадку, либо нет, это видно за первый час. Поэтому до оплаты даём бесплатный тест до 2 часов прямо на вашей цели:
При сборе данных с одного IP защита сайта срабатывает быстро: появляются капча и ограничения. Ротация распределяет запросы по пулу из 12 000 адресов, поэтому нагрузка на каждый адрес ниже, и сбор идёт стабильно.
Зависит от софта. SOCKS5 чаще используют для парсеров, ботов и антидетект-браузеров, IPv4, для максимальной совместимости с сайтами. В пакет входят оба протокола.
Пул подходит для сбора цен, каталогов и объявлений. Учитывайте лимиты и правила площадок, частоту запросов настраиваете в своём софте.
Нет, трафик безлимитный на всех пакетах. Это важно для парсинга: объём собираемых данных не ограничен трафиком.
Доступен бесплатный тест до 2 часов. Запустите свой парсер на пуле и оцените, как проходит сбор, до оплаты напишите в поддержку тип прокси и задачу.