Безлимитные прокси

Подключение стандартное и занимает пару минут:

1. Выберите пакет прокси по сроку и числу потоков прокси в личном кабинете IPrazon.
2. Возьмите данные доступа хост, порт, логин, пароль.
3. Впишите их в софт: парсер, браузер или скрипт, протокол HTTP, HTTPS или SOCKS5.
4. Запускайте задачу: за трафик проксиом следить не нужно, он не ограничен.

Объём упирается только в число потоков пакета. Нужно больше потоков? Берёте старший пакет.

Когда трафик тариф проксиицируется, счётчик трафика считает байты: тело ответа, заголовки, картинки, скрипты, повторные загрузки при ошибках. Одна и та же тысяча страниц может дать и двести мегабайт, и несколько гигабайт, в зависимости от того, насколько тяжёлые страницы попались.

Отсюда главная сложность учёта по объёму: предсказать расход заранее почти невозможно. Сайт может отдать тяжёлые скрипты, сменить вёрстку, добавить медиа, и расчёт, который вы делали в начале месяца, перестаёт совпадать с реальностью.

В пакет проксиной модели этой переменной нет вовсе. Оплачивается срок и число потоков прокси, а сколько байтов прошло, на счёт не влияет. Планирование сводится к двум понятным величинам: сколько времени идёт задача и сколько параллельных соединений ей нужно.

Раз объём не ограничен, узким местом становится параллельность. Число потоков на прокси определяет, сколько запросов идёт одновременно, и именно оно задаёт реальную скорость прокси сбора.

Считается это просто. Скорость равна числу потоков, делённому на время одного запроса. При десяти потоках и двух секундах на запрос выходит пять страниц в секунду, то есть около четырёхсот тысяч за сутки, если площадка выдержит такой ритм.

Поэтому при росте задачи наращивают потоки. И упереться можно раньше в лимиты самой площадки, чем в потолок пакета: безопасная частота на адрес почти всегда ниже, чем техническая возможность вашего софта.

Безлимит снимает вопрос объёма, но не вопрос распределения во времени. Одна и та же тысяча страниц, собранная за час и за сутки, создаёт совершенно разную нагрузку на адрес прокси и вызывает разную реакцию площадки.

Планировать удобнее от пика. Посмотрите, в какой час у задачи максимальная интенсивность, и считайте потоки под этот момент. Остальное время система будет работать с запасом, и это нормально.

Вторая величина это длительность одного запроса. Она задаёт, сколько времени поток занят и когда освобождается. Тяжёлые страницы с большим количеством ресурсов держат поток дольше, поэтому при одинаковом числе потоков реальная скорость прокси на них ниже.

Отсюда практический вывод: при безлимитном трафике узкое место почти всегда в двух местах, в числе потоков и в допустимой частоте на адрес. Объём данных на это не влияет, и именно поэтому пакетная модель проще в планировании.

Пропускная способность описывает, сколько байтов проходит в секунду. Скорость сбора описывает, сколько страниц обрабатывается за то же время. Это разные величины, и вторая почти никогда не упирается в первую.

Причина в том, что большую часть времени поток ждёт. Установка соединения, ответ сервера, разбор страницы: всё это паузы, во время которых канал прокси простаивает. Поэтому при десятке потоков реальное потребление канала остаётся скромным даже на тяжёлых страницах.

Из этого следует, что наращивание скорости идёт через параллельность и через сокращение времени одного цикла. Помогают повторное использование соединений, отказ от загрузки лишних ресурсов и разбор только нужной части страницы.

И обратное: если сбор упёрся в потолок, дело редко в трафике. Смотреть надо на лимиты площадки, на время ответа и на то, сколько потоков реально работает одновременно.

Пул прокси работает на собственном оборудовании: стабильные быстрые адреса, низкие задержки, аптайм без провалов. Безлимит не урезается «честным использованием» в мелком шрифте.

Цена предсказуема: вы планируете расходы по пакету и потокам. В пуле 12 000 адресов IPv4, гео: 200+ стран, до 3000 потоков по старшему тарифу.

Протоколы HTTP, HTTPS и SOCKS5 входят в каждый пакет, ротация подаёт новые IP по расписанию или запросу. Подходит под долгие и объёмные задачи.