Прокси для A-Parser

A-Parser принимает списки прокси в настройках:

1. Скопируйте список адресов в личном кабинете IPrazon. Основной формат IP:PORT, при необходимости IP:PORT:LOGIN:PASS.
2. Откройте настройки прокси в A-Parser (Proxy checker / списки прокси).
3. Вставьте список и выберите протокол: SOCKS5 или HTTP.
4. Настройте число потоков под свой тариф и задачу.
5. Запустите парсинг: потоки распределятся по пулу.

Число потоков и частоту запросов настраиваете в самом A-Parser под целевую площадку.

Число потоков в A-Parser и число адресов в пуле прокси это разные величины, и путать их дорого. Потоки определяют, сколько запросов идёт одновременно, а адреса определяют, между сколькими источниками эта нагрузка распределяется.

Считать стоит от нагрузки на один адрес. Если безопасный ритм для площадки это, скажем, один запрос в несколько секунд, то при двадцати потоках нагрузка должна лечь минимум на такое же количество адресов, иначе каждый получит долю, превышающую порог.

Отсюда правило: сначала считают допустимую частоту на IP, потом требуемую общую скорость, и только разница между ними даёт нужный размер пула. Увеличение потоков без роста пула упирается в блокировки.

Отказ при подключении почти всегда сводится к четырём причинам, и проверять их стоит именно в этом порядке. Первая: выбран не тот тип прокси, в поле стоит HTTP вместо SOCKS5 или наоборот. Вторая: порт не совпадает с выданным.

Третья причина связана с форматом. Если список прокси выдан как IP:PORT без логина, доступ работает по привязке, и запросы пойдут только с того адреса, который вы указали. Смена машины, сети или выход через другой интерфейс дадут отказ при полностью рабочем списке.

Четвёртая: опечатка в логине или пароле, чаще всего лишний пробел при копировании строки. Отдельно проверьте, что A-Parser действительно направляет трафик через прокси: подключение подтверждается фактическим адресом на любом сервисе проверки IP.

Смена адреса настраивается в двух местах, и путать их не стоит. Первое это сторона пула: адрес меняется сам по расписанию или по запросу, и от A-Parser тут ничего не требуется. Второе это сторона софта: вы сами подставляете разные строки из списка на разные задачи.

Первый вариант удобнее, когда работа однородна и состояние между запросами не держится. Список подключается один раз, а дальше новые адреса приходят автоматически, и вмешиваться не нужно.

Второй вариант нужен, когда пресеты работают с разными площадками и частота для них отличается. Тогда адрес закрепляется явно, и вы сами решаете, когда его сменить: после завершения цикла, по числу обработанных элементов или по времени.

Смешивать оба режима на одной задаче обычно вредно. Если пул меняет адрес сам, а софт параллельно перебирает список, поведение становится непредсказуемым: часть запросов уйдёт не с тех адресов, на которые вы рассчитывали.

Базовое правило: нагрузка должна ложиться на пул равномерно, иначе часть адресов прокси выгорит раньше остальных. Поэтому распределять пресетами по адресам лучше сразу.

Если задачи разного веса, считайте по интенсивности. Один тяжёлый процесс может давать больше запросов, чем пять лёгких, и на него разумно выделить отдельные адреса, чтобы он не мешал остальным.

Полезно держать небольшой резерв адресов, не занятых постоянно. Он пригодится, когда часть пула начнёт встречать проверки: вы переключите проблемные задачи на свежие адреса, не останавливая работу целиком.

И последнее: фиксируйте, какая задача с какого адреса шла. Без этого при появлении отказов невозможно понять, дело в конкретном адресе, в настройках задачи или в самой площадке.

Серверный пул даёт до 3000 потоков по старшему тарифу, стабильные быстрые адреса и ротацию: запросы распределяются по 12 000 IP, нагрузка на каждый адрес ниже.

Трафик безлимитный на всех пакетах, объём парсинга не ограничен трафиком, что важно при системном сборе. Гео пула: 200+ стран.

Протоколы SOCKS5 и HTTP входят в пакет, авторизация по логину и паролю или по IP. A-Parser работает с обоими.

Ещё одна мелочь, которая экономит время: A-Parser помечает неотвечающие прокси и выкидывает их из ротации сам, но со списком, который обновляется в реальном времени на стороне пула прокси, доля таких записей стремится к нулю, парсинг не тормозит на таймаутах мёртвых адресов.