Прокси для Key Collector

Key Collector принимает списки прокси в настройках:

1. Скопируйте список прокси в личном кабинете IPrazon. Основной формат IP:PORT, при необходимости IP:PORT:LOGIN:PASS.
2. Откройте настройки Key Collector, раздел работы с сетью и прокси.
3. Вставьте список прокси в поле и выберите протокол: SOCKS5 или HTTP.
4. Задайте проверку прокси перед сбором, если нужно.
5. Запустите сбор частотностей или парсинг подсказок, запросы пойдут через пул.

Чем больше адресов задействовано, тем стабильнее идёт сбор и реже появляется капча.

Считать удобнее от числа запросов к поисковой системе. Съём частотностей, парсинг подсказок и сбор выдачи это разные запросы, и одна фраза может дать несколько обращений.

Дальше вступает ограничение на частоту. Поисковые системы реагируют на плотность обращений с адреса, поэтому потолок задаёт безопасный ритм на один IP. Общая скорость получается умножением этого ритма на число адресов в пуле прокси.

Практический порядок такой: сначала найти частоту, на которой проверки не появляются, затем разделить нужный объём на эту частоту и получить требуемое число адресов. Наращивать потоки в самом Key Collector имеет смысл только после того, как пул способен их обслужить.

Отказ при подключении почти всегда сводится к четырём причинам, и проверять их стоит именно в этом порядке. Первая: выбран не тот тип прокси, в поле стоит HTTP вместо SOCKS5 или наоборот. Вторая: порт не совпадает с выданным.

Третья причина связана с форматом. Если список прокси выдан как IP:PORT без логина, доступ работает по привязке, и запросы пойдут только с того адреса, который вы указали. Смена машины, сети или выход через другой интерфейс дадут отказ при полностью рабочем списке.

Четвёртая: опечатка в логине или пароле, чаще всего лишний пробел при копировании строки. Отдельно проверьте, что Key Collector действительно направляет трафик через прокси: подключение подтверждается фактическим адресом на любом сервисе проверки IP.

Смена адреса настраивается в двух местах, и путать их не стоит. Первое это сторона пула: адрес меняется сам по расписанию или по запросу, и от Key Collector тут ничего не требуется. Второе это сторона софта: вы сами подставляете разные строки из списка на разные задачи.

Первый вариант удобнее, когда работа однородна и состояние между запросами не держится. Список прокси подключается один раз, а дальше новые адреса приходят автоматически, и вмешиваться не нужно.

Второй вариант нужен, когда сбор идёт длинными очередями и важно контролировать частоту к поисковой системе. Тогда адрес закрепляется явно, и вы сами решаете, когда его сменить: после завершения цикла, по числу обработанных элементов или по времени.

Смешивать оба режима на одной задаче обычно вредно. Если пул меняет адрес сам, а софт параллельно перебирает список, поведение становится непредсказуемым: часть запросов уйдёт не с тех адресов, на которые вы рассчитывали.

Базовое правило: нагрузка должна ложиться на пул равномерно, иначе часть адресов прокси выгорит раньше остальных. Поэтому распределять проектами по адресам лучше сразу.

Если задачи разного веса, считайте по интенсивности. Один тяжёлый процесс может давать больше запросов, чем пять лёгких, и на него разумно выделить отдельные адреса, чтобы он не мешал остальным.

Полезно держать небольшой резерв адресов, не занятых постоянно. Он пригодится, когда часть пула начнёт встречать проверки: вы переключите проблемные задачи на свежие адреса прокси, не останавливая работу целиком.

И последнее: фиксируйте, какая задача с какого адреса шла. Без этого при появлении отказов невозможно понять, дело в конкретном адресе, в настройках задачи или в самой площадке.

Серверный пул это стабильные быстрые адреса и автоматическая ротация: запросы распределяются по 12 000 IP, частота с каждого адреса ниже, и капча появляется реже.

Трафик безлимитный на всех пакетах, это важно при больших проектах семантики, когда фраз десятки и сотни тысяч. Гео пула: 200+ стран, если нужно собирать региональную частотность.

Key Collector одинаково работает и через SOCKS5, и через HTTP, оба в пакете. Авторизацию проще ставить по IP: привязали адрес рабочей машины в кабинете, и в поля программы логин с паролём вписывать не нужно.