Ротационные прокси

Что такое rotating proxy?

Rotating proxy — в русском языке чаще говорят ротационный прокси или прокси с автоматической сменой IP — это система, которая выпускает ваши запросы не с одного постоянного адреса, а поочерёдно через разные адреса большого пула. В приложении вы прописываете лишь одну точку подключения (gateway), а какой запрос уйдёт с какого IP, решает инфраструктура.

Главный выигрыш такой архитектуры — простота эксплуатации. Вместо того чтобы покупать сотни IP и следить за списком, состоянием и блокировками каждого, вы получаете доступ к миллионам адресов одной строкой настройки. Сложность уходит инфраструктуре, а вы сосредоточены на данных.

Архитектура backconnect: что за кулисами

Сердце rotating proxy — сервер backconnect (gateway) . Адрес, прописанный в приложении, — например, gw.freeproxy.tr:7777 — это не IP, а шлюз. Каждое подключение входит через него и выходит в интернет с подходящего адреса из огромного пула за ним.

Выбор IP не случаен. Инфраструктура учитывает состояние адреса, обращался ли он к этой цели недавно, и ваше правило ротации. Этот слой умного выбора снимает с вас сотни строк обработки ошибок в коде.

Логика смены IP — три режима

Ротация по запросу

Каждый HTTP-запрос уходит с нового IP из пула. При обходе тысячи страниц целевой сайт видит тысячу разных посетителей, и лимит запросов на IP теряет смысл. Режим по умолчанию для крупных задач веб-скрапинга . Идеален, когда страницы независимы и не связаны друг с другом.

Ротация по времени

IP автоматически меняется через заданный интервал (например, раз в 5 минут). Подходит для потоков с переходами между страницами, но без длинных сессий. Полезен для операций средней длины — пройтись по категории и посмотреть пару товаров.

Sticky session

В параметры подключения вы добавляете идентификатор сессии — один и тот же идентификатор 1-30 минут держится на одном IP. В этом режиме проходят авторизация, действия с корзиной и многошаговые формы. Важная деталь: давайте разным задачам разные идентификаторы сессии. Сажать всё на один IP под единым идентификатором — значит обесценить саму ротацию.

Умное управление пулом

Хорошая rotating-инфраструктура не выбирает IP наугад — в фоне постоянно работает слой контроля состояния:

• Замедлившиеся или помеченные целевыми сайтами IP автоматически выводятся из ротации.
• Неудачные запросы автоматически повторяются с другого IP (умный retry).
• По целевому домену предпочитается IP, который «недавно туда не обращался», — так не формируется закономерность.
• Состояние пула отслеживается в реальном времени, общий процент успеха держится высоким.

Преимущества для скрапинга

Rotating proxy — хребет масштабного сбора данных. Что он даёт:

• Мало запросов на IP: на каждый адрес приходится меньше запросов, чем терпит цель, и риск бана минимален.
• Неограниченная параллельность: можно отправлять тысячи запросов одновременно, лимита подключений нет.
• Автоматический retry: неудачный запрос повторяется с другого IP, ручная обработка ошибок не нужна.
• Никаких списков: рутина вроде отсева мёртвых IP и учёта блокировок исчезает.

Какой пул выбрать: residential или мобильный?

Ротация — это механизм, а лежащий под ней пул IP — отдельный выбор. Важно различать:

• Rotating residential: Residential-пул даёт самое широкое разнообразие (10M+ IP) и служит стандартом для большинства задач. На защищённых целях показывает высокий результат.
• Rotating мобильный: Мобильный пул даёт наивысший уровень доверия и вступает в дело на целях с самой строгой защитой.
• Rotating datacenter: самый быстрый и дешёвый вариант для незащищённых целей; против агрессивной защиты эффект ограничен.

Выбор делается по уровню защиты вашей цели. Если сомневаетесь, начать с residential — безопасное значение по умолчанию.

Автоматизация и интеграция с инструментами

Scrapy, Puppeteer, Playwright, Selenium и все HTTP-клиенты работают с одной записью gateway. Прокси для автоматизации — на этой странице есть примеры настройки по инструментам.

Правильные шаблоны использования

1. Шаблон «список + карточка»: страницы категорий тяните с ротацией по запросу, а сессии перехода к карточке товара — в режиме sticky.
2. Контроль темпа: ротация защищает от лимитов, но уважительный к цели темп — по-прежнему ваша ответственность. Используйте случайные задержки.
3. Следите за метрикой успеха: логируйте долю 403/429 — её рост сигнализирует, что пора менять пул или темп.
4. Разделяйте идентификаторы сессий: каждому потоку свой идентификатор — параллельность сохраняется, сессии остаются целостными.

Логика тарификации

Rotating-пакеты тарифицируются по ГБ. Все режимы ротации (по запросу, по времени, sticky) списываются с одного счётчика трафика, неизрасходованные ГБ переносятся на следующий месяц. Параллельность не ограничена, поэтому вы платите не за «число подключений», а за «объём данных» — предсказуемая модель для растущих операций. С ростом объёма цена за ГБ снижается.

Частые технические вопросы

• Может ли повториться один и тот же IP? Из-за размера пула вероятность в короткой перспективе очень мала; если нужна строгая уникальность, контроль обеспечивается параметрами сессии.
• Не является ли gateway единой точкой отказа? Нет: слой gateway зарезервирован, при отказе узла трафик переносится автоматически.
• Можно ли выбрать страну? Да: параметры таргетинга меняются на уровне запроса, и с одного аккаунта доступно 150+ стран.