При покупке резидентных прокси вам не выдают список из тысяч IP-адресов. Обычно вы получаете один адрес: gateway.saglayici.com:8000. Тем не менее при каждом запросе вы видите другой выходной IP. Эта архитектура называется backconnect gateway , и практически все современные прокси-сервисы работают именно так.
В этой статье мы разбираем внутреннюю работу gateway, принципы маршрутизации сессий и отличия от модели прямых IP.
Основная идея
Gateway — это фиксированная точка входа, к которой вы подключаетесь. За ней находятся тысячи выходных узлов. Вы отправляете запрос на gateway, он передаёт его выбранному из пула выходному узлу и возвращает вам ответ.
В вашей конфигурации указан один-единственный адрес; вся сложность управляется на стороне gateway. Это радикально упрощает клиентскую часть.
Три способа передать команду gateway
Вам нужно сообщить gateway, из какой страны и с каким идентификатором сессии выполнять выход. В отрасли используются три метода:
Третий метод — вызов API: сессия сначала создаётся через API, а подключение выполняется с полученным идентификатором. Это гибко, но требует дополнительного round-trip запроса.
Метод встраивания параметров в имя пользователя мы подробно разобрали в статье об аутентификации .
Путь запроса внутри gateway
Собственное время обработки gateway обычно составляет несколько миллисекунд. Большая часть общей задержки приходится на расстояние между выходным узлом и целью.
Модель gateway по своей природе добавляет ещё один хоп: вы → gateway → выход → цель. Дополнительные 10–40 мс задержки по сравнению с моделью прямых IP — это норма. Взамен управление пулом, проверка состояния и ротация полностью снимаются с вас.
Сравнение модели gateway и модели прямых IP
Если целевой системе нужно предъявить собственный IP (whitelist, доступ к API), модель прямых IP обязательна: в gateway выходной IP переменный, поэтому это невозможно.
Для сценариев, требующих статического IP, ISP-прокси и datacenter proxy наши продукты работают по модели прямых IP.
Внутренняя механика маршрутизации сессий
Gateway обязан обеспечить, чтобы запросы с одним и тем же ключом сессии уходили на один и тот же выходной узел. Он делает это с помощью таблицы сопоставления:
Именно поэтому sticky-сессия — это не «гарантия», а «наилучшее усилие»: если назначенный узел выпадает из сети, gateway вынужденно переключается на другой.
Преимущества и ограничения модели gateway
Преимущества
- Конфигурация на стороне клиента сводится к одной строке.
- Здоровье пула, отсев мёртвых IP и ротация — на стороне провайдера.
- Геотаргетинг мгновенно меняется параметром.
- Доступ к миллионам IP с одного адреса.
- При масштабировании не требуется менять код.
Ограничения
- Чуть более высокая задержка из-за дополнительного хопа.
- Выходной IP непредсказуем — whitelist настроить нельзя.
- Gateway является единой точкой отказа.
- Вы не знаете заранее, какой IP будет использован.
- Отладка становится более абстрактной.
Отладка при работе через gateway
Чтобы при возникновении проблемы ответить на вопрос «какой выходной узел вернул эту ошибку», нужно логировать выходной IP каждого запроса. Иначе вы не сможете настроить карантин по целям и сообщить провайдеру о проблемных узлах.
Узнавать выходной IP при каждом запросе накладно. Практичное решение: один раз на каждый новый ключ сессии отправить контрольный запрос и пометить IP для этой сессии.
Геотаргетинг и расположение gateway
Физическое расположение gateway напрямую влияет на задержку. Если вы работаете из Турции и используете европейский выход, выбор gateway, расположенного в Европе, заметно снижает общее время.
Если ваш провайдер предлагает несколько локаций gateway, выбирайте ближайшую к вашей аудитории. Варианты локаций смотрите на нашей странице локаций можно посмотреть.
Резюме
Архитектура gateway позволяет получить доступ к миллионам IP через один адрес и перекладывает сложность управления пулом, проверки состояния и ротации на провайдера. Взамен вы принимаете задержку в один хоп и потерю контроля над выходным IP. Для задач, требующих whitelist или минимальной задержки, правильный выбор — модель прямых IP, а для задач, требующих гибкости и географического охвата, — модель gateway. Чтобы проверить свою конфигурацию, инструмент проверки прокси можете использовать.