Все локации активны · 99.99% uptime
Сетевые технологии

Разнообразие подсетей и устойчивость прокси-пула

Если провайдер прокси заявляет «100 000 IP», первый напрашивающийся вопрос таков: из скольких разных блоков эти IP? Ведь решения о блокировке чаще всего применяются не к отдельным IP, а к блокам IP . Если все 100 000 адресов приходят из нескольких сотен блоков, ваша реальная устойчивость равна не 100 000, а нескольким сотням.

В этой статье мы разбираем понятие подсети, принцип работы блокировки на уровне блоков и то, как измерить разнообразие пула.

Подсеть и нотация CIDR

Адреса IPv4 имеют длину 32 бита, а нотация /n указывает, сколько первых битов относится к «сетевой» части. Оставшиеся биты нумеруют адреса внутри этой сети:

НотацияКоличество адресовТипичное применение
/321Один адрес — dedicated proxy
/298Небольшое корпоративное выделение
/24256Классический «класс C»; единица блокировки
/221.024Хостинговый блок среднего размера
/1665.536Крупное выделение провайдеру

Когда в отрасли говорят о «разнообразии C-class», имеют в виду, по скольким разным /24 блокам распределён пул. Это практическая мера устойчивости к блокировкам.

СХЕМАСтруктура блока адреса IPv4
АНАТОМИЯ185.93.68.14/24 → сеть: 185.93.68.0 · диапазон: .0 – .255185.93.68Сетевая часть — идентификатор блока, блокировка применяется на этом уровне.14Хостовая часть — порядковый номер внутри блока/24Первые 24 бита — сеть, оставшиеся 8 бит — хост (256 адресов)

Когда сайт принимает решение «заблокировать блок 185.93.68.0/24», все 256 адресов этого блока одновременно теряют доступ.

Почему блокируют целыми блоками?

С точки зрения защиты логика проста: блокировать злоупотребляющие IP по одному и медленно, и легко обходится — нарушитель просто переходит на следующий адрес. Блокировка блока одним действием охватывает всех соседей.

СХЕМАРаспределение по блокам у двух разных пулов
РАСПРЕДЕЛЕНИЕБлок AБлок BБлок CБлок DБлок EБлок FКонцентрированный пул420380310000Распределённый пул9588102918497Одинаковое общее число IP — совершенно разная устойчивость

В концентрированном пуле блокировка одного блока лишает вас трети мощности. В распределённом пуле то же событие затрагивает лишь шестую часть.

Измерение разнообразия вашего пула

Если у вас есть список IP, посчитать разнообразие просто: возьмите первые три октета каждого адреса и посчитайте уникальные значения.

СХЕМАКак определить число уникальных блоков /24 в пуле
Терминал / Python01# Bash — подсчёт уникальных блоков /24 из списка прокси02cut -d: -f1 proxyler.txt | cut -d. -f1-3 | sort -u | wc -l0304# Python — таблица распределения05from collections import Counter06ips = [l.split(":")[0] for l in open("proxyler.txt") if l.strip()]07blocks = Counter(".".join(ip.split(".")[:3]) for ip in ips)08print("всего IP :", len(ips))09print("уникальных /24 :", len(blocks))10print("в среднем на блок:", round(len(ips) / max(1, len(blocks)), 1))11print("5 самых плотных блоков:", blocks.most_common(5))

Чем меньше среднее число IP на блок, тем выше устойчивость пула. Если все 256 адресов приходят из одного блока, на практике это почти то же самое, что владеть одним IP.

Практический порог

Среднее на блок менее 10 IP считается хорошим распределением. Если значение выше 50, ваш пул концентрирован, и одно решение о блокировке приведёт к крупным потерям.

В резидентных пулах ситуация иная

Резидентные пулы по своей природе обладают высоким разнообразием, поскольку IP приходят от реальных домашних абонентов и распределены по тысячам разных блоков ISP. Здесь главное не количество блоков, а насколько пул действительно широк и как часто вам повторно достаётся один и тот же IP.

Простой тест: отправьте 200 запросов без использования одного и того же ключа сессии и посчитайте, сколько разных выходных IP вы увидели. Если доля повторов высока, пул не так широк, как заявлено. Наша статья о резидентных прокси подробно описывает архитектуру пула.

В IPv6 понятие разнообразия меняется

В IPv6 адресное пространство настолько велико, что одному клиенту обычно выделяется блок /64 — это во много раз больше адресов, чем весь IPv4. Однако это изобилие обманчиво:

СХЕМАЛогика разнообразия в IPv4 и IPv6
СРАВНЕНИЕIPv4IPv6Единица блокировкиблок /24блок /64 или /48Изобилие адресовДефицит — дорогоИзобилие — дёшевоОдному клиентуНесколько адресовМиллиарды адресовМера разнообразияСколько разных /24Сколько разных /64Ценность ротацииВысокаяНизкая внутри блокаПоддержка целевыми сайтамиУниверсальныйЧастичная

В IPv6 смена адреса внутри одного /64 для большинства защитных систем означает «тот же источник». Настоящее разнообразие обеспечивается адресами из разных блоков /64.

О стоимостном преимуществе IPv6 и его ограничениях — нашем сравнении IPv4 и IPv6 и IPv6 proxy смотрите на нашей странице.

Вопросы, которые стоит задать при покупке

  • По скольким разным блокам /24 распределён пул? Если цифру не называют, попросите небольшую выборку и измерьте сами.
  • Сколько разных ASN используется? Один ASN означает единую точку отказа.
  • По скольким странам распределены блоки? Критично, если вы планируете геотаргетинг.
  • Со сколькими клиентами делится один блок? В общих пулах поведение соседей отражается на вас.
  • Заменяется ли заблокированный блок? Политика обновления у провайдера определяет устойчивость.

Управление распределением в собственном пуле

Если вы берёте IP у нескольких провайдеров, добавьте в логику выбора учёт блоков: распределяйте последовательные запросы по возможности по разным блокам. Так целевому сайту сложнее увидеть сигнал «интенсивный трафик от одних и тех же соседей».

СХЕМАВыбор с учётом блоков
ВЫБОР6 блоковсбалансированное распределение1Последовательные запросы — из разных блоковплотность соседей снижается2При блокировке блока — весь блок в карантинне перебирайте по одному3Лимит параллелизма на блокпредотвращает концентрацию

Когда блок заблокирован, отправить в карантин все адреса этого блока целиком гораздо эффективнее, чем тратить время и квоту на перебор по одному.

Резюме

Размер пула сам по себе не является показателем качества; определяющим фактором служит распределение по блокам и ASN. Поскольку решения о блокировке чаще всего применяются на уровне /24 , концентрированные пулы уязвимы. Имеющийся у вас список можно измерить парой команд, а удерживая среднее число IP на блок низким, вы повысите устойчивость. Живучесть ваших адресов и их выходные локации вы можете с помощью инструмента проверки прокси проверить массово.

Часто задаваемые вопросы

01Сколько адресов содержит блок /24?

Он содержит 256 адресов (от .0 до .255). Два из них обычно зарезервированы как адрес сети и широковещательный адрес, поэтому доступных адресов — 254.

02Сколько разных блоков достаточно?

Это зависит от ваших задач. Для небольших объёмов хватает 5–10 блоков, а при масштабном сборе данных хорошее правило — стремиться к распределению, при котором на один блок приходится не более 10 IP.

03Стоит ли спрашивать о разнообразии подсетей в резидентном пуле?

Вместо прямого вопроса отдайте предпочтение практическому тесту: отправьте несколько сотен запросов без использования ключа сессии и посчитайте, сколько разных выходных IP и сколько разных блоков вы увидели.

04У меня много адресов в IPv6 — решит ли это проблему ротации?

Нет. Смена адреса внутри одного /64 для большинства защитных систем считается одним источником. Для настоящего разнообразия нужны разные блоки /64 или /48.

05Как понять, что блок заблокирован?

Сильный признак — когда несколько адресов из одного блока одновременно получают 403 или CAPTCHA на одном и том же целевом ресурсе. В этом случае вместо перебора по одному отправьте в карантин весь блок.

Связанные статьи и страницы

СЛЕДУЮЩИЙ ШАГ

Усильте свою прокси-инфраструктуру уже сегодня.

Начните с платным тарифом за считанные минуты или сначала попробуйте наш бесплатный список прокси.

FREEPROXY.TR

Ищете бесплатные прокси — вы попали по адресу

Комплексная прокси-платформа, где можно посмотреть актуальные адреса бесплатных прокси, сравнить типы HTTP и SOCKS и проверить свои прокси-подключения бесплатными инструментами.