Подключившись к одной и той же странице через два разных прокси, на одном вы увидите контент без проблем, а на другом — CAPTCHA. Оба говорят по одному протоколу, оба уровня elite, ни один не добавляет лишних заголовков. Разница возникает из того, кому принадлежит IP-адрес. Технически эта «идентичность» называется ASNи является самым сильным сигналом современных систем выявления ботов.
В этой статье мы разбираем, что такое ASN, как формируется репутационный скоринг и на что вам следует опираться при выборе прокси.
Что такое ASN?
Autonomous System Number (номер автономной системы) — это число, которое в маршрутной архитектуре интернета определяет организацию, управляющую IP-блоком. Каждый интернет-провайдер, каждый крупный дата-центр, каждый мобильный оператор владеет одним или несколькими ASN. Эти записи общедоступны — их может запросить кто угодно в базах региональных интернет-регистратур (RIPE, ARIN, APNIC).
Сайт, увидевший IP-адрес, за тысячную долю секунды может узнать следующее:
- Какому ASN принадлежит IP и каков тип этого ASN (ISP, хостинг, мобильный, корпоративный).
- Название и страну организации — владельца ASN.
- Блок, в котором находится IP, и размер этого блока.
- Дату выделения блока и сколько раз он менял владельца в прошлом.
Списки хостинговых ASN общедоступны и хорошо систематизированы. Поэтому скрыть, что datacenter-IP «пришёл из дата-центра», на практике невозможно.
Как формируется репутационный скоринг?
Одного ASN недостаточно; репутационный скоринг , используемый сайтами и поставщиками безопасности, представляет собой комбинацию множества сигналов. Области, на которые смотрит типичная модель скоринга:
Скоринг смотрит не на одну ось, а на комбинацию. Даже чистый datacenter-IP остаётся низким по оси ASN; поэтому на жёстко защищённых целях его одного недостаточно.
| Сигнал | Что измеряет | Причина низкой оценки |
|---|---|---|
| Тип ASN | Хостинг или абонентская сеть | Принадлежность к известному облачному провайдеру |
| История чёрных списков | Записи о спаме, атаках, злоупотреблениях | Тот же IP уже фигурировал в жалобах |
| Географическая согласованность | Согласуется ли страна IP с остальными сигналами | IP — Германия, язык — турецкий, часовой пояс — США |
| Плотность блока | Число запросов из одного блока | Когда весь блок /24 одновременно шлёт запросы |
| Паттерн трафика | Схожесть с поведением человека | Запросы с фиксированным интервалом и нулевым движением мыши |
| Открытые порты | Есть ли на IP открытый порт прокси | Появление в публичных сканах прокси |
Почему один и тот же IP работает на одном сайте и не работает на другом?
Потому что репутация не абсолютна , а контекстуальна. Каждый сайт задаёт собственный порог:
Новостные сайты и блоги
Как правило, без защиты либо только с базовым ограничением скорости. Datacenter-IP работают без проблем.
E-commerce и маркетплейсы
Средний уровень защиты; datacenter-IP часто получают CAPTCHA. ISP-прокси чаще всего оказывается достаточно.
Поисковые системы
При интенсивных запросах ведёт себя агрессивно. Residential-пул и низкая частота запросов.
Социальные платформы
Самая строгая группа. В операциях с аккаунтами приемлемый результат чаще всего дают только мобильный прокси приемлемый результат.
Эта градация лежит в основе описанной в в статье о пулах стратегии «сначала попробуй дешёвый источник, при необходимости поднимайся выше».
Как самостоятельно проверить репутацию IP?
Точный «скор» вы не увидите — модель каждого провайдера закрыта. Но можно смотреть на косвенные признаки:
Самый быстрый и самый реалистичный тест — сама цель. Публичные репутационные сервисы дают ориентир, но не воспроизводят решение цели.
Какой стране и какому провайдеру принадлежит, по внешним признакам, ваш выходной IP, вы можете посмотреть на странице Мой IP-адрес , а живость адреса и уровень анонимности — в инструменте проверки прокси .
Эффект подсети: сосед связывает вас
Репутация чаще всего рассчитывается не на уровне отдельного IP, а на уровне блока . Если из 256 адресов одного /24 блока несколько использовались во вред, подозрительным может считаться весь блок. Это самый большой скрытый риск использования общих прокси.
В дешёвых datacenter-пакетах сотни IP приходят из одного блока. Если блок заблокируют, весь ваш пул одновременно станет непригодным. Поэтому вопрос «сколько блоков» так же важен, как и вопрос «сколько IP».
Как измерять разнообразие подсетей и почему это важно, мы подробно разбираем в отдельной статье .
Можно ли изменить ASN?
Нет — ASN привязан к выделению IP-блока и не может быть изменён пользователем. «Выдать datacenter-IP за резидентный» технически невозможно. Единственное, что вы можете сделать, — использовать IP, который действительно выходит из другого ASN.
Поэтому разница между типами прокси — это не маркетинг, а разница в инфраструктуре:
| Тип | Источник ASN | Типичное доверие | Стоимость |
|---|---|---|---|
| Datacenter | Хостинг-провайдер | Низкая | Самая низкая |
| ISP | Реальный ISP, размещается в дата-центре | Высокая | Средне |
| Residential | ISP домашних абонентов | Очень высокая | Высокая (с оплатой за GB) |
| Мобильные | Оператор GSM | Максимальная | Максимальная |
Обратите внимание на любопытное положение ISP-прокси: физически он стоит в дата-центре, но его IP-блок зарегистрирован на реального интернет-провайдера. Это сочетает скорость datacenter с доверием резидентных прокси. Подробнее — в нашем сравнении ISP и резидентных прокси смотрите.
Сохранение репутации: управление поведением
Хороший IP можно «сжечь» неправильным использованием. Чтобы сохранить репутацию:
Сжечь репутацию IP — дело минут, восстановить — дней. Поэтому соблюдать ограничения скорости экономичнее, чем наращивать пул.
Резюме
ASN — это удостоверение личности IP-адреса, и изменить его нельзя. Сайты формируют репутационный скоринг, глядя сначала на тип ASN, затем на историю, плотность блока и поведенческий паттерн. Datacenter-IP быстры и дёшевы, но по оси ASN изначально в невыгодном положении; резидентные и мобильные источники устраняют этот недостаток. Правильный выбор — построить пул, выстроенный по уровням в соответствии со степенью защиты цели. Чтобы протестировать ваши адреса — проверка proxy, для географической проверки — Мой IP-адрес вы можете воспользоваться нашими инструментами.