Пакеты резидентных и мобильных прокси чаще всего тарифицируются За GB . Это превращает вопрос «хватит ли 5 GB?» напрямую в вопрос бюджета. К сожалению, большинство пользователей оценивает расход намного ниже реального и в середине месяца обнаруживает, что квота закончилась.
В этой статье мы разбираем, из чего в действительности складывается расход GB, какие статьи обычно упускают из виду и какими измеримыми способами расход можно снизить.
Что именно считает счётчик?
Провайдеры обычно считают суммарные байты , прошедшие через прокси: и запрос (upload), и ответ (download). Сюда входит:
HTML, который вам действительно нужен на странице, чаще всего составляет десятую часть общего трафика. Вся экономия сводится к управлению этой долей.
Одни провайдеры считают только скачанные байты, другие — суммарный трафик. Если у вас задачи с преобладанием исходящего трафика (отправка файлов, большие POST-тела), это различие заметно меняет счёт. Уточните в договоре, что именно считается.
Пример реалистичного расчёта
Допустим, вы собираетесь ежедневно загружать 10 000 страниц товаров с маркетплейса. Стоимость трёх разных подходов совершенно различна:
| Подход | На страницу | В сутки | В месяц (30 дней) |
|---|---|---|---|
| Полная загрузка в браузере | ~2,2 MB | 22 GB | 660 GB |
| Браузер + блокировка изображений/медиа | ~0,6 MB | 6 GB | 180 GB |
| Простой HTTP-запрос (только HTML) | ~0,12 MB | 1,2 GB | 36 GB |
Разница — 18-кратная. Вы собираете те же данные, но стоимость совершенно разная. Поэтому первая оптимизация — это всегда «действительно ли мне нужен браузер?» .
Если во вкладке «Сеть» вы видите, что вызов XHR/fetch возвращает данные в готовом JSON, загружать страницу целиком не потребуется.
Если браузер обязателен: блокировка ресурсов
Если вы работаете с Playwright, Puppeteer или Selenium, блокировка лишних ресурсов на сетевом уровне позволяет снизить расход на 60–80%:
Каждый заблокированный запрос вообще не доходит до прокси, поэтому и в счётчик не попадает. Вёрстка страницы ломается, но текстовый контент чаще всего приходит полностью.
Практические настройки автоматизации браузера смотрите в нашей статье прокси для автоматизации и в разделе прокси для веб-скрапинга .
Сжатие: бесплатная экономия 70%
Серверы могут отдавать HTML, CSS и JSON, сжимая их с помощью gzip или Brotli, — но только если клиент сообщит, что хочет этого. Добавление к запросу заголовка Accept-Encoding: gzip, br обычно даёт экономию 65–80% на текстовом контенте.
Большинство HTTP-библиотек отправляет этот заголовок по умолчанию, однако при ручной настройке заголовков его очень легко случайно удалить. Если вы кастомизируете список заголовков, обязательно сохраните Accept-Encoding.
Упускаемые из виду статьи расхода
Статьи, о которых обычно забывают в расчётах, хотя в сумме они занимают заметное место:
- Редиректы: Каждый 301/302 — это лишний круг. Длинные цепочки редиректов сжигают байты и время.
- Неудачные запросы: Запрос, ушедший в таймаут, тоже расходует данные. 20% неудач означают увеличение счёта на 20%.
- Повторные попытки: Автоматическая логика retry может скачать одну и ту же страницу трижды.
- TLS-рукопожатие: Каждое новое соединение добавляет ~5–7 KB накладных расходов. Использование пула соединений заметно это снижает.
- Проверки состояния: Проверка, выполняемая раз в минуту, — это тысячи запросов в месяц.
- Страницы CAPTCHA: Заблокированные запросы тоже скачиваются и учитываются.
Заблокированный запрос не «бесплатен»: рукопожатие, страница блокировки и повторная попытка вместе дают стоимость двух полных страниц. Повышение доли успешных запросов — самый действенный способ экономии.
Не оптимизируйте без измерений
Измеряйте вместо того, чтобы гадать. В автоматизации браузера суммирование размеров ответов — это несколько строк:
Среднее по нескольким сотням запросов достаточно точно для месячной проекции. После изменений, направленных на экономию, повторите то же измерение и подтвердите разницу.
Подходящий тип прокси в зависимости от типа трафика
Если пропускная способность дорога, пропускать каждый запрос через дорогой пул бессмысленно. Выбор источника по типу трафика заметно снижает затраты:
| Тип задачи | Типичный объём | Подходящий источник | Почему |
|---|---|---|---|
| Сбор статических страниц | Высокая | Datacenter | Самая низкая стоимость GB, высокая скорость |
| Защищённый маркетплейс | Средне | Residential | Высокий скоринг доверия, мало блокировок |
| Операции с аккаунтами в длинных сессиях | Низкая | ISP | Статический IP, варианты с безлимитным трафиком |
| Самые строгие платформы | Очень низкий | Мобильные | Наивысшее доверие, дорогие GB |
Пакеты со статическим IP и безлимитным трафиком могут быть намного экономичнее пакетов с оплатой за GB в высокообъёмных и длительных задачах. Для принятия решения нашем сравнении ISP и резидентных прокси можно посмотреть.
Настройте уведомление до исчерпания квоты
Когда квота заканчивается, операция останавливается; последствия этого могут быть хуже, чем неполнота данных. Простой защитный слой:
- Задайте цель по дневному расходу (месячная квота ÷ 30).
- Считайте скачанные байты на своей стороне и предупреждайте при приближении к порогу.
- На 80% автоматически переключайтесь на дешёвый пул, на 95% запускайте только критичные задачи.
- Если провайдер предоставляет API, синхронизируйте реальную квоту несколько раз в день.
Резюме
Расход GB определяется чаще всего не тем, «сколько страниц я загрузил», а тем, «что я скачал на каждой странице». Блокировка изображений и трекинговых скриптов, сохранение сжатия, отказ от лишнего использования браузера и повышение доли успешных запросов — эти четыре меры вместе уменьшают счёт типичной операции втрое. Если перед тем, как начать измерять расход, вы хотите прояснить, какой тип прокси подходит вашей задаче, наши страницы локаций и продуктов .