Поскольку резидентные прокси тарифицируются за ГБ, стоимость прямо пропорциональна скачанным байтам . Хорошая новость: в типичной операции большая часть скачиваемых данных не нужна. При правильных настройках можно собирать те же данные и сократить счёт вдвое, а иногда и втрое.
В этой статье мы перечисляем десять применимых методов вместе с их предполагаемым эффектом.
Сначала измерьте: на что вы тратите?
В таком распределении действительно нужная часть составляет одну восьмую от общего объёма. Вся оптимизация сводится к повышению этой доли.
1. Фильтрация ресурсов (самый большой выигрыш)
Если вы используете браузер, отменяйте изображения, медиа, шрифты и файлы стилей на сетевом уровне. Заблокированный запрос вообще не доходит до прокси и потому не попадает в счётчик. Типичный выигрыш: %55–70.
2. Простой HTTP вместо браузера
Если данные есть в исходном HTML или в ответе XHR, браузер вообще не нужен. Найти эндпоинт, возвращающий JSON, во вкладке «Сеть» в десятки раз дешевле, чем загружать страницу целиком. Типичный выигрыш: %70–90.
Откройте вкладку «Сеть» и перезагрузите страницу; найти запрос, который несёт нужные данные, чаще всего занимает несколько минут и экономит расходы на месяцы вперёд.
3. Использование многоуровневого пула
Не каждая цель требует резидентных прокси. Сначала пробуйте дешёвый ресурс, при неудаче повышайте уровень:
| Уровень | Источник | Порядок попыток | Относительная стоимость |
|---|---|---|---|
| 1 | Прямое подключение | Первая попытка | Ноль |
| 2 | Datacenter | После 403 | Очень низкий |
| 3 | ISP | Если снова 403 | Средне |
| 4 | Residential | Крайняя мера | Высокая |
Типичный выигрыш: %30–50. Если большая часть вашего списка целей несложная, выигрыш будет ещё больше.
4. Повышайте долю успешных запросов
Каждый неудачный запрос также расходует трафик. Работа с долей успеха 70% означает примерно на 35% больше трафика по сравнению с 95%. Самый эффективный способ повысить успешность — снизить скорость.
Общий трафик, необходимый для сбора тех же данных, быстро растёт по мере снижения доли успешных запросов. Замедлиться чаще всего означает удешевить.
5. Используйте кэш
Если вы загружаете одну и ту же страницу в течение дня несколько раз, добавьте локальный слой кэширования. Для неизменяющихся страниц использование условных запросов (If-Modified-Since) с ответом 304 расходует почти нулевой трафик. Типичный выигрыш: %10–25.
6. Сохраняйте сжатие
Убедитесь, что в ваших запросах присутствует заголовок Accept-Encoding: gzip, br . Удаление этой строки при ручной настройке заголовков — распространённая ошибка, дающая разницу в 65–80% на текстовом контенте.
7. Сократите лишнюю ротацию
Каждый новый IP означает новое TCP- и TLS-рукопожатие. Не меняйте IP после успешных запросов; переиспользуйте соединение. Подробнее см. нашей статье о настройках ротации . Типичный выигрыш: %5–12.
8. Укорачивайте цепочки редиректов
Каждый 301/302 — это дополнительный круг запроса. Узнать конечные URL и обращаться к ним напрямую даёт заметную экономию на длинных цепочках. Кроме того, использование http:// вместо https:// напрямую полностью устраняет один редирект.
9. Настройте оповещения о квоте
Автоматические уровни предотвращают ситуацию, когда квота заканчивается в середине месяца и вся работа останавливается. Настройте пороги под свой профиль потребления.
10. Выбирайте правильный продукт
Для задач большого объёма и длительного характера вместо резидентных прокси с тарификацией по ГБ гораздо экономичнее могут быть статические IP с безлимитным трафиком . При операции, генерирующей более 200 ГБ трафика в месяц, эта разница достигает драматических масштабов.
Оцените свой месячный трафик и сравните обе модели по цене. Метод расчёта в статье о пропускной способности — там всё по шагам.
Совокупный эффект
Методы не конфликтуют, а дополняют друг друга. В примере сценария затраты снижены примерно до одной девятой от исходных; реальный выигрыш зависит от ваших целей.
Резюме
Стоимость резидентных прокси — в значительной степени управляемая статья расходов. Сначала измерьте, затем применяйте по порядку: фильтрация ресурсов, отказ от браузера, многоуровневый пул, рост доли успешных запросов, кэш, сжатие, дисциплина ротации и защита квоты. В задачах большого объёма пересмотр модели продукта сам по себе может дать наибольшую экономию. Варианты пакетов — residential proxy и ISP-прокси наших страницах.