Отслеживание наличия — задача более сложная, чем отслеживание цен: цена явно написана на странице, а наличие чаще всего видно лишь косвенно — в виде «нет в наличии» или «осталось X штук». Поэтому мониторинг наличия строится на частой выборке и выявлении изменений .
Логика выявления изменений
Вместо хранения всех данных на каждом проходе сохранять только разницу хешей — это снижает стоимость хранения в десять раз.
Частота выборки и стоимость
С ростом частоты линейно растёт и количество запросов, и потребление в ГБ. Страница товара в среднем занимает от 600 КБ до 1,5 МБ (вместе с изображениями). Отключение загрузки изображений само по себе снижает трафик на 80%.
Отключение загрузки изображений (Accept заголовок и фильтр ресурсов) — крупнейшая статья экономии в пакетах с тарификацией по GB.
Правильный профиль IP
Для мониторинга турецкого рынка нужны резидентные IP с выходом в TR; зарубежные адреса дают другой контент и более частые проверки. Размер пула определяется вашей параллельностью:
Такой объём без труда покрывается резидентным пакетом среднего размера. Прежде чем увеличивать параллельность, измерьте долю успешных запросов.
Схема уведомлений
- Товар появился в наличии: переход «нет в наличии» → «в корзину» — самый ценный сигнал.
- Цена снизилась: падение ниже заданного вами порога.
- Новый продавец: к товару добавился новый конкурент.
- Изменилась структура страницы: ошибка парсинга — сигнал о необходимости обслуживания монитора.
Последний пункт — то, что пропускает большинство команд: когда целевой сайт меняет вёрстку, вы незаметно для себя начинаете собирать пустые данные. Настройте уведомление и на сбой парсинга.
Отслеживание общедоступной информации о товарах в целях коммерческого анализа — распространённая практика; тем не менее необходимо соблюдать условия использования целевого сайта и правила robots.txt . Если у вас как у продавца есть официальные интеграции, сначала используйте их.
Что касается инфраструктуры — прокси для web scraping, а для выхода из Турции загляните на наши страницы Турецкий прокси ; проверка адреса занимает секунды с помощью Проверка прокси Отслеживание цен на Trendyol