Amazon показывает один и тот же товар на разных рынках с разной ценой, разными остатками и разными продавцами. Для продавца это невидимая половина конкуренции: кто на каком рынке получил Buy Box , вы увидите только при просмотре с IP этого рынка. Прокси здесь — не средство сокрытия, а инструмент измерения.
Данные, различающиеся от рынка к рынку
Зелёные ячейки означают «заметно меняется в зависимости от рынка». Смотреть с одного рынка и делать обобщения — путь к ошибке.
Выбор типа IP
Amazon использует на страницах товаров весьма продвинутый бот-детект. Datacenter-IP быстро перенаправляются на страницу «проверки на робота». В промышленном масштабе residential proxy на практике обязательны; однако пропускать каждый запрос через residential сильно раздувает затраты.
Такой сценарий обычно снижает потребление GB вдвое по сравнению с подходом «всё через residential».
Частота и шаблон запросов
Блокировку чаще всего вызывает не общее число запросов, а их шаблон: несколько запросов в секунду, всегда в одном порядке, без единой паузы. Шаблон, приближенный к поведению человека, позволяет обработать тот же объём за гораздо более длительный срок.
В обоих прогонах общее число запросов одинаково. Разница в том, что между запросами добавлена случайная задержка 0,8–3 секунды.
Согласованность региона и языка
Accept-LanguageПриведите заголовок в соответствие со страной IP — несоответствие вида «DE IP +tr-TR» заметно.- Настройте cookie с почтовым индексом в соответствии с целевым рынком; срок доставки и наличие зависят от него.
- Используйте отдельную сессию для каждого рынка; не смешивайте cookie.
Что можно собирать, а что нельзя?
Условия использования Amazon ограничивают автоматический доступ. Мониторинг общедоступной информации, такой как цены и наличие, для собственных товаров и конкурентного анализа — распространённая практика; однако сбор персональных данных, например данных клиентов или личности автора отзыва, может противоречить как условиям, так и нормам вроде KVKK . При росте масштаба рассмотрите официальные партнёрские программы и доступ через API.
Полную архитектуру мониторинга цен см. на прокси для сравнения цен нашей странице, а инфраструктуру сбора данных — на прокси для web scraping нашей странице. Прежде чем использовать свои адреса, Проверка прокси протестируйте их инструментом.