Le suivi des stocks est un problème plus difficile que le suivi des prix : le prix est indiqué explicitement sur la page, tandis que le stock n'apparaît le plus souvent qu'indirectement, sous la forme « épuisé » ou « plus que X articles ». Le suivi des stocks repose donc sur un échantillonnage fréquent et la détection des changements .
La logique de détection des changements
Plutôt que de conserver toutes les données à chaque passage, n'enregistrer que l'écart de hash réduit le coût de stockage d'un facteur dix.
Fréquence d'échantillonnage et coût
Plus la fréquence augmente, plus le nombre de requêtes et la consommation en GB croissent linéairement. Une page produit pèse en moyenne entre 600 KB et 1,5 MB (images comprises). Désactiver le téléchargement des images réduit à lui seul le trafic de 80 %.
Désactiver le téléchargement des images (Accept en-tête et filtre de ressources) constitue le plus gros poste d'économie sur les offres facturées au GB.
Le bon profil d'IP
Pour surveiller le marché turc, il faut une IP residential sortant en TR ; les adresses étrangères entraînent un contenu différent et des vérifications plus fréquentes. La taille du pool se détermine en fonction de votre concurrence :
Ce volume est aisément couvert par une offre residential de taille moyenne. Mesurez le taux de réussite avant d'augmenter la concurrence.
Conception des alertes
- Stock réapprovisionné : passage de « épuisé » à « ajouter au panier » — le signal le plus précieux.
- Baisse de prix : passage sous le seuil que vous avez défini.
- Nouveau vendeur : arrivée d'un nouveau concurrent sur le produit.
- Structure de page modifiée : erreur de parsing — le signal de maintenance du moniteur.
Ce dernier point est celui que la plupart des équipes négligent : lorsque le site cible change de design, vous vous mettez à collecter silencieusement des données vides. Traitez l'échec de parsing lui aussi comme une alerte.
La surveillance d'informations produit publiques à des fins d'analyse commerciale est courante ; il n'en reste pas moins nécessaire de respecter les conditions d'utilisation du site cible et les règles robots.txt . Si vous disposez d'intégrations officielles en tant que vendeur, utilisez-les en priorité.
Pour l'infrastructure proxy web scraping, pour une sortie en Turquie proxy Turquie consultez nos pages ; la vérification des adresses Vérification de proxy ne prend que quelques secondes avec