Il monitoraggio della disponibilità è un problema più difficile del monitoraggio dei prezzi: il prezzo è scritto chiaramente sulla pagina, mentre lo stock spesso appare solo in modo indiretto, come "esaurito" o "ultimi X pezzi". Per questo il monitoraggio dello stock si basa su campionamento frequente e rilevamento delle variazioni .
La logica del rilevamento delle variazioni
Invece di conservare tutti i dati a ogni ciclo, registrare soltanto la differenza di hash riduce il costo di archiviazione a un decimo.
Frequenza di campionamento e costi
All'aumentare della frequenza crescono linearmente sia il numero di richieste sia il consumo in GB. Una pagina prodotto pesa in media tra 600 KB e 1,5 MB (immagini incluse). Disattivare il download delle immagini riduce da solo il traffico dell'80%.
Disattivare il download delle immagini (Accept intestazione e filtro sulle risorse) è la voce di risparmio maggiore nei pacchetti a consumo in GB.
Il profilo IP corretto
Per monitorare il mercato turco servono IP residential con uscita in TR; gli indirizzi esteri portano contenuti diversi e verifiche più frequenti. La dimensione del pool si stabilisce in base alla concorrenza:
Questo volume è coperto senza problemi da un pacchetto residential di fascia media. Prima di aumentare la concorrenza, misura il tasso di successo.
Impostazione degli avvisi
- Stock disponibile: passaggio da "esaurito" a "aggiungi al carrello" — il segnale più prezioso.
- Prezzo sceso: discesa sotto la soglia che hai definito.
- Nuovo venditore: aggiunta di un nuovo concorrente sul prodotto.
- Struttura della pagina cambiata: errore di parsing — il segnale di manutenzione del monitoraggio.
L'ultimo punto è quello che la maggior parte dei team trascura: quando il sito di destinazione cambia design, inizi silenziosamente a raccogliere dati vuoti. Imposta anche il fallimento del parsing come un avviso.
Monitorare informazioni di prodotto pubbliche a fini di analisi commerciale è una pratica diffusa; resta comunque necessario rispettare i termini d'uso del sito di destinazione e le regole robots.txt . Se come venditore disponi di integrazioni ufficiali, usa prima quelle.
Per l'infrastruttura proxy per web scraping, per l'uscita dalla Turchia dai un'occhiata alle nostre pagine proxy Turchia ; la verifica degli indirizzi Verifica Proxy richiede pochi secondi con