Die Bestandsüberwachung ist ein schwierigeres Problem als die Preisüberwachung: Der Preis steht deutlich auf der Seite, der Bestand dagegen meist nur indirekt in Form von "ausverkauft" oder "nur noch X Stück". Deshalb beruht Bestandsüberwachung auf häufigem Sampling und Änderungserkennung .
Die Logik der Änderungserkennung
Statt in jedem Durchlauf sämtliche Daten zu speichern, nur die Hash-Differenz festzuhalten, senkt die Speicherkosten auf ein Zehntel.
Sampling-Frequenz und Kosten
Mit steigender Frequenz nehmen sowohl die Zahl der Anfragen als auch der GB-Verbrauch linear zu. Eine Produktseite ist im Schnitt 600 KB–1,5 MB gross (inklusive Bilder). Schon das Deaktivieren des Bild-Downloads senkt den Traffic um 80 %.
Das Deaktivieren des Bild-Downloads (Accept Header und Ressourcenfilter) ist bei GB-basierten Paketen der grösste Einsparposten.
Das richtige IP-Profil
Für die Beobachtung des türkischen Marktes brauchen Sie Residential-IPs mit TR-Ausgang; ausländische Adressen liefern abweichende Inhalte und führen zu häufigeren Verifizierungen. Die Poolgrösse richtet sich nach Ihrer Parallelität:
Dieses Volumen lässt sich mit einem mittelgrossen Residential-Paket problemlos abdecken. Messen Sie die Erfolgsquote, bevor Sie die Parallelität erhöhen.
Aufbau der Benachrichtigungen
- Bestand verfügbar: Wechsel von "ausverkauft" zu "in den Warenkorb" – das wertvollste Signal.
- Preis gefallen: Unterschreiten der von Ihnen festgelegten Schwelle.
- Neuer Händler: Ein neuer Wettbewerber beim Produkt.
- Seitenstruktur geändert: Parse-Fehler – das Wartungssignal des Monitors.
Den letzten Punkt übersehen die meisten Teams: Ändert die Zielseite ihr Design, sammeln Sie stillschweigend leere Daten. Richten Sie auch für fehlgeschlagenes Parsing eine Benachrichtigung ein.
Die Beobachtung öffentlich zugänglicher Produktinformationen zu kommerziellen Analysezwecken ist verbreitet; dennoch müssen die Nutzungsbedingungen der Zielseite und die Regeln der robots.txt eingehalten werden. Wenn Sie als Händler über offizielle Integrationen verfügen, nutzen Sie zuerst diese.
Für die Infrastruktur Web Scraping Proxy, für den Ausgang in der Türkei werfen Sie einen Blick auf unsere Türkei Proxy Seiten; die Adressprüfung dauert mit Proxy-Check nur Sekunden.