Reddit geht beim Datenzugriff einen anderen Weg als andere Plattformen: Wenn Sie an viele Seiten .json anhängen, erhalten Sie strukturierte Daten. Für Forschende ist das eine große Erleichterung — die Rate Limits werden jedoch streng durchgesetzt und gelten pro IP.
Zugriffswege
Die Reihenfolge von oben nach unten entspricht der Präferenz. JSON-Endpoints sind für Recherchen mit geringem Volumen ein praktischer Mittelweg.
Rate Limit und Pool-Größe
Bei Anfragen ohne Authentifizierung ist das Limit recht niedrig. Der Weg zu mehr Volumen führt nicht über eine höhere Anfragerate, sondern darüber, die Anfragen auf verschiedene IPs zu verteilen. Allerdings überwacht Reddit auch Datacenter-Bereiche; ein Residential-Pool ist langlebiger.
Der Pool-Manager speichert den letzten Verwendungszeitpunkt jeder IP und wählt dieselbe IP nicht vor Ablauf eines bestimmten Intervalls erneut aus.
Der User-Agent ist entscheidend
Reddit drosselt Clients, die keinen aussagekräftigen User-Agent senden, sehr schnell. Die offizielle Dokumentation empfiehlt eine Zeichenfolge mit Anwendungsname und Kontaktinformation. Damit zeigen Sie, dass Sie ein regelkonformer Client sind, und die Limits verbessern sich.
Konto-Vorgänge
Reddit-Konten werden anhand von "Karma" und Kontoalter bewertet. Neue Konten können in vielen Communitys nichts posten. Der Einsatz von Proxys erleichtert die Kontoeröffnung nicht; im Gegenteil: Konten, die aus bekannten VPN-/Proxy-Bereichen eröffnet werden, erfordern eine Verifizierung.
Ein regelkonformer Client läuft sehr viel länger, ohne blockiert zu werden. Das ist kein technischer Trick, sondern eine Frage der Nachhaltigkeit.
Zur allgemeinen Architektur der Datenerfassung finden Sie Web Scraping Proxy unsere Seite, für den Adresstest Proxy-Check verwenden.
Zur ähnlichen Logik von Rate Limits lesen Sie X (Twitter) unseren Beitrag, zur Pool-Architektur Rotationsstrategie unseren Beitrag und Residential Proxy werfen Sie einen Blick auf die Pakete.