Reddit segue una strada diversa dalle altre piattaforme per quanto riguarda l'accesso ai dati: aggiungendo .json alla fine di molte pagine si ottengono dati strutturati. È una grande comodità per chi fa ricerca, ma i rate limit sono applicati in modo rigido e su base IP.
Vie di accesso
L'ordine dall'alto verso il basso riflette la priorità di scelta. Gli endpoint JSON sono una via di mezzo pratica per ricerche a basso volume.
Rate limit e dimensione del pool
Per le richieste non autenticate il limite è piuttosto basso. Il modo per aumentare il volume non è alzare la frequenza delle richieste, ma distribuire le richieste su IP diversi. Tuttavia Reddit monitora anche gli intervalli datacenter: un pool residential ha vita più lunga.
Il gestore del pool memorizza l'ultimo utilizzo di ogni IP e non riseleziona lo stesso IP prima di un intervallo definito.
L'User-Agent conta
Reddit limita rapidamente i client che non inviano un User-Agent identificativo. La documentazione ufficiale consiglia una stringa che includa il nome dell'applicazione e un contatto. Questo dimostra che sei un client conforme alle regole e migliora i limiti applicati.
Operazioni sugli account
Gli account Reddit vengono valutati in base al "karma" e all'anzianità. I nuovi account non possono pubblicare in molte community. L'uso di un proxy non facilita la creazione di account; al contrario, gli account aperti da intervalli VPN/proxy noti richiedono verifiche.
Un client che rispetta le regole resta operativo molto più a lungo senza essere bloccato. Non è un trucco tecnico, è una questione di sostenibilità.
Per l'architettura generale di raccolta dati proxy per web scraping la nostra pagina, per il test degli indirizzi Verifica Proxy del nostro sito.
Per una logica di rate limit simile X (Twitter) il nostro articolo, per l'architettura del pool strategia di rotazione il nostro articolo e proxy residenziale dai un'occhiata ai pacchetti.