Reddit suit une voie différente des autres plateformes en matière d'accès aux données : en ajoutant .json à la fin de nombreuses pages, vous obtenez des données structurées. C'est une grande facilité pour ceux qui font de la recherche, mais les limites de débit sont appliquées strictement et par IP.
Voies d'accès
L'ordre, de haut en bas, correspond à la priorité de préférence. Les endpoints JSON constituent un compromis pratique pour les recherches à faible volume.
Limite de débit et taille du pool
Pour les requêtes non authentifiées, la limite est assez basse. Le moyen d'augmenter le volume n'est pas d'accélérer le rythme des requêtes, mais de répartir les requêtes sur différentes IP. Reddit surveille toutefois aussi les plages datacenter ; un pool residential a une durée de vie plus longue.
Le gestionnaire de pool conserve l'heure de dernière utilisation de chaque IP et ne resélectionne pas la même IP avant un certain intervalle.
Le User-Agent compte
Reddit restreint rapidement les clients qui n'envoient pas de User-Agent identifiable. La documentation officielle recommande une chaîne contenant le nom de l'application et un moyen de contact. Cela montre que vous êtes un client respectueux des règles et améliore les limites qui vous sont appliquées.
Opérations sur les comptes
Les comptes Reddit sont évalués sur la base du « karma » et de l'ancienneté du compte. Les nouveaux comptes ne peuvent pas publier dans de nombreuses communautés. L'usage d'un proxy ne facilite pas la création de compte ; au contraire, les comptes créés depuis des plages VPN/proxy connues font l'objet de demandes de vérification.
Un client qui respecte les règles fonctionne bien plus longtemps sans être bloqué. Ce n'est pas une astuce technique, mais une question de pérennité.
Pour l'architecture générale de collecte de données proxy web scraping notre page, pour tester une adresse Vérification de proxy .
Pour une logique de limite de débit similaire X (Twitter) notre article, pour l'architecture de pool stratégie de rotation notre article et residential proxy consultez nos offres.