Technisch betrachtet ist ein CDN ein Reverse-Proxy-Netzwerk. Also ja, ein CDN ist eine Art Proxy. Seine Richtung und sein Zweck sind jedoch genau das Gegenteil dessen, was wir umgangssprachlich "Proxy" nennen.
Unterschied in der Richtung
Ein Forward Proxy verbirgt den Nutzer und spricht in seinem Namen. Ein CDN hingegen schützt den Server, beschleunigt ihn und antwortet in seinem Namen.
Vergleich
Dieselbe Technologie (Zwischenserver) bedient zwei unterschiedliche Seiten. Deshalb ist die Frage "Proxy oder CDN" meist die falsche Frage.
Zu den technischen Details der Unterscheidung zwischen Forward und Reverse Unterschied zwischen Forward und Reverse Proxy .
Wenn Sie beim Scraping auf ein CDN treffen
Wenn Sie Daten von einer Website sammeln, haben Sie es fast immer nicht mit dem Ursprungsserver, sondern mit einem CDN zu tun. Das wirkt sich unmittelbar auf das Verhalten aus:
Das Bot-Management des CDN bewertet IP-Reputation und Verhaltensmuster. Deshalb sind die Wahl des IP-Typs und die Anfragegeschwindigkeit bei Websites hinter einem CDN entscheidend.
Versuchen Sie nicht, den CDN-Cache zu "umgehen" — das Anhängen zufälliger Query-Parameter löst meist die Bot-Erkennung aus. Wenn Sie aktuelle Daten benötigen, ist es deutlich effizienter, nach der offiziellen API der Website zu suchen.
Geo-Routing
Ein CDN leitet den Nutzer an den nächstgelegenen Edge-Knoten weiter und liefert in manchen Fällen regionsspezifische Inhalte aus. Das bedeutet, dass Ihr Proxy-Exit-Standort das Ergebnis unmittelbar beeinflusst:
Das ist ein entscheidendes Detail für Unternehmen, die regionale Preise und Aktionen verfolgen. Zu den Standortoptionen unsere Standortseite lesen Sie nach.
Wenn Sie auf Ihrer eigenen Website ein CDN einsetzen
Die andere Seite der Medaille: Steht Ihre eigene Website hinter einem CDN, müssen Sie die vom CDN hinzugefügten Header auslesen, um die echte Besucher-IP zu erhalten. Vertrauen Sie diesen Headern nur, wenn Sie verifiziert haben, dass sie von Ihrem CDN stammen — andernfalls akzeptieren Sie gefälschte Werte. Das Thema in unserem Beitrag zu Headern .
Zusammenfassung
Ein CDN ist technisch gesehen ein Reverse-Proxy-Netzwerk; es nutzt dieselbe Grundtechnologie wie ein Forward Proxy, nur in entgegengesetzter Richtung. Beim Scraping haben Sie es fast immer mit einem CDN zu tun, was sich in Bot-Schutz, Geo-Routing und Cache-Verhalten äußert. Aus der richtigen Region nach außen zu gehen und die Anfragegeschwindigkeit moderat zu halten, sind die beiden Grundvoraussetzungen für den Erfolg bei Websites hinter einem CDN. Zum passenden Proxy-Typ Residential oder ISP Proxy ansehen.