Dogpile-Proxy im Einsatz: die Wahl des Exits bei zusammengefuehrten Ergebnissen

Dogpile ist eine der seit Langem betriebenen Metasuchmaschinen. Sie nimmt Ihre Abfrage entgegen, leitet sie an mehrere Suchanbieter weiter, dedupliziert die zurueckgelieferten Listen und praesentiert sie als eine einzige Ergebnisseite. Sie betreibt keinen eigenen Crawler und indexiert das Web nicht selbst.

Diese Architektur hat eine wichtige Konsequenz fuer den Proxy-Einsatz. Die Seite, die Ihre Exit-Adresse sieht, ist der Server von Dogpile selbst; die Quellanbieter, an die die Abfrage weitergeleitet wird, sehen nicht Sie, sondern diesen Server. Die Wirkung eines Exit-Wechsels ist damit indirekter als bei einer Suchmaschine mit eigenem Index.

Die folgenden Abschnitte erlaeutern, wo diese Indirektheit sichtbar wird, welche Einstellungen gemeinsam mit dem Exit geaendert werden muessen und an welchem Punkt die Einrichtung zu ueberpruefen ist.

In wessen Namen geht die Anfrage bei einer Metasuchmaschine hinaus?

Die Kette besteht aus vier Schritten. Ihr Browser sendet die Abfrage an den Dogpile-Server; in diesem ersten Schritt ist die Quelle, die die Gegenseite sieht, Ihre Exit-Adresse. Verwenden Sie einen Proxy, erscheint hier die Adresse des Proxy-Servers, und die Region, aus der die Anfrage stammt, wird entsprechend interpretiert.

Im zweiten Schritt wird dieselbe Abfrage an die Quellanbieter weitergeleitet. Diese Weiterleitung geht von der eigenen Infrastruktur von Dogpile aus. Aus Sicht der Quellmaschine stammt die Anfrage nicht von Ihnen, sondern von einem Suchdienst. Die unmittelbare Folge: Die regionale Personalisierung der Quellmaschine richtet sich nicht nach Ihrem Exit, sondern nach dem Standort dieser Infrastruktur.

Der dritte Schritt ist die Zusammenfuehrung. Kommt derselbe Link in mehreren Quellen vor, wird er dedupliziert, die Reihenfolge der Liste wird neu aufgebaut und die Ergebnisse werden in einem Fluss praesentiert. Im vierten Schritt wird die Seite gerendert; Tabs, der Link zur naechsten Seite und Vorschlagsboxen erzeugen eigene Anfragen.

Diese Kette erklaert, warum sich zwei Listen von zwei verschiedenen Exits staerker aehneln, als Sie erwarten wuerden. Wenn Sie Unterschiede sehen wollen, lohnt der Blick nicht auf die Hauptliste, sondern auf regionsabhaengige Bloecke und die Standardwerte der Oberflaeche.

An welcher Stelle der Kette setzt der Proxy an?

Der Proxy veraendert lediglich den Traeger des ersten Schritts. Bei einem HTTPS-Ziel wird zunaechst mit CONNECT ein Tunnel geoeffnet, anschliessend erfolgt der TLS-Handshake Ende zu Ende; der Proxy transportiert verschluesselte Bytes und kann den Abfragetext nicht sehen (CONNECT und HTTPS-Tunneling). Sichtbar ist fuer ihn nur, mit welcher Domain Sie sich verbinden.

Alles nach dem zweiten Schritt liegt vollstaendig ausserhalb dieses Bereichs. Eine Hypothese wie "aus diesem Land sortiert die Quellmaschine anders" laesst sich deshalb ueber diese Oberflaeche nicht pruefen; das muessen Sie direkt auf der Seite der jeweiligen Maschine tun. Ein Grossteil der Verwirrung entsteht daraus, dass diese beiden Ebenen vermischt werden.

Wie verhalten sich Operatoren in zusammengefuehrten Ergebnissen?

Erweiterte Suchoperatoren haben bei Suchmaschinen mit eigenem Index ein dokumentiertes, vorhersehbares Verhalten. Bei einer Metasuchmaschine dagegen wird der Operator als Teil des Textes an die Quellen weitergegeben, und jede Quelle interpretiert ihn nach eigenen Regeln. Dass derselbe Operator in zwei Quellen dasselbe Ergebnis liefert, ist nicht garantiert.

Praktische Folge: Testen Sie den Operator, bevor Sie ihn einsetzen. Formulieren Sie eine kleine Kontrollabfrage mit einer bekannten Domain und pruefen Sie, ob die zurueckgelieferte Liste tatsaechlich eingeschraenkt wird. Ist das nicht der Fall, wurde der Operator moeglicherweise wie reiner Text behandelt und Ihre Ergebnisse sind breiter als angenommen.

Der Proxy beeinflusst das Operatorverhalten nicht; dies haengt ausschliesslich vom Parsing der Abfrage ab. Dennoch ist es bei einem regionalen Vergleich nuetzlich, zwei Saetze mit und ohne Operator zu erheben: Wird der Operator in einer Quelle ignoriert, fuehren Sie den Unterschied zwischen zwei Regionen nicht faelschlich darauf zurueck.

Bei langen natuerlichsprachlichen Saetzen ist die Lage etwas komplizierter. Wird eine solche Eingabe an die Quellen weitergereicht, kann jeder Anbieter andere Woerter gewichten; in der zusammengefuehrten Liste zeigt sich das als Nebeneinander scheinbar unzusammenhaengender Ergebnisse. Die Abfrage zu kuerzen und unterscheidungskraeftige Begriffe nach vorn zu stellen, verringert die Streuung in der Liste meist.

Der Unterschied zwischen einer Suchmaschine mit eigenem Index und einer Metasuchmaschine

Der Unterschied zwischen beiden Modellen ist nicht bloss ein technisches Detail; er bestimmt Ihre Messmethode. Bei einer Suchmaschine mit eigenem Crawler gibt es eine einzige Instanz, die das Ranking erzeugt, die Signale werden aus einer Hand bewertet, und die regionale Personalisierung richtet sich direkt danach, woher die Anfrage kommt.

Im Metasuch-Modell entsteht das Ranking dagegen auf einer hoeheren Ebene durch die Mischung der eingehenden Listen. Dass ein Link oben erscheint, kann nicht nur daran liegen, dass eine einzelne Quelle ihn oben anzeigt, sondern auch daran, dass er in mehreren Quellen vorkommt. Fuer Forschende, die die blinden Flecken einer einzelnen Maschine sehen wollen, ist das ein Vorteil; wer nach einem Ranking-Signal sucht, erlebt es als Rauschen.

Es gibt auch Gemeinsamkeiten: In beiden Modellen ist die Abfragesprache aehnlich, die Ergebniskarte traegt aehnliche Felder und die Nutzererfahrung beruht auf denselben Gewohnheiten. Auch auf der Proxy-Seite gilt eine gemeinsame Regel - der Exit bestimmt nur die erste Verbindungsstrecke.

Halten Sie in Ihrer vergleichenden Untersuchung von Anfang an fest, welches Modell Sie messen. Wenn Sie beide Modelle im selben Bericht nebeneinanderstellen, ist es bei der Metasuchmaschine belastbarer, nicht die Positionsnummer, sondern die Schnittmenge der Domain-Menge zu berichten.

Die zweite Folge dieser Unterscheidung betrifft die Abdeckung. Eine Metasuchmaschine ist bei Recherchen nuetzlich, weil sie Quellen an die Oberflaeche bringen kann, die ein einzelner Index uebersieht; dass derselbe Link in verschiedenen Quellen mit unterschiedlichen Titeln und Snippets erscheint, bedeutet jedoch, dass die Deduplizierung nicht immer fehlerfrei ist. Legen Sie beim Berichten nicht den Titel, sondern die normalisierte Adresse zugrunde.

Der dritte Punkt ist das Timing. Die Zusammenfuehrung ist abgeschlossen, sobald die langsamste Quelle geantwortet hat; kommt zusaetzlich ein Proxy hinzu, kann sich der Seitenaufbau etwas weiter verlaengern. Das beeinflusst nicht die Qualitaet des Ergebnisses, sondern nur die Wartezeit, und sollte bei der Planung der Messdurchlaeufe beruecksichtigt werden.