Mojeek mit Proxy nutzen: Regionssignal, Session-Zustand und Anfragetempo

Auf Seiten zu Suchmaschinen wird die Proxy-Diskussion meist dadurch kompliziert, dass unklar ist, wer die Ergebnisse erzeugt. Viele Dienste beziehen ihre Ergebnismenge von einem Partner; Sie glauben, eine Seite zu messen, erfassen aber tatsaechlich das Verhalten eines zweiten Anbieters. Mojeek ist in dieser Hinsicht eine klarere Grundlage: Crawling, Indexierung und Ranking finden unter einem Dach statt.

Diese Klarheit vergroessert die Aufgabe des Proxys nicht, aber sie schaerft sie. Wenn sich Ihre Austrittsadresse aendert, betrifft das nicht das gesamte Ranking, sondern nur eine von wenigen Eingaben, die die Suchmaschine als regionalen Hinweis liest. Die uebrigen Eingaben – Oberflaechensprache, Laenderfilter auf der Einstellungsseite, die Anfrage selbst – bleiben auf Browser-Seite, und der Proxy beruehrt sie nicht.

Die folgenden Abschnitte erlaeutern diese Unterscheidung der Reihe nach: welche Schicht auf das Netzwerk blickt und welche auf Sie; welche davon beim Messen fixiert werden muss; und wie das Tempo bei wachsendem Umfang geplant wird.

Was veraendert ein Proxy bei einer Suchmaschine mit eigenem Index?

Eine Mojeek-Anfrage durchlaeuft drei getrennte Schichten. Ganz oben liegt die Anfrage- und Oberflaechenschicht: der eingegebene Begriff, die gewaehlte Sprache, der auf der Einstellungsseite markierte Laenderfilter. All das wird clientseitig gehalten und liegt ausserhalb des Sichtfelds des Proxys – ein Wechsel des Austritts setzt keine Praeferenz zurueck, denn die Praeferenz liegt im Speicher Ihres Browsers.

Die mittlere Schicht ist Index und Ranking. Der eigene Crawler der Suchmaschine hat Dokumente gesammelt, ausgewertet und in eine Reihenfolge gebracht. Diese Schicht wird nicht von Anfrage zu Anfrage personenbezogen neu aufgebaut; dieselbe Anfrage liefert unter denselben Bedingungen weitgehend dieselbe Dokumentenmenge. Wenn Sie sich fragen, warum ein Ergebnis weiter oben steht, ist nicht Ihre Proxy-Einstellung der Ort zum Nachsehen, sondern das Indexierungsverhalten dieser Schicht.

Die unterste Schicht ist Transport und Austritt. Die Anfrage wird ueber TCP aufgebaut, mit TLS verschluesselt, und die einzige serverseitig sichtbare Netzwerkidentitaet ist Ihre Austritts-IP-Adresse. Was die Suchmaschine daraus lesen kann, ist begrenzt: zu welchem autonomen System (ASN) die Adresse gehoert und in welchem Land sie ungefaehr registriert erscheint. Fuer die Funktionsweise der Klassifizierung ist der Beitrag zu ASN und IP-Reputation ein guter Einstieg.

Der praktische Nutzen dieser Trennung: Wenn Sie eine Veraenderung im Ergebnis sehen, fragen Sie zuerst, welche Schicht sich bewegt hat. Hat sich Ihre Praeferenz geaendert, wurde der Index aktualisiert, oder ist lediglich Ihr Austritt in ein anderes Land gewandert? Teams, die diese Frage nicht stellen, schreiben einen durch eine Browser-Praeferenz verursachten Unterschied dem Proxy zu und suchen die Loesung an der falschen Stelle.

Wie unterscheiden sich Austrittsland und Oberflaechensprache im Ranking?

Der regionale Effekt haengt nicht an einem einzigen Schalter; er ist die Resultante zweier unabhaengig voneinander wirkender Eingaben. Die erste ist der Hinweis auf Netzwerkseite: das Land, in dem Ihre Austrittsadresse registriert ist. Die zweite ist die explizite Praeferenz auf Anwendungsseite: Oberflaechensprache und Laenderfilter auf der Einstellungsseite. Zeigen beide nicht in dieselbe Richtung, entsteht ein Mischprofil, das ein echter Nutzer kaum erzeugt.

Ein konkretes Beispiel: Wenn Sie einen Austritt in Deutschland nutzen, die Oberflaeche aber auf Englisch belassen, sagt die Netzwerkschicht Deutschland, waehrend die Anwendungsschicht eine bestimmte Sprachpraeferenz meldet. Die zurueckgegebene Seite liegt irgendwo dazwischen und entspricht weder exakt dem, was ein Nutzer aus Deutschland sieht, noch dem, was ein Nutzer mit englischer Spracheinstellung sieht. Wenn Sie vergleichen, muessen Sie diesen Zwischenzustand protokollieren, sonst tragen Sie zwei Messungen in dieselbe Spalte ein.

Der richtige Aufbau besteht darin, beide Eingaben bewusst zu fixieren. Wenn Sie die Ergebnisoberflaeche eines Landes untersuchen moechten, nehmen Sie den Austritt aus diesem Land, stellen Sie die Oberflaechensprache auf die dort verbreitete Sprache und richten Sie auch den Laenderfilter in dieselbe Richtung aus. Fuer die Laenderliste die Proxy-Standorte Seite, fuer die TR-Ansicht den Austritt in der Tuerkei können Sie nachlesen.

Eine einzige Regel loest das Problem weitgehend: Aendern Sie in einer Serie nur eine Variable. Wenn Sie das Land wechseln, lassen Sie die Sprache unveraendert; wenn Sie die Sprache wechseln, lassen Sie den Austritt, wo er ist. Ein Unterschied aus einer Messung, in der zwei Variablen gemeinsam bewegt wurden, sagt nicht, von welcher Eingabe er stammt.

Den Browser-Zustand aus der Messung herausnehmen

Eine datenschutzorientierte Suchmaschine erstellt moeglicherweise kein kontobasiertes Profil von Ihnen; das bedeutet nicht, dass Ihre Messung sauber ist. Der groesste Teil des Zustands, der beeinflusst, wie die Seite ausgeliefert wird, liegt ohnehin in Ihrem Browser: zuvor gespeicherte Praeferenz-Cookies, von Erweiterungen eingeschleuste Regeln, ein Content-Blocker, der einzelne Bloecke ausblendet, Fensterbreite und Schriftskalierung.

Das Tueckischste an diesen Zustandsresten ist, dass sie unbemerkt mitwandern. Vergangene Woche haben Sie einen Laenderfilter markiert; wenn Sie diese Woche mit demselben Profil eine neue Serie beginnen, ist der Filter noch aktiv, und Sie halten ihn fuer einen Proxy-Unterschied. Ebenso zaehlen Sie die Ergebnisse zu niedrig, wenn eine Erweiterung einige Links auf der Seite ausblendet.

Die Loesung ist nicht kompliziert, verlangt aber Disziplin. Legen Sie fuer Messungen ein eigenes Browser-Profil an; in diesem Profil sollten nur die Proxy-Definition und die noetigen Mindest-Erweiterungen vorhanden sein. Beginnen Sie jede Serie mit geleertem Speicher und aendern Sie bis zum Ende der Serie keine Praeferenz. Halten Sie keinen angemeldeten Tab im selben Profil offen – ein Tab mit aktiver Session erzeugt, solange er geoeffnet ist, weiterhin Anfragen im Hintergrund.

• Trennen Sie das Messprofil vollstaendig von Ihrem taeglich genutzten Profil.
• Notieren Sie die Fensterbreite; das Layout aendert sich mit der Breite.
• Lassen Sie den Content-Blocker im Messprofil deaktiviert oder betreiben Sie ihn in jeder Serie mit derselben Einstellung.
• Leeren Sie den Speicher vor dem Start der Serie, nicht mitten in der Serie.
• Schreiben Sie in die Protokollzeile, mit welchem Profil Sie gemessen haben; das Ergebnis ist profilspezifisch.

Wenn Sie diese Ordnung einmal aufgesetzt haben, stammt der Unterschied, den Sie beim Wechsel des Austritts sehen, tatsaechlich vom Austritt. Die Unterschiede, die Sie davor gesehen haben, stammen meist aus dem Gedaechtnis des Browsers, und keine Proxy-Einstellung behebt das.

Das Anfragetempo an die Poolgroesse anpassen

Bei einzeln von Hand durchgefuehrten Suchen ist das Tempo kein Problem. Sobald Sie jedoch eine Kontrollroutine aufsetzen, die Dutzende Anfragen hintereinander ausfuehrt, wird das Tempo zur ersten Begrenzung. Eine dichte Folge von Anfragen aus demselben Austritt in kurzen Abstaenden erzeugt ein Muster, das menschlicher Nutzung nicht aehnelt, und macht eine Verifizierungsseite wahrscheinlich.

Die Verifizierungsseite ist keine Strafe, sondern ein Signal zum Abbremsen. Die richtige Reaktion ist nicht, im gleichen Tempo erneut zu versuchen, sondern gestaffelt zurueckzufahren: Verdoppeln Sie die Wartezeit schrittweise und kehren Sie nach einigen Durchlaeufen zum normalen Tempo zurueck. Diese Seite erklaert nicht, wie man Verifizierungsseiten umgeht, sondern wie man das Tempo so einstellt, dass sie gar nicht erst ausgeloest werden.

Tempo und Poolgroesse sind zwei Seiten derselben Gleichung. Nachdem Sie entschieden haben, wie viele Anfragen Sie pro Stunde ausfuehren, brauchen Sie so viele Adressen, dass die Last pro Austritt auf einem akzeptablen Niveau bleibt. Die Anzahl der Anfragen zu senken, statt die Adressanzahl zu erhoehen, ist bei den meisten Kontrollaufgaben die guenstigere Entscheidung; Ziel der Messung ist nicht Volumen, sondern Vergleichbarkeit. Wenn Sie parallele Anfragen oeffnen, muss auch Limit gleichzeitiger Verbindungen beruecksichtigt werden.

Wenn Sie tatsaechlich skalierten Zugriff benoetigen, sehen Sie sich zuerst die dokumentierte Suchschnittstelle der Suchmaschine an. Ueber eine offizielle Schnittstelle zu arbeiten liefert vorhersehbarere Ergebnisse und entspricht den Erwartungen beider Seiten. Vor jedem Vorhaben, das auf Page Scraping zielt, sollten robots.txt und die Nutzungsbedingungen gelesen werden.