Yep Proxy: Messungen in einer Suchmaschine mit eigenem Crawl-Index aufsetzen

Die technische Tatsache, die Yep von anderen Oberflaechen unterscheidet, ist, dass die Ergebnisse zum grossen Teil aus dem Index des eigenen Crawlers stammen. Das Team hinter der Suchmaschine betreibt seit Langem einen eigenen Bot, der das Web crawlt, und hat die Suche auf diesem Fundament aufgebaut. In der Praxis bedeutet das, dass das Ergebnis keine neu verpackte Fassung einer gemeinsamen Suchmaschine ist.

Der zweite unterscheidende Punkt betrifft die Personalisierung. Die Suchmaschine gibt ausdruecklich an, kein personenbezogenes Profil zu erstellen und die Ergebnisse nicht nach einem solchen Profil auszurichten. Fuer jemanden, der misst, ist das eine gute Nachricht: Eine der ergebnisverzerrenden Variablen faellt von vornherein weg, uebrig bleiben die Netzwerkseite und die Oberflaechenpraeferenzen.

Das hier Beschriebene dient dazu, zu verifizieren, wie die oeffentlich zugaengliche Ergebnisoberflaeche aus verschiedenen Laendern aussieht. Wenn Sie automatisierten Zugriff mit hohem Volumen planen, sind die Regeln der Suchmaschine und die robots.txt Vorgaben bindend.

Was veraendert die Exit-Adresse in einer Suchmaschine mit eigenem Crawl-Index?

Der Index bleibt auf seiner Seite; Ihre Exit-Adresse veraendert seinen Inhalt nicht. Was sie veraendert, ist die Information, aus welchem Land die Anfrage kommt, und diese Information ist in der Regel an zwei Stellen von Bedeutung: bei der Annahme von Sprache und Region sowie beim Gewicht laenderspezifischer Domains im Ranking. Der Proxy beeinflusst hier also nicht den Index, sondern den Kontext, der die an den Index gerichtete Frage begleitet.

Eine Folge davon ist, dass der Unterschied nicht bei jeder Abfrage sichtbar wird. Wenn Sie die Definition eines Fachbegriffs suchen, ist das Gewicht des Laendersignals gering, und Sie erhalten von zwei verschiedenen Exits nahezu dieselbe Liste. Bei einer lokalen Dienstleistung, einer aktuellen Entwicklung oder einer laenderabhaengigen Rechtsfrage wird der Unterschied dagegen deutlich.

Den Messplan daran auszurichten ist auch budgetseitig richtig. Bestimmen Sie zuerst mit einem kleinen Abfrageset, welche Abfragen auf die Netzwerkseite reagieren; wenden Sie die Laenderdiversifizierung nur auf diese Abfragen an. Bei unempfindlichen Abfragen erzeugen Messungen aus mehreren Laendern keine Daten, sondern Kopien.

Auch die Netzwerkklasse, zu der der Exit gehoert, ist eine Eingangsgroesse. Rechenzentrumsbloecke und Bloecke von Privatanschluessen liegen in unterschiedlichen autonomen Systemen; wie diese Klassifizierung gelesen wird, erlaeutert ASN und IP-Reputation der Beitrag. Fuer eine vergleichende Lektuere ist Mojeek als ebenfalls unabhaengig indexierende Suchmaschine ein guter Referenzpunkt.

Wo setzt sich in einer Suchmaschine ohne Profilbildung der Sitzungszustand fest?

Ohne Personalisierung wird nicht automatisch alles reproduzierbar. Zustand, der das Ergebnis beeinflussen kann, sammelt sich weiterhin an drei Stellen an: in den im Browser gespeicherten Praeferenzen, in den in der Oberflaeche gewaehlten Sprach- und Regionseinstellungen und im Exit auf Netzwerkseite. Die ersten beiden begleiten die Anfrage auch ohne personenbezogenes Profil und praegen die Ausgabe.

Die haeufigste Verwechslung besteht darin, Sprache und Land fuer dasselbe zu halten. Die Oberflaechensprache auf Tuerkisch zu setzen und ueber einen Exit in Japan zu messen ist ein konsistentes Setup, und beide Groessen arbeiten unabhaengig voneinander. Das Problem entsteht, wenn sich mitten im Lauf eine von beiden aendert; ab diesem Punkt koennen Sie nicht mehr sagen, welcher Unterschied woher kommt.

In der Praxis bewaehrt sich folgender Aufbau: fuer jedes Land ein eigenes, sauberes Browser-Profil, pro Profil ein einziger Sprachwert und ein waehrend des gesamten Laufs unveraenderter Exit. Schliessen Sie das Profil, wenn der Lauf beendet ist; Cookies, die in den naechsten Lauf uebergehen, sind die heimtueckischste Rauschquelle.

• Oeffnen Sie das Profil bei jedem Lauf von Grund auf neu, arbeiten Sie nicht auf dem vorherigen weiter.
• Stellen Sie Sprach- und Regionspraeferenz beim Oeffnen des Profils ein und fassen Sie sie danach nicht mehr an.
• Fuehren Sie Ihre normalen Suchen auf demselben Rechner in einem anderen Profil durch.
• Halten Sie fest, wenn sich die Browser-Version aendert; die Seitenstruktur kann sich veraendern.

Die Phasen, die ein Messlauf durchlaeuft

Den Lauf als eine einzige Handlung zu betrachten verdeckt Fehler. Tatsaechlich gibt es vier getrennte Phasen, und in jeder kann anderes schieflaufen. In der Vorbereitungsphase werden Exit, Sprache und Profil eingestellt; ein hier gemachter Fehler macht den gesamten Lauf ungueltig, weil er im Nachhinein schwer zu bemerken ist.

In der Anfragephase werden die Abfragen nacheinander gesendet. Die kritische Variable dieser Phase ist das Tempo: in kurzer Zeit sehr viele Anfragen zu senden fuehrt zu Bestaetigungsseiten und abgebrochenen Verbindungen. Die Intervalle in einem vernuenftigen Rahmen zu halten erhoeht die Abschlussquote des Laufs unmittelbar.

In der Verifizierungsphase wird geprueft, ob jede Antwort tatsaechlich verwertbar ist: Wurde die Seite vollstaendig geladen, erscheint das erwartete Land, kam der Ergebnisblock leer zurueck? Aufbauten, die diesen Schritt ueberspringen, zaehlen auch halb geladene Seiten als Daten und erzeugen unerklaerliche Einbrueche in der Serie.

Die letzte Phase ist die Erfassung. Neben jede Messung werden Zeitstempel, Exit-Label, Sprachwert und Geraeteprofil geschrieben. Ohne diese vier Felder ist es unmoeglich, eine Anomalie drei Wochen spaeter zu erklaeren.

Welche Stationen durchlaeuft eine Anfrage?

Die Reise einer Abfrage verlaeuft zwischen vier Akteuren: Ihrem Client, dem Proxy-Exit, dem Frontend der Suchmaschine und dem Speicher, in dem Sie die Messung ablegen. Der Client uebergibt die Anfrage an den Proxy, der Proxy verbindet sich mit dem Ziel, die Antwort kehrt denselben Weg zurueck, und Sie schreiben die Antwort in die Erfassung. Jede Station fuegt eine Verzoegerung und eine Fehlerwahrscheinlichkeit hinzu.

Bei HTTPS-Zielen oeffnet der Proxy mit CONNECT einen Tunnel und transportiert die verschluesselten Bytes; den Inhalt kann er nicht lesen. Wenn Sie SOCKS5 verwenden, ist entscheidend, wo die Namensaufloesung stattfindet: Die Variante, die die Aufloesung dem Proxy ueberlaesst, verhaelt sich anders als die mit lokaler Aufloesung, und bei regionalen Messungen kann sich dieser Unterschied im Ergebnis niederschlagen. Details Wo wird DNS bei SOCKS5 aufgeloest .

Wenn ein Fehler zurueckkommt, verkuerzt das Wissen, an welcher Station Sie sich befinden, die Diagnose. 407 verweist auf die Authentifizierung zwischen Proxy und Client, das Ziel wurde gar nicht erreicht. Ein Timeout entsteht meist auf dem Abschnitt zwischen Proxy und Ziel. Eine von der Suchmaschine zurueckgegebene Fehlerseite zeigt dagegen, dass die Kette bis zum Ende durchlaufen wurde.

Testen Sie die Kette vor dem Lauf einmal Ende zu Ende. Proxy-Check-Tool sagt Ihnen, ob der Exit erreichbar ist, Meine IP-Adresse sagt Ihnen, mit welchem Land Sie nach aussen erscheinen.