Mojeek Proxy Kullanımı: Bölge Sinyali, Oturum Durumu ve İstek Temposu

Arama motoru sayfalarında proxy tartışmasının çoğu, sonucun kim tarafından üretildiği belirsiz olduğu için karmaşıklaşır. Birçok servis sonuç kümesini bir ortaktan alır; siz bir tarafı ölçtüğünüzü sanırken aslında ikinci bir sağlayıcının davranışını kaydedersiniz. Mojeek bu açıdan daha sade bir zemindir: tarama, dizinleme ve sıralama aynı çatı altında yapılır.

Sadelik, proxy’nin işini büyütmez ama netleştirir. Çıkış adresiniz değiştiğinde etkilenen şey sıralamanın tamamı değil, motorun bölgesel ipucu olarak okuduğu birkaç girdiden biridir. Geri kalan girdiler — arayüz dili, ayarlar sayfasındaki ülke filtresi, sorgunun kendisi — tarayıcı tarafında durur ve proxy onlara dokunmaz.

Aşağıdaki bölümler bu ayrımı sırayla açıyor: hangi katman ağa bakar, hangi katman size bakar; ölçüm yaparken hangisini sabitlemek gerekir; ve ölçek büyüdüğünde tempo nasıl planlanır.

Kendi dizinini tarayan bir motorda proxy neyi değiştirir?

Bir Mojeek sorgusu üç ayrı katmandan geçer. En üstte sorgu ve arayüz katmanı vardır: yazdığınız ifade, seçtiğiniz dil, ayarlar sayfasında işaretlediğiniz ülke filtresi. Bunların tamamı istemci tarafında tutulur ve proxy’nin görüş alanı dışındadır — çıkışı değiştirmek bir tercihi sıfırlamaz, çünkü tercih tarayıcınızdaki depolamada durur.

Ortadaki katman dizin ve sıralamadır. Motorun kendi tarayıcısı belgeleri toplamış, ayrıştırmış ve bir sıraya dizmiştir. Bu katman istekten isteğe kişiye göre yeniden kurulmaz; aynı sorguya aynı koşullarda büyük ölçüde aynı belge kümesi döner. Bir sonucun neden yukarıda olduğunu merak ettiğinizde bakılacak yer proxy ayarınız değil, bu katmanın dizinleme davranışıdır.

En alttaki katman taşıma ve çıkıştır. İstek TCP üzerinde kurulur, TLS ile şifrelenir ve sunucu tarafında görünen tek ağ kimliği çıkış IP adresinizdir. Motorun bu adresten okuyabileceği şey sınırlıdır: adresin hangi otonom sisteme (ASN) ait olduğu ve kabaca hangi ülkeye kayıtlı göründüğü. Sınıflandırmanın nasıl işlediği için ASN ve IP itibarı yazısı iyi bir başlangıçtır.

Üç katmanı ayırmanın pratik faydası şudur: bir sonuç değişikliği gördüğünüzde önce hangi katmanın kıpırdadığını sorarsınız. Tercihiniz mi değişti, dizin mi tazelendi, yoksa yalnızca çıkışınız mı başka bir ülkeye kaydı? Bu soruyu sormayan ekipler, tarayıcı tercihinin yol açtığı bir farkı proxy’ye yazar ve yanlış yerde çözüm arar.

Çıkış ülkesi ile arayüz dili sıralamada nasıl ayrışır?

Bölgesel etki tek bir düğmeye bağlı değildir; birbirinden bağımsız çalışan iki girdinin bileşkesidir. Birincisi ağ tarafındaki ipucudur: çıkış adresinizin kayıtlı olduğu ülke. İkincisi uygulama tarafındaki açık tercihtir: arayüz dili ve ayarlar sayfasındaki ülke filtresi. İkisi aynı yöne bakmadığında ortaya, gerçek bir kullanıcının pek üretmediği karışık bir profil çıkar.

Somut örnek: Almanya çıkışı kullanıp arayüzü İngilizce bırakırsanız, ağ katmanı Almanya der, uygulama katmanı belirli bir dil tercihi bildirir. Dönen sayfa ikisinin ortasında bir yerde durur ve ne Almanya’dan bakan bir kullanıcının gördüğüne ne de dilini İngilizce tutan bir kullanıcının gördüğüne birebir eşittir. Karşılaştırma yapıyorsanız bu ara durumu kayda geçirmeniz gerekir, yoksa iki ölçümü aynı sütuna yazarsınız.

Doğru kurgu, her iki girdiyi de bilinçli sabitlemektir. Bir ülkenin sonuç yüzeyini incelemek istiyorsanız çıkışı o ülkeden alın, arayüz dilini o ülkenin yaygın diline çekin ve ülke filtresini de aynı yöne ayarlayın. Ülke listesi için proxy lokasyonları sayfasına, TR görünümü için Türkiye çıkışına bakabilirsiniz.

Tek bir kural işi büyük ölçüde çözer: bir seride yalnızca bir değişkeni oynatın. Ülkeyi değiştiriyorsanız dili sabit bırakın; dili değiştiriyorsanız çıkışı yerinde tutun. İki değişkeni birlikte oynatan ölçümden çıkan fark, hangi girdiden geldiğini söylemez.

Tarayıcı durumunu ölçümün dışına çıkarmak

Gizlilik odaklı bir motor sizi hesap üzerinden profillemiyor olabilir; bu, ölçümünüzün temiz olduğu anlamına gelmez. Sayfanın nasıl geldiğini etkileyen durumun büyük kısmı zaten tarayıcınızda durur: daha önce kaydedilmiş tercih çerezleri, eklentilerin enjekte ettiği kurallar, içerik engelleyicinin bazı blokları gizlemesi, pencere genişliği ve yazı tipi ölçeği.

Bu durum kalıntılarının en sinsi yanı, sizin fark etmeden taşınmalarıdır. Geçen hafta bir ülke filtresi işaretlediniz; bu hafta aynı profille yeni bir seriye başladığınızda filtre hâlâ açıktır ve siz onu proxy farkı sanırsınız. Aynı şekilde bir eklenti, sayfadaki bazı bağlantıları gizlerse sonuç sayısını olduğundan az sayarsınız.

Çözüm karmaşık değil, disiplinli olmayı gerektirir. Ölçüm için ayrı bir tarayıcı profili açın; o profilde yalnızca proxy tanımı ve gerekli minimum eklenti bulunsun. Her seriye temiz depolamayla başlayın, seri bitene kadar tercih değiştirmeyin. Oturum açılan hiçbir sekmeyi aynı profilde tutmayın — oturumu olan bir sekme, açık kaldığı sürece arka planda istek üretmeye devam eder.

• Ölçüm profilini günlük kullandığınız profilden tamamen ayırın.
• Pencere genişliğini not edin; yerleşim genişliğe göre değişir.
• İçerik engelleyiciyi ölçüm profilinde kapalı tutun ya da her seride aynı ayarla çalıştırın.
• Seriye başlamadan önce depolamayı temizleyin, seri ortasında temizlemeyin.
• Hangi profille ölçtüğünüzü kayıt satırına yazın; sonuç profile özeldir.

Bu düzeni bir kez kurduğunuzda, çıkışı değiştirdiğinizde gördüğünüz fark gerçekten çıkıştan gelir. Öncesinde gördüğünüz farklar genellikle tarayıcının hafızasından gelir ve hiçbir proxy ayarı bunu düzeltmez.

Sorgu temposunu havuz büyüklüğüyle eşlemek

Tek tek elle yapılan aramalarda tempo bir sorun değildir. Onlarca sorguyu arka arkaya çalıştıran bir kontrol düzeni kurduğunuzda ise tempo ilk sınırlayıcı hâline gelir. Aynı çıkıştan kısa aralıklarla gelen yoğun istek dizisi, insan kullanımına benzemeyen bir desen üretir ve doğrulama ekranıyla karşılaşmanız olasıdır.

Doğrulama ekranı bir ceza değil, bir yavaşlatma sinyalidir. Doğru tepki, aynı hızda yeniden denemek değil kademeli geri çekilmektir: bekleme süresini katlayarak artırın, birkaç tur sonra normal tempoya dönün. Bu sayfa doğrulama ekranlarının aşılmasını değil, hiç tetiklenmemesi için temponun ayarlanmasını anlatır.

Tempo ile havuz büyüklüğü aynı denklemin iki tarafıdır. Saatte kaç sorgu çalıştıracağınıza karar verdikten sonra, çıkış başına düşen yükü kabul edilebilir bir seviyede tutacak kadar adres gerekir. Adres sayısını artırmak yerine sorgu sayısını düşürmek çoğu kontrol işinde daha ucuz bir karardır; ölçümün amacı hacim değil karşılaştırılabilirliktir. Paralel istek açıyorsanız eşzamanlı bağlantı limiti de hesaba katılmalıdır.

Ölçekli erişime gerçekten ihtiyacınız varsa, önce motorun kendi belgelenmiş arama arayüzüne bakın. Resmî bir arayüz üzerinden çalışmak hem daha öngörülebilir sonuç verir hem de tarafların beklentisiyle uyumludur. Sayfa kazımaya yönelen her düzenin öncesinde robots.txt ve hizmet şartları okunmalıdır.