Yep Proxy: Kendi Dizinini Tarayan Motorda Ölçüm Kurmak

Yep’i diğer yüzeylerden ayıran teknik gerçek, sonuçların büyük ölçüde kendi tarayıcısının topladığı dizinden gelmesidir. Motoru geliştiren ekip, web’i tarayan kendi botunu uzun süredir işletiyor ve arama tarafını bu birikimin üzerine kurdu. Pratikte bu, sonucun bir ortak motorun yeniden paketlenmiş hâli olmadığı anlamına gelir.

İkinci ayırt edici nokta kişiselleştirme tarafındadır. Motor, kişiye özel profil çıkarmadığını ve sonuçları bu profile göre şekillendirmediğini açıkça belirtir. Ölçüm yapan biri için bu iyi haberdir: sonucu bozan değişkenlerden biri baştan devre dışıdır, geriye ağ tarafı ve arayüz tercihleri kalır.

Burada anlatılanlar, herkese açık sonuç yüzeyinin farklı ülkelerden nasıl göründüğünü doğrulamak içindir. Otomatik ve hacimli erişim planlıyorsanız motorun kuralları ile robots.txt yönergeleri bağlayıcıdır.

Kendi dizinini tarayan bir motorda çıkış adresi ne değiştirir?

Dizin kendi tarafında durur; çıkış adresiniz dizinin içeriğini değiştirmez. Değiştirdiği şey, isteğin hangi ülkeden geldiği bilgisidir ve bu bilgi genellikle iki yerde işe yarar: dil ve bölge varsayımında, bir de ülkeye özgü alan adlarının sıralamadaki ağırlığında. Yani proxy burada dizini değil, dizine sorulan soruya eşlik eden bağlamı etkiler.

Bunun bir sonucu, farkın her sorguda görünmemesidir. Teknik bir terimin tanımını aradığınızda ülke sinyalinin taşıdığı ağırlık düşüktür ve iki ayrı çıkıştan neredeyse aynı listeyi alırsınız. Yerel bir hizmet, güncel bir gelişme ya da ülkeye bağlı bir mevzuat sorgusunda ise fark belirginleşir.

Ölçüm planını buna göre kurmak bütçe açısından da doğrudur. Önce küçük bir sorgu setiyle hangi sorguların ağ tarafına duyarlı olduğunu belirleyin; ülke çeşitlendirmesini yalnızca bu sorgulara uygulayın. Duyarlı olmayan sorgular için birden çok ülkeden ölçüm almak veri değil kopya üretir.

Çıkışın hangi ağ sınıfına ait olduğu da bir girdidir. Veri merkezi blokları ile ev abonesi blokları farklı otonom sistemlerde durur; bu sınıflandırmanın nasıl okunduğunu ASN ve IP itibarı yazısı açıklıyor. Karşılaştırmalı okuma için Mojeek gibi yine bağımsız dizinli bir motor iyi bir referans noktasıdır.

Profil çıkarmayan bir motorda oturum durumu nereye siniyor?

Kişiselleştirme yoksa her şey kendiliğinden tekrarlanabilir olmaz. Sonucu etkileyebilecek durum hâlâ üç yerde birikir: tarayıcıda tutulan tercihler, arayüzde seçtiğiniz dil ve bölge ayarları, bir de ağ tarafındaki çıkış. İlk ikisi kişiye özel bir profil olmasa bile isteğe eşlik eder ve çıktıyı taşır.

En sık karşılaşılan karışıklık dil ile ülkenin aynı şey sanılmasıdır. Arayüz dilini Türkçe seçip Japonya çıkışından ölçüm almak tutarlı bir kurgudur ve bu ikisi birbirinden bağımsız çalışır. Sorun, koşu ortasında ikisinden birinin değişmesidir; o noktadan sonra hangi farkın nereden geldiğini söyleyemezsiniz.

Uygulamada şu düzen işe yarar: her ülke için ayrı ve temiz bir tarayıcı profili, profil başına tek bir dil değeri ve koşu boyunca değişmeyen tek bir çıkış. Koşu bittiğinde profili kapatın; bir sonraki koşuya geçen çerezler en sinsi gürültü kaynağıdır.

• Profili her koşuda sıfırdan açın, bir öncekinin üzerine çalışmayın.
• Dil ve bölge tercihini profil açılışında ayarlayıp bir daha dokunmayın.
• Aynı makinede normal aramalarınızı başka bir profilde yapın.
• Tarayıcı sürümü değiştiğinde bunu kayda düşün; sayfa yapısı değişebilir.

Bir ölçüm koşusunun geçtiği durumlar

Koşuyu tek bir eylem gibi düşünmek hataları gizler. Gerçekte dört ayrı durum vardır ve her birinde farklı şeyler ters gidebilir. Hazırlık aşamasında çıkış, dil ve profil ayarlanır; burada yapılan bir hata bütün koşuyu geçersiz kılar çünkü sonradan fark edilmesi zordur.

İstek aşamasında sorgular sırayla gönderilir. Bu aşamanın kritik değişkeni tempodur: kısa sürede çok sayıda istek göndermek doğrulama ekranlarına ve kesilen bağlantılara yol açar. Aralıkları makul tutmak, koşunun tamamlanma oranını doğrudan yükseltir.

Doğrulama aşamasında her yanıtın gerçekten kullanılabilir olup olmadığına bakılır: sayfa tam yüklendi mi, beklenen ülke görünüyor mu, sonuç bloğu boş mu döndü. Bu adımı atlayan düzenler, yarım yüklenmiş sayfaları da veri sayar ve seride açıklanamayan düşüşler üretir.

Son aşama kayıttır. Her ölçümün yanına zaman damgası, çıkış etiketi, dil değeri ve cihaz profili yazılır. Bu dört alan olmadan üç hafta sonraki bir anomaliyi açıklamak mümkün olmaz.

İstek hangi duraklardan geçiyor?

Bir sorgunun yolculuğu dört aktör arasında geçer: istemciniz, proxy çıkışı, motorun ön ucu ve ölçümü sakladığınız kayıt deposu. İstemci isteği proxy’ye verir, proxy hedefe bağlanır, yanıt aynı yoldan geri döner ve siz yanıtı kayda yazarsınız. Her durak bir gecikme ve bir hata olasılığı ekler.

HTTPS hedeflerinde proxy, CONNECT ile bir tünel açar ve şifreli baytları taşır; içeriği okuyamaz. SOCKS5 kullanıyorsanız ad çözümünün nerede yapıldığı belirleyicidir: çözümü proxy’ye bırakan biçim ile yerel çözüm yapan biçim farklı davranır ve bölgesel ölçümde bu fark sonuca yansıyabilir. Ayrıntı SOCKS5’te DNS nerede çözülür yazısında.

Hata döndüğünde hangi durakta olduğunuzu bilmek teşhisi kısaltır. 407 proxy ile istemci arasındaki kimlik doğrulamaya işaret eder, hedefe hiç ulaşılmamıştır. Zaman aşımı çoğunlukla proxy ile hedef arasındaki bacakta oluşur. Motorun döndürdüğü bir hata sayfası ise zincirin sonuna kadar gidildiğini gösterir.

Koşu öncesinde zinciri bir kez uçtan uca sınayın. Proxy kontrol aracı çıkışın canlı olup olmadığını, IP adresim ise dışarıya hangi ülkeyle göründüğünüzü söyler.