MetaGer Birleşik Sonuçlarını Proxy Arkasından İncelemek

Meta arama motorlarında sonuç sayfası tek bir dizinin fotoğrafı değildir. Sorgunuz birden fazla kaynağa paralel olarak iletilir, dönen listeler birleştirilir, aynı adresi gösteren kayıtlar tekilleştirilir ve elde kalan küme tek bir sıraya dizilir. Gördüğünüz sıralama bu birleştirme kararının çıktısıdır — kaynakların hiçbirinde birebir aynı hâliyle bulunmaz.

Bunun proxy açısından somut bir sonucu vardır. Çıkış ülkenizi değiştirdiğinizde etki, birleştirme katmanında değil kaynakların kendi yanıtlarında doğar. Bir kaynak bölgesel sinyale duyarlıysa katkısı değişir, duyarsız kaynağın katkısı aynı kalır ve birleşik listede bunların toplamını görürsünüz. Bu yüzden fark, tek dizinli bir motora göre genellikle daha yumuşak ve daha az öngörülebilir olur.

Aşağıdaki bölümler bu zinciri sırayla açıyor: birleştirme mantığı, tazelik, operatör aktarımı, çıkış türü kararı, doğrulama yöntemi, bölgesel görünüm ve son olarak kurulum ile sınırlar.

Birleşik sonuç sayfası nasıl oluşuyor?

Zincir istemcinizle başlar. Sorgu MetaGer’in kendi uçuna gider; oradan eşzamanlı olarak birden çok kaynağa dağıtılır. Her kaynak kendi sıralamasıyla bir liste döndürür. Birleştirici bu listeleri alır, aynı hedefi gösteren kayıtları tek satıra indirir ve kendi ağırlıklandırmasıyla nihai sırayı üretir. Sonuç sayfasında gördüğünüz her satırın arkasında en az bir kaynak vardır, bazılarının arkasında birden fazla.

Proxy bu zincirin yalnızca ilk adımında devrededir: sizinle birleştirici arasındaki bağlantıda. Birleştiricinin kaynaklara nasıl bağlandığı sizin ağ ayarınızdan bağımsızdır. Bu ayrım bir sınırı da tanımlar — çıkış ülkeniz kaynakların bulunduğu tarafta doğrudan bir coğrafi sinyal olarak değil, birleştiricinin ilettiği bağlam üzerinden etkili olur. Dolayısıyla ülke değiştirdiğinizde tek dizinli bir motorda gördüğünüz kadar keskin bir tablo beklemeyin.

İkinci pratik sonuç teşhisle ilgilidir. Bir sonuç beklediğiniz yerde yoksa iki farklı neden olabilir: kaynakların hiçbiri o sayfayı döndürmemiştir ya da döndürmüştür ama birleştirme sırasında aşağı inmiştir. Bunu ayırmak için aynı sorguyu tek dizinli bir motorda tekrarlayın; kendi taramasına dayanan Mojeek gibi bir motor iyi bir referans noktası verir ve rehberine sayfa sonundaki ilgili sayfalar listesinden ulaşabilirsiniz.

Tazelik zinciri: gecikme nerede birikiyor?

Birleşik bir sayfada güncellik tek bir takvime bağlı değildir. Her kaynağın kendi tarama sıklığı vardır; bir sayfa bir kaynağın dizinine girmişken diğerine henüz girmemiş olabilir. Birleşik listede bu, sayfanın görünmesi ama beklediğinizden aşağıda durması şeklinde ortaya çıkar. Zincirdeki en yavaş halka, o sorgu için pratik tazelik sınırını belirler.

Proxy bu tabloya hiçbir şey eklemez. Ağ yolunu değiştirmek ne kaynakların tarama takvimini ne de birleştiricinin kendi tazeleme aralığını etkiler. “Farklı bir ülkeden bakınca daha yeni sonuç geliyor” gözlemi neredeyse her zaman başka bir şeyin sonucudur: kaynak karışımının o istekte farklı ağırlıklanması ya da sizin tarafınızdaki önbellek.

Kendi tarafınızdaki önbelleği hesaba katmak için her turu temiz bir pencerede ve önbellek devre dışıyken açmanız yeterlidir; mekanizmanın ayrıntısı HTTP proxy önbellekleme yazısında. Asıl dikkat isteyen nokta birleşik sayfaya özgüdür ve önbellekle karıştırılmaya çok müsaittir: bir kaynak yanıt vermekte geciktiğinde birleştirici onu süresiz beklemez, elindeki listelerle sayfayı kurar. Aynı sorgu, aynı çıkış ve aynı dakika içinde iki farklı kaynak karışımı üretebilir.

Bu davranış tazelik farkı gibi görünür ama bir zaman aşımı davranışıdır ve ayırt edilebilir. Yavaş dönen bir turu olduğu gibi tekrarlayın. İkinci turda eksik kaynak listeye geri döndüyse gördüğünüz şey dizin güncelliği değil, ilk turda düşen bir kaynaktır; geri dönmediyse o sorgu için o kaynak gerçekten katkı vermiyordur. Bu ayrımı yapmadan “şu ülkeden bakınca daha yeni sonuç geliyor” demek, ölçümün en kolay çürütülen iddiasıdır.

• Yeni bir sayfayı ararken en az birkaç saat bekleyin; yokluk bölgesel bir fark değildir.
• Her turu temiz profilde açın; önbelleği devre dışı bırakın.
• Kaç kaynağın katkı verdiğini her turda not edin; eksik kaynak tazelik gibi görünür.
• Yavaş dönen turu tekrarlamadan tazelik iddiası kurmayın.

Operatörler birleştiriciden kaynaklara nasıl iletiliyor?

Tek dizinli bir motorda operatör tek bir yerde yorumlanır. Meta aramada ise iki aşama vardır: birleştirici operatörü ayrıştırır ve kaynaklara iletir; her kaynak da kendi kurallarıyla yorumlar. Bir kaynak tam ifade aramasını destekliyorsa katkısı daralır, desteklemeyen kaynak geniş bir liste döndürmeye devam eder. Birleşik sayfada ikisinin toplamını görürsünüz — bu yüzden operatör kullandığınızda daralma beklediğiniz kadar sert olmayabilir.

Bu davranışı test etmek zor değildir. Aynı sorguyu üç biçimde çalıştırın: yalın, tam ifade olarak ve bir kelimeyi dışlayarak. Her turda sonuç sayısını ve ilk on kaydı not edin. Dışlama denemesinde, dışladığınız kelimenin yalın turdaki sonuçlarda gerçekten geçtiğinden emin olun; aksi hâlde ölçtüğünüz şey operatör değil, boş bir değişikliktir.

Odak veya kategori seçenekleri de operatör gibi davranır: sorguyu farklı bir kaynak kümesine yönlendirir. Web sonuçlarından haber veya akademik odaklı bir kümeye geçtiğinizde karşılaştırmanız sıfırlanır, çünkü artık aynı kaynaklara bakmıyorsunuzdur. Ölçüm boyunca odağı sabit tutun ve hangi odakta çalıştığınızı kaydınıza yazın.

Çıkış türü kararını iki eksende düşünmek

Arama sayfası okuyan bir işte çıkış seçimini iki eksen belirler. Birincisi havuz çeşitliliğidir: elinizdeki adreslerin kaç farklı ağ ve bölgeye yayıldığı. İkincisi oturum kararlılığıdır: bir adresin ne kadar süre sizde kaldığı. Bu iki özellik çoğu zaman ters yönde hareket eder ve doğru seçim işin türüne göre değişir.

Karşılaştırmalı ölçümde kararlılık genellikle çeşitlilikten önemlidir, çünkü her turun aynı adresten geldiğini bilmek tabloyu savunulabilir kılar. Bu nedenle günlere yayılan işlerde ISP proxy ya da statik bir datacenter çıkış tercih edilir. Buna karşılık farklı bölgelerden geniş bir örneklem toplamak istiyorsanız çeşitlilik öne geçer ve residential havuz daha uygun olur.

Havuz büyüklüğü kadar dağılımı da önemlidir: adreslerin çok sayıda farklı alt ağa yayılması, tek bir bloğa sıkışmış büyük bir havuzdan daha dayanıklıdır; tek bir alt ağ işaretlendiğinde havuzun tamamı aynı anda değer kaybetmez. Rotasyon isteyen işlerde her istekte adres değiştiren bir havuz yükü dağıtır; yalnızca hangi turun hangi adresten geldiğini kaydetmeyi ihmal etmeyin, yoksa karşılaştırma izlenemez hâle gelir.