Baidu’yu Farklı Çıkışlardan İncelemek: Dizin, Operatör ve Sınırlar
Baidu, sonuçlarını başka bir motordan ödünç almayan, kendi tarayıcısı ve kendi dizini olan bölgesel bir arama motorudur. Proxy ise bu dizine değil, yalnızca isteğin hangi ağdan geldiğine dokunur. Bu sayfa ikisinin arasındaki ince çizgiyi ve bir kontrolün nasıl tekrarlanabilir kurulduğunu anlatıyor.
Kendi diziniSonuç kümesini biçimlendiren dil ve kaynak ağırlığı, meta motorlardan farkı.
02
Operatör sınamasıGelişmiş arama sözdiziminin gerçekten daralttığını nasıl doğrularsınız.
03
Uyum sınırırobots.txt’nin kapsamı, hizmet şartları ve makul istek temposu.
04
Çıkış kararıHangi çıkış türü hangi kontrol işine oturur, maliyeti nerede birikir.
Bölgesel bir arama motorunu uzaktan incelerken en pahalı hata, gördüğünüz her farkı çıkış IP’sine yazmaktır. Bir sonuç sayfası en az dört bağımsız girdiden doğar: motorun dizininde o an ne bulunduğu, isteğin geldiği ağın coğrafi çıkarımı, istemcinin bildirdiği dil tercihi ve arayüzde seçili bölge veya filtre ayarı. Proxy bunlardan yalnızca ikincisini değiştirir.
Baidu özelinde bu ayrım daha da keskindir, çünkü motorun kimliğini belirleyen şey ağ tarafında değil dizin tarafındadır: hangi dildeki belgelerin ağırlıklı taşındığı, hangi kaynakların sonuç sayfasında kendine yer bulduğu ve bir sorgunun karşılığının o dizinde var olup olmadığı. Almanya yerine Singapur çıkışına geçmeniz bu ağırlığı değiştirmez.
Aşağıdaki bölümler sırayla şunu kuruyor: isteğin ağ üzerindeki yolu, dizin farkının ölçüme yansıması, operatör davranışının sınanması, uyum sınırları ve kurulum.
Baidu’nun sonuç kümesi nereden besleniyor?
Baidu bir meta arama katmanı değildir. Web’i kendi tarayıcısıyla gezer, kendi dizinini tutar ve sıralamasını kendi sinyalleriyle üretir. Ölçüm açısından bunun somut karşılığı şudur: başka bir motorda gördüğünüz sıralamayı burada bir referans olarak kullanamazsınız, iki motorun farkı bir hata değil beklenen durumdur. Bir sorgunun burada karşılıksız kalması da çoğu zaman ağ kaynaklı değil, dizin kaynaklıdır.
İkinci belirleyici dil ve kaynak ağırlığıdır. Dizin ağırlıklı olarak Çince içerikten beslenir; Çince yazılmış bir sorgu ile aynı sorgunun Türkçe veya İngilizce karşılığı arasında sonuç sayısı, blok çeşitliliği ve derinlik bakımından büyük fark görürsünüz. Latin harfli sorgularda sonuç kümesi seyrekleşir, sayfa ikinci veya üçüncü sayfada hızla tükenir. Bu, çıkışınızın “çalışmadığı” anlamına gelmez; sorgu dilinizin dizindeki karşılığının dar olduğu anlamına gelir.
Üçüncüsü, motorun kendi ekosistemidir. Ansiklopedi, soru-cevap ve topluluk içeriği gibi kendi servislerinden gelen bloklar sonuç sayfasında belirgin yer tutar. Bu blokların varlığı ve sırası, sorgunun türüne (bilgi arayışı, gezinme, ticari niyet) göre değişir. Bir karşılaştırma tasarlarken “kaçıncı sıradayım” sorusundan önce “sayfa hangi bloklardan oluşuyor” sorusunu yanıtlayın; blok kompozisyonu değiştiğinde organik sıradaki kayma tek başına bir şey anlatmaz.
İstek zinciri ve proxy’nin girdiği nokta
Bir sorgu gönderdiğinizde önce alan adı çözülür, sonra TCP bağlantısı kurulur ve TLS el sıkışması yapılır. HTTP proxy kullanıyorsanız istemci hedefi CONNECT ornek.example:443 biçiminde bildirir ve çözümü proxy üstlenir; SOCKS5’te çözümün nerede yapıldığı istemciye bağlıdır. Bu ayrım göründüğünden önemlidir: çözüm sizin ağınızda yapılırsa hedef adı yerel DNS sunucunuza görünür ve size yakın bir kenar düğümü dönerken bağlantı proxy’nin ülkesinden kurulur. Ayrıntı için SOCKS5’te DNS nerede çözülür ve HTTP CONNECT metodu.
Sonuç sayfasının kendisi tek bir alan adından gelmez: arayüz betikleri, ikonlar ve görsel önizlemeler ayrı statik kaynak alan adlarından servis edilir. Yalnızca ana alan adını kapsayan bir kural yazdıysanız sayfa açılır ama yarım görünür — bu, proxy’nin çalışmadığı değil, kapsamınızın dar kaldığı belirtisidir.
Not
HTTPS bağlantısında proxy içeriği okuyamaz; yalnızca şifreli baytları taşır. Buna karşılık hangi alan adına bağlandığınız proxy sunucusunda görünür ve kayda geçebilir. Sağlayıcı seçimi bu yüzden teknik değil, güven kararıdır.
ŞEMABir arama isteğinin proxy üzerinden geçtiği üç durak
Şemayı yatay kaydırarak inceleyebilirsiniz
Zincirin hangi halkasında ne olduğunu bilmek, bir aksaklığı doğru katmana yazmayı sağlar.
Dizin farkını ölçümünüzde nasıl hesaba katarsınız?
Dizin farkı bir ölçümü bozmaz, ölçümün neyi ölçtüğünü değiştirir. Bunu görmezden gelen bir kurulum, aslında “bu sorgunun dizindeki karşılığı dar” diyen bir sonucu “çıkışım sorunlu” diye okur. Bu yüzden her seride en az bir kontrol sorgusu bulundurun: karşılığının bol olduğunu bildiğiniz, dizinde kesinlikle geniş yer tutan bir terim. Kontrol sorgusu normal, ölçüm sorgunuz boş dönüyorsa sorun ağda değildir.
İkinci pratik, sorguyu iki dilde çalıştırmaktır. Aynı kavramın Çince ve Latin harfli yazımını ayrı seriler olarak izlerseniz, gördüğünüz farkın dil kaynaklı mı yoksa çıkış kaynaklı mı olduğunu ayrıştırabilirsiniz. İki seride de çıkışı sabit tutun; aynı anda hem dili hem çıkışı değiştirirseniz elinizde yorumlanamayan bir tablo kalır.
Üçüncüsü kanıt saklamaktır. Bir sonuç sayfasını “gördüm” demek bir ölçüm değildir. Her tur için sorgu metnini, zaman damgasını, çıkış etiketini, çıkış ülkesini, istemci dil başlığını ve sayfanın kaydedilmiş hâlini tutun. Aynı sorgunun iki hafta arayla farklı çıkması olağandır; elinizde yalnızca hafıza varsa bu farkı kimseye anlatamazsınız. Sonuç sayısı gösteren tahminî ifadeleri de bir metrik gibi kullanmayın; bu değerler yaklaşık üretilir ve tur başına oynar.
Girdileri ayırmak: ağ, istemci, arayüz, dizin
Bir farkı doğru adrese yazabilmek için girdileri tek tek kapatıp açmanız gerekir. Aşağıdaki tablo, bir arama isteğini biçimlendiren dört girdiyi ve proxy’nin her birine dokunup dokunmadığını özetliyor. Ölçüm düzeninizi kurarken bu satırları birer değişken gibi düşünün: aynı anda yalnızca birini oynatın.
Girdi
Nereden gelir
Proxy etkiler mi?
Nasıl sabitlenir
Coğrafi çıkarım
İsteğin geldiği IP ve ait olduğu ağ
Evet, doğrudan
Tek ve sabit bir çıkış kullanın
Dil tercihi
İstemcinin gönderdiği dil başlığı
Hayır
Tarayıcı dil listesini elle sabitleyin
Arayüz ayarı
Sitede seçilen bölge, filtre, görünüm
Hayır
Her turda aynı profili kullanın
Dizin içeriği
Motorun o an taşıdığı belgeler
Hayır
Sabitlenemez; zaman damgasıyla kaydedin
Tablodaki en sık karıştırılan satır dil tercihidir. Proxy taktığınızda çıkışınız başka bir ülkeye taşınır ama tarayıcınız hâlâ aynı dil listesini gönderir; motor da çoğu kurulumda bu listeye ağırlık verir. “Çıkışı değiştirdim, arayüz hâlâ aynı dilde” şikâyetinin kaynağı neredeyse her zaman budur. İstemci dilini değiştirmeden yapılan bir ülke testi, yalnızca ağ tarafını ölçer.
Arayüz ayarı ise çerezde taşınır: temiz bir profil açmadan yaptığınız ikinci tur, birinci turun tercihlerini miras alır. Her ölçüm turunu ayrı ve boş bir tarayıcı profilinde çalıştırın.
Sonuçtaki fark hangi girdilerden birikiyor?
Aşağıdaki şema, iki çıkış arasında gördüğünüz farkın nereden biriktiğini temsilî ağırlıklarla gösteriyor. Bunlar bir ölçüm sonucu değil, karar sırasını anlatan görece paylardır: en büyük pay genellikle dizin ve dil tarafındadır, ağ çıkarımı ise sonucu biçimlendiren ama tek başına belirlemeyen bir girdidir.
Pratikte bunun anlamı şu: yalnızca çıkış ülkesini değiştirerek yapılan bir testte fark beklediğinizden küçük çıkarsa, kurulumunuz bozuk değildir. Fark, ağırlığı düşük bir değişkeni oynattığınız için küçüktür. Belirgin fark görmek istiyorsanız dil ve arayüz ayarını da senaryonuza uygun biçimde değiştirmeniz, ama bunu ayrı bir seri olarak yürütmeniz gerekir.
Ters yönü de doğrudur: ağ tarafı ağırlığı düşük diye önemsiz değildir. Yerel bloklar, bölgesel hizmet bağlantıları ve bazı içerik uyarıları isteğin geldiği ağa duyarlıdır. Bu blokların varlığını doğrulamak, “sıralamam kaç” sorusundan çoğu zaman daha değerli bir çıktıdır — çünkü tekrar üretilebilir ve ekran görüntüsüyle kanıtlanabilir. Çıkışın hangi ağa ait göründüğü de bu tabloya girer: bir adresin veri merkezi mi yoksa abone ağı mı olduğu, ait olduğu otonom sistemden okunabilir (ASN ve IP itibarı).
ŞEMASonuçtaki farkın girdilere göre temsilî dağılımı
Şemayı yatay kaydırarak inceleyebilirsiniz
Sayılar ölçüm değil, karar sırasını anlatan görece ağırlıklardır; gerçek bir oran iddiası taşımaz.
Baidu kontrolleriniz için çıkış seçin
Oturumsuz sayfa okumalarında datacenter çıkış yeterlidir; bölgesel blokların abone hattından görünümü için residential veya ISP tercih edilir.
Residential proxyler, Datacenter Proxyleri, IPv6 ve ISP çözümlerimizden dilediğinizi seçin. Tüm planlar sınırsız seçenekler, %99,9 çalışma süresi, rotating proxyler, sticky oturumlar ve 7/24 destek sunar. Web scraping, reklam doğrulama, SEO izleme ve dijital veri toplama için idealdir.
ISP ProxyStatik ISP kayıtlı Türkiye IP'leri
ISP kayıtlı statik Türkiye IP'leri; veri merkezi hızını gerçek operatör itibarıyla birleştirir. Uzun oturumlu ve düşük pingli kullanım için idealdir.
Arama operatörleri motordan motora aynı biçimde davranmaz. Bir motorda kesin daraltma yapan sözdizimi, diğerinde yalnızca bir ipucu olarak değerlendirilir ya da sessizce yok sayılır. Baidu’da da gelişmiş arama sözdiziminin karşılığı vardır, ancak hangi sorgu türünde ne kadar sıkı uygulandığı sabit değildir. Doğru yaklaşım, bir operatörün çalıştığını varsaymak yerine iki aşamalı bir sınama kurmaktır.
Sınama şöyle işler: önce operatörsüz sorguyu çalıştırıp ilk sayfadaki alan adlarını kaydedersiniz, sonra operatörlü hâlini çalıştırıp aynı listeyi çıkarırsınız. Operatör gerçekten uygulanıyorsa ikinci listenin birinci listenin alt kümesi olması ve dışarıda bıraktığınız koşulu ihlal eden hiçbir kaydın kalmaması gerekir. Liste daralmıyorsa ya da koşulu ihlal eden kayıtlar duruyorsa, o operatör o sorgu türünde bağlayıcı değildir.
Sözdizimi
Amaç
Sınama ölçütü
Tırnak içinde ifade
Kelimeleri bitişik ve aynı sırada aramak
Dönen sayfalarda ifade birebir geçiyor mu?
Eksi ile dışlama
Bir terimi sonuç kümesinden çıkarmak
Dışlanan terim kayıtlarda hâlâ var mı?
Alan adı daraltması
Aramayı tek bir siteyle sınırlamak
Listede başka alan adı kaldı mı?
Dosya türü daraltması
Belirli biçimdeki belgeleri istemek
Dönen bağlantıların uzantısı tutuyor mu?
Başlıkta arama
Terimi yalnızca başlıkta aramak
Başlığında geçmeyen kayıt var mı?
Sınamayı proxy arkasından yaparken bir noktaya dikkat edin: operatör davranışı çıkış ülkesine göre değişmez, ama sorgu dilinize göre değişebilir. Latin harfli bir sorguda “çalışmıyor” gördüğünüz bir daraltma, Çince bir sorguda beklendiği gibi davranabilir. Bu yüzden operatör sınamasını dil başına ayrı yürütün, sonucu dil etiketiyle birlikte kaydedin ve aynı turda çıkış ülkesini oynatmayın.
robots.txt, hizmet şartları ve toplamanın sınırı
Bu üç kavram sık sık birbirinin yerine kullanılır, oysa farklı şeyleri düzenlerler. robots.txt bir sitenin kök dizininde duran, tarayıcı yazılımlarına hangi yolları gezmemelerini söyleyen bir metin dosyasıdır. Gönüllü bir protokoldür, teknik bir engel değildir; User-agent ve Disallow satırlarından oluşur ve yalnızca otomatik tarayıcıları muhatap alır. Bir sayfayı tarayıcınızda elle açmanız robots.txt kapsamına girmez.
Hizmet şartları ise sözleşme tarafıdır ve genellikle robots.txt’den daha geniştir. Arama motorlarının kullanım koşulları, sonuç sayfalarının otomatik olarak sorgulanmasına, toplu indirilmesine veya yeniden yayımlanmasına çoğu zaman sınır getirir. Bu sınır teknik olarak “mümkün olup olmadığı” ile ilgili değildir; izinle ilgilidir. Ölçekli bir çalışma planlıyorsanız önce motorun sunduğu resmî arayüzleri ve veri kullanım koşullarını inceleyin.
Üçüncü sınır tempodur. Aynı adresten kısa sürede gelen yoğun ve makine düzenli istekler, hem hedef tarafta doğrulama ekranlarını tetikler hem de paylaştığınız çıkışı diğer kullanıcılar için yıpratır. Makul tempo, insan kullanımına yakın aralıklar, turlar arasında bekleme ve doğrulama ekranı görüldüğünde geri çekilme demektir. Bir doğrulama ekranı gördüğünüzde daha hızlı denemek, durumu her zaman kötüleştirir.
Uyarı
Bu sayfa, güvenlik önlemlerinin aşılması, doğrulama ekranlarının otomatik geçilmesi veya kullanım koşullarına aykırı toplu sorgulama için yol göstermez. Anlatılan yöntemler sınırlı, elle yürütülen ve kaydı tutulan doğrulama çalışmaları içindir; uyum sorumluluğu kullanıcıya aittir. Kendi tarafınızdaki çerçeve için kullanım koşulları ve KVKK aydınlatma metni.
Kişisel veri boyutunu da atlamayın: toplanan içerik kişisel veri barındırabilir ve herkese açık olması sınırsız kullanılabilir olduğu anlamına gelmez.
Çıkış türü seçimi ve kurulum
Arama sonucu okuma işlerinin çoğu giriş gerektirmez; bu, çıkış türü kararını kolaylaştırır. Oturum açmayan, sayfayı okuyup kapatan bir kontrol için datacenter proxy genellikle yeterlidir ve en düşük maliyetle en yüksek bant genişliğini verir. Ülkeye özgü blokların gerçek bir abone hattından nasıl göründüğünü doğrulamak istiyorsanız residential proxy daha temsili bir görünüm sunar; sabit adres ve kararlı hız arıyorsanız ISP proxy ikisinin arasındadır.
İkinci karar rotasyon tarafındadır. Karşılaştırma yapan bir seride her istekte adres değiştiren bir havuz, ölçtüğünüz farkın kaynağını belirsizleştirir: iki tur arasındaki değişikliğin ülkeden mi yoksa adresten mi geldiğini ayıramazsınız. Bu yüzden karşılaştırma serilerinde sabit çıkış, geniş taramalarda ise havuz kullanın; ayrımı rotating ile statik proxy farkı anlatıyor.
Kurulumu nereye yaptığınız kapsamı belirler. İşletim sistemi ayarı tüm uygulamaları etkiler; tarayıcı profili yalnızca o profili kapsar ama diğer işlerinizi bozmaz. Ölçüm işlerinde profil bazlı kurulum neredeyse her zaman doğru tercihtir, çünkü aynı makinede hem normal çalışmanızı hem ölçüm turunuzu yan yana yürütebilirsiniz (Chrome proxy ayarları).
Kurulum bittiğinde iş bitmez. Aşağıdaki beş kontrol, ölçüme başlamadan önce bir kez yapılır ve çıkışı her değiştirdiğinizde tekrarlanır. Sırayla geçilmeyen bir kurulumda topladığınız veri, hangi koşulda toplandığı bilinmediği için sonradan savunulamaz.
Çıkış adresini ve ülkesini IP adresim ile doğrulayın, ekran görüntüsünü tur kaydına ekleyin.
Alan adı çözümünün sızmadığını DNS leak testiyle kontrol edin.
Tarayıcı dil listesini ve zaman dilimini elle sabitleyin, her turda aynı kalsın.
Profili boş açın; önceki turun çerezi yeni turu etkilemesin.
IPv6 etkinse çıkışınızın kapsamını doğrulayın, değilse o profilde kapatın.
ŞEMAÖlçüme başlamadan önce geçilecek kontroller
Şemayı yatay kaydırarak inceleyebilirsiniz
Bu beş madde, topladığınız verinin hangi koşulda toplandığını sonradan kanıtlanabilir kılar.
Belirtiler, gecikme ve kota tarafı
Bir sorun yaşadığınızda ilk soru “proxy mi bozuk” değil, “hangi katman konuşuyor” olmalıdır. Aşağıdaki tablo sık görülen belirtileri, en olası kaynaklarını ve bakılacak yeri özetliyor.
Belirti
Olası kaynak
Kontrol adımı
Sayfa açılıyor, görseller ve betikler gelmiyor
Statik kaynak alan adları kural dışında
Kuralı alt alan adlarını kapsayacak biçimde yazın
Latin harfli sorguda sonuç çok az
Dizin tarafında dar karşılık
Kontrol sorgusuyla ağ tarafını eleyin
Arayüz beklediğiniz dilde değil
İstemci dil başlığı değişmedi
Tarayıcı dil listesini sabitleyip tekrarlayın
407 Proxy Authentication Required
Kimlik bilgisi gönderilmiyor veya IP yetkisi düştü
Erişim bilgilerini ve yetkili IP’yi doğrulayın
Bağlantı zaman aşımına uğruyor
Çıkış erişilemiyor ya da port kapalı
Proxy kontrol aracıyla canlılığı sınayın
Turlar ilerledikçe doğrulama ekranı sıklaşıyor
Tempo yüksek veya çıkış paylaşımlı
Beklemeyi artırın, turu durdurun, çıkışı dinlendirin
Gecikme tarafında beklentiyi baştan doğru kurun: proxy bağlantınıza fazladan bir durak ekler, istek önce çıkışa gider ve yanıt aynı yoldan döner. Bu nedenle sayfa açılışı çoğu kurulumda uzar; proxy ping değerini düşürmez. Tek istisna varsayılan rotanızın dolambaçlı olduğu nadir durumlardır ve ancak ölçümle anlaşılır, kural değildir (proxy latency nedir). Ölçüm işlerinde bu ek gecikme bir sorun değildir.
Asıl bütçe kalemi bant genişliğidir. Arama sonucu sayfaları metin ağırlıklı görünse de arayüz betikleri ve görsel önizlemeler hatırı sayılır hacim tutar; binlerce sayfalık bir seride bu birikir. Aktarılan veri üzerinden ücretlendirilen bir havuz kullanıyorsanız, tur sayısını ve derinliğini önceden planlamak sonradan kotayı yükseltmekten ucuzdur. Eşzamanlılık da aynı tarafta durur: bir sonuç sayfası açılırken tarayıcı onlarca paralel bağlantı kurar, birkaç sekme aynı anda çalıştığında tavan beklenenden çabuk dolar ve rastgele görünen kopmalar başlar (eşzamanlı bağlantı limiti).
Baidu ve proxy hakkında sık sorulanlar
01Çıkışı Asya’ya taşıyınca sonuçlar tamamen değişir mi?
Genellikle hayır. Sonuç kümesini en çok dizin içeriği ve sorgunuzun dili biçimlendirir; ağın coğrafi çıkarımı bunların yanında daha küçük bir girdidir. Belirgin fark beklediğiniz yer yerel bloklar ve bölgesel bağlantılardır, organik listenin tamamı değil.
02Latin harfli sorgularda neden bu kadar az sonuç dönüyor?
Dizin ağırlıklı olarak Çince içerikten beslendiği için Latin harfli sorguların karşılığı dardır. Bunu ağ sorunundan ayırmak için karşılığının bol olduğunu bildiğiniz bir kontrol sorgusu çalıştırın: kontrol sorgusu normal dönüyorsa kurulumunuz çalışıyor demektir.
03Tırnak ve eksi gibi operatörler burada da çalışır mı?
Karşılığı vardır, ancak hangi sorgu türünde ne kadar sıkı uygulandığı sabit değildir. Doğru yöntem varsaymak değil sınamaktır: operatörsüz ve operatörlü sorguların ilk sayfa listelerini karşılaştırın, ikinci liste birincinin alt kümesi değilse o daraltma bağlayıcı çalışmıyordur.
04Sonuç sayfalarını otomatik olarak toplayabilir miyim?
Bu bir izin sorusudur, teknik bir soru değil. Arama motorlarının kullanım koşulları otomatik sorgulamaya çoğu zaman sınır getirir; robots.txt ise yalnızca tarayıcı yazılımlarını muhatap alır. Ölçekli bir çalışma için önce resmî arayüzleri ve veri kullanım koşullarını inceleyin, temponuzu makul tutun.
Karşılaştırma yapıyorsanız hayır. Her istekte adres değiştiren bir havuzda, iki tur arasındaki farkın ülkeden mi adresten mi geldiğini ayıramazsınız. Sabit çıkışla ölçün; havuzu yalnızca geniş ve karşılaştırma amacı taşımayan taramalarda kullanın.
06Proxy açıkken sayfa yavaş açılıyor, kurulum hatalı mı?
Hayır, beklenen davranış budur. Araya bir durak girdiği için istek ve yanıt daha uzun bir yol kat eder; ek gecikme normaldir ve sıralama kaydınızı etkilemez. Yalnızca turun süresi uzar. Anormal yavaşlık görüyorsanız çıkışı ping testiyle ölçüp başka bir çıkışla karşılaştırın.
07Ücretsiz proxy listeleriyle bu kontroller yapılır mı?
Ücretsiz listeler biçimi öğrenmek ve tek seferlik bakışlar için uygundur. Tekrarlanabilir bir seride sorun çıkarır: adres bugün çalışıp yarın düşer, çıkış ülkesi ilan edildiği gibi olmayabilir ve kararlılık düşüktür. Üzerinde karar verilecek bir ölçümü bu adreslere dayandırmayın.
08Ölçüm turunda hangi bilgileri saklamalıyım?
En az şunları: sorgu metni, zaman damgası, çıkış etiketi ve ülkesi, istemci dil başlığı, kullanılan profil ve sayfanın kaydedilmiş hâli. Bu alanlar olmadan iki tur arasındaki fark yorumlanamaz; elinizde yalnızca bir izlenim kalır.