İçerik ve Topluluk · Kitap, Film ve Grup Sayfaları
Douban Proxy: Veri Uçları, Oran Sınırı ve Çerez Dayanıklılığı
Douban, kitap ve film kataloglarıyla grup tartışmalarını aynı çatı altında toplar; bu yüzden açtığınız her sayfa birden çok uç noktaya dayanır. Bu sayfa, proxy çıkışınızın bu uçlarda nasıl göründüğünü, oran sınırının hangi sinyallere tepki verdiğini ve oturumun IP değişiminden nasıl etkilendiğini anlatıyor.
İstek gruplarıSayfa iskeleti, sayfa içi veri çağrıları ve statik medyanın ayrı yolları.
02
Oran sınırıYavaşlama ve reddedilme sinyalleri ile doğru geri çekilme ritmi.
03
IP sınıfıASN sınıflandırması, paylaşımlı havuz geçmişi ve CGNAT etkisi.
04
OturumÇerez, cihaz kimliği ve sticky çıkış arasındaki ilişki.
Douban’ı proxy arkasından kullanırken karşılaşılan sorunların çoğu bağlantı sorunu değildir. Sayfa açılır, arama çalışır, ama bir süre sonra bazı istekler boş döner ya da doğrulama ekranı belirir. Bunun nedeni genellikle tek bir ayar değil, birbirinden bağımsız üç değişkendir: isteklerin hangi kapsamdan çıktığı, hangi hızda geldiği ve hangi oturuma ait olduğu.
Platform tarafında bu üç değişken ayrı ayrı değerlendirilir. Çıkış adresinizin ait olduğu ağ türü bir girdi, birim zamandaki istek sayınız ikinci bir girdi, çerezinizin taşıdığı oturum geçmişi üçüncü bir girdidir. Yalnızca IP değiştirmek diğer ikisini etkilemez.
Aşağıdaki bölümler bu üç başlığı sırayla ele alıyor ve her birinde ne ölçeceğinizi gösteriyor. Amaç herhangi bir sınırı etkisiz kılmak değil; kurulumun nerede eksik olduğunu görüp gereksiz istek üretmeden çalışmaktır.
Bir Douban sayfası kaç ayrı istekten oluşur?
Bir konu ya da katalog sayfası açtığınızda tarayıcı önce sayfa iskeletini indirir. Bu, en küçük hacimli parçadır. Ardından yorum listesi, puan dağılımı ve sayfalama gibi bileşenler için ayrı istekler açılır; bunlar sayfa içi veri çağrılarıdır ve sayı olarak iskeletten kat kat fazladır. Üçüncü grup statik varlıklardır: kapak görselleri, avatarlar, arayüz simgeleri. Bu grup çoğu kurulumda ana alan adından farklı adreslerden servis edilir.
Ayrımı bilmek teşhisi kısaltır. Liste sayfası geliyor ama yorumlar boş kalıyorsa sorun kimlik doğrulamada değildir; ya veri çağrıları proxy kapsamı dışında kalmıştır ya da arka arkaya gelen istekler yavaşlatılmıştır. Metin geliyor fakat görsel gelmiyorsa bakılacak yer statik alan adlarıdır.
Kapsamı ne belirler?
Kapsamı en geniş tutan yöntem sistem geneli proxy ayarıdır; en dar olanı tek bir tarayıcı uzantısıdır. Aradaki fark, alt alan adlarını da eşleyen bir kural yazıp yazmadığınızda ortaya çıkar. Tarayıcı bazlı yapılandırmayı tercih ediyorsanız kuralınızı yalnızca ana alan adıyla sınırlamayın. Chrome ve Firefox proxy ayarları bu kuralı birbirinden farklı ekranlarda tutar, dolayısıyla birinde yazdığınız istisna diğerine taşınmaz; Windows proxy ayarları ise tek bir noktadan bütün uygulamaları kapsadığı için kapsam sorusunu baştan kapatır.
Not
Kurulumu test ederken tek bir sayfayı açıp geçmeyin. Bir katalog kaydını, altındaki yorum listesini ve bir grup sayfasını sırayla açın: üç istek grubunun da yönlendirildiğini ancak böyle görürsünüz.
ŞEMABir Douban sayfasının üç istek katmanı
Şemayı yatay kaydırarak inceleyebilirsiniz
Katmanlar içten dışa doğru büyür: iskelet küçüktür, veri çağrıları sayıca fazladır, statik varlıklar hacmin çoğunu taşır. Proxy kuralınız üçünü de kapsamazsa sayfa eksik görünür.
Genel veri uçları, oran sınırı ve doğru geri çekilme
Douban’ın geçmişte üçüncü taraflara açık olan uçlarının büyük kısmı zamanla kapatıldı veya erişimi daraltıldı. Bugün pratikte gördüğünüz veri, sayfanın kendi HTML’i ile arayüzün açtığı sayfa içi çağrılardan oluşur. Bu, resmî bir anahtarla konuşmadığınız anlamına gelir: sizi tanımlayan şey çıkış adresiniz, çerezleriniz ve istek ritminizdir.
Oran sınırı tek bir eşik değildir. Birim zamandaki istek sayısı, aynı anda açık bağlantı sayısı ve aynı adresten gelen toplam hacim ayrı ayrı ağırlık taşır. Sınıra yaklaştığınızda ilk işaret genellikle hata değil yavaşlamadır: yanıt süreleri uzar, bazı çağrılar eksik döner. Bu aşamada hızı artırmak tabloyu kötüleştirir.
Yanıt
Çoğunlukla anlamı
Doğru tepki
200 ama eksik gövde
Kısmi servis veya kapsam dışı çağrı
Kuralın alt alan adlarını kapsadığını doğrulayın
429
İstek hızı tavanı aşıldı
Retry-After varsa ona uyun, yoksa katlanarak bekleyin
403
Çıkış veya oturum kabul edilmiyor
Hızı düşürün, çıkışı ve çerez durumunu ayrı ayrı test edin
Geri çekilme stratejisi basittir: her başarısız istekten sonra bekleme süresini katlayın ve üzerine küçük bir rastgelelik ekleyin. Sabit aralıkla yeniden denemek sınırı sıfırlamaz; üstelik başarısız olan bütün denemeler aynı ana yığıldığı için sunucuya gelen ani yükü büyütür. Bekleme süresine eklenen küçük bir rastgelelik bu yığılmayı zaman içine dağıtır, böylece aynı saniyede tekrar tekrar reddedilen istekler üretmezsiniz. Eşzamanlılık tarafında da tavan vardır; tek bir sayfa onlarca paralel istek açabildiği için sınır beklenenden erken dolar (eşzamanlı bağlantı limiti).
Ölçekli okuma yapacaksanız kararınız protokolden önce mimaridir: tek bir sabit çıkıştan yavaş mı ilerleyeceksiniz, yoksa yükü bir havuza mı dağıtacaksınız? İkincisi için rotating proxy ve web scraping proxy sayfaları başlangıç noktasıdır.
Çıkış adresinin sınıfı: ASN, havuz geçmişi ve CGNAT
Bir isteğin geldiği adres yalnızca bir sayı değildir; bir otonom sisteme (ASN) aittir ve o ASN’in ne tür bir ağ olduğu kayıtlardan bilinir. Veri merkezi blokları, ev abonelerine dağıtılan bloklar ve mobil operatör blokları bu yüzden birbirinden ayrılabilir. Sınıflandırma tek başına karar vermez ama değerlendirmenin girdisidir (ASN ve IP itibarı).
İkinci değişken havuzun geçmişidir. Paylaşımlı bir çıkışta sizden önce aynı adresten geçen trafiğin bıraktığı iz sizin oturumunuzu da etkiler. Bu yüzden aynı ürün etiketiyle satılan iki çıkış farklı davranabilir. Havuzun kaç farklı alt ağa yayıldığı da önemlidir: tek bir bloğa sıkışmış havuz, tek bir işaretle bütünüyle etkilenir (subnet çeşitliliği, paylaşımlı ve özel proxy farkı).
Mobil çıkışlarda devreye giren üçüncü değişken CGNAT’tir. Operatör, tek bir genel adresi çok sayıda gerçek abonenin paylaşmasına izin verir; bu yüzden aynı adresten farklı davranan çok sayıda oturum görmek mobil ağlarda olağandır. Aynı yoğunluk bir veri merkezi adresinde olağan değildir. Mekanizmanın ayrıntısı CGNAT nedir yazısında; ürün tarafı için mobil proxy.
Pratik karar şu soruyla verilir: giriş yapacak mısınız? Yapmayacaksanız datacenter proxy hem en hızlı hem en ekonomik seçenektir. Yapacaksanız ISP proxy veya residential proxy tarafındaki sabit çıkışlar daha az sürtünme üretir.
ŞEMAÇıkış türü ile iş türünün eşleşmesi
Şemayı yatay kaydırarak inceleyebilirsiniz
Tablodaki değerler nitel bir yönlendirmedir, ölçüm sonucu değildir. Karar sırası şudur: giriş yapılacak mı, kaç eşzamanlı istek açılacak, oturum ne kadar sürecek.
Douban çalışmalarınız için çıkış türünü seçin
Giriş yapılmayan okuma işlerinde datacenter çıkış yeterlidir; oturum taşıyan ve uzun süren işlerde sabit ISP veya residential çıkış daha az sürtünme üretir.
Residential proxyler, Datacenter Proxyleri, IPv6 ve ISP çözümlerimizden dilediğinizi seçin. Tüm planlar sınırsız seçenekler, %99,9 çalışma süresi, rotating proxyler, sticky oturumlar ve 7/24 destek sunar. Web scraping, reklam doğrulama, SEO izleme ve dijital veri toplama için idealdir.
ISP ProxyStatik ISP kayıtlı Türkiye IP'leri
ISP kayıtlı statik Türkiye IP'leri; veri merkezi hızını gerçek operatör itibarıyla birleştirir. Uzun oturumlu ve düşük pingli kullanım için idealdir.
Proxy yalnızca paketin hangi yoldan çıktığını değiştirir. Oturumunuzu taşıyan çerez, tarayıcınızın yerel deposunda tuttuğu kayıtlar ve arayüzün ürettiği cihaz kimliği yerinde kalır. Bu yüzden çıkışı değiştirip aynı profille devam ettiğinizde platform tarafında görünen şey “yeni bir ziyaretçi” değil, “adresi değişmiş bilinen bir oturum”dur.
Bu tabloda tutarlılık, gizlilikten daha çok işe yarar. Giriş yapılan senaryolarda hedefiniz her istekte farklı görünmek değil, aynı oturumun makul bir yerden gelmeye devam etmesidir. Bunun karşılığı sticky çıkıştır: aynı adres belirli bir süre korunur. Süre dolduğunda uyarı almazsınız; yalnızca bir sonraki istek başka bir adresten gider. Kurulum ve süre yönetimi için sticky oturum ve gateway mimarisi.
Profil ayrımı neden gerekir?
Aynı tarayıcı profilinde hem normal işinizi hem proxy’li işinizi yürütürseniz çerezler karışır ve teşhis imkânsızlaşır. Ayrı profil, ayrı çerez kavanozu demektir; bu, izole edilmiş tarayıcı ortamlarının temel faydasıdır (antidetect tarayıcı ve proxy ilişkisi). Rotasyonun yeri ise oturum gerektirmeyen, herkese açık sayfaların okunduğu işlerdir.
Bir oturum için tek bir çıkış etiketi kullanın ve bunu yazılı tutun.
Sticky penceresini iş oturumunuzdan geniş seçin.
Proxy ve VPN’i aynı anda çalıştırmayın; iki katman teşhisi bulanıklaştırır.
Çıkış ülkesini iş boyunca sabit tutun, ortasında değiştirmeyin.
Uyarı
Bu sayfa hesap çoğaltma, otomatik etkileşim üretme veya platform güvenlik önlemlerini etkisiz kılma amacıyla yazılmamıştır. Douban’ın hizmet şartlarına ve yürürlükteki mevzuata uyum kullanıcının sorumluluğundadır.
HTTP proxy uygulama katmanında çalışır: düz HTTP isteklerini görebilir, başlık ekleyebilir, HTTPS için CONNECT ile bir tünel açar. SOCKS5 taşıma katmanında durur ve içeriği yorumlamaz. Tarayıcı işlerinde ikisi de sonuç verir; komut satırı araçları ve kendi yazdığınız istemciler söz konusu olduğunda uyumluluk belirleyici olur (HTTP ve SOCKS5 farkı, protokol seçim rehberi).
Bağlantı bilgisi
Sağlayıcınızın verdiği erişim bilgisi her istemcide aynı dört alandır. Aşağıdaki tablo yalnızca biçimi gösterir; gerçek değerler müşteri panelinizdedir.
Alan
Örnek
Nerede kullanılır
Ana bilgisayar
proxy.example.com
Tarayıcı, sistem ayarı, komut satırı
Port
8080
Protokole göre değişir (port numaraları)
Kullanıcı adı
username
Kimlik doğrulamalı çıkışlarda zorunlu
Parola
password
Panelden alınır, ekip dışına çıkmaz
Kimlik doğrulama yönteminde iki seçenek vardır. IP whitelist sabit adresli ofisler için pratiktir ama hattınız dinamikse her yenilenmede erişim kesilir. Kullanıcı adı ve parola her yerden çalışır, buna karşılık paylaşılabilir bir sırdır (kimlik doğrulama yöntemleri). Ürün tarafında SOCKS5 ve HTTP proxy sayfaları hangi çıkışın hangi portu verdiğini gösteriyor.
Son adım doğrulamadır: çıkışınızı IP adresim ile kontrol edin, sonra aynı profilde bir Douban sayfası açıp üç istek grubunun da geldiğini görün. Sıra bu değilse hata hangi katmanda diye uzun süre arayabilirsiniz.
İstek başlıkları ve anonimlik seviyesi neyi ele verir?
Her proxy aynı ölçüde sessiz değildir. Bazı sunucular isteğe X-Forwarded-For, Via ya da benzeri başlıklar ekleyerek hedefe aracı bir nokta bulunduğunu, kimi zaman da özgün adresinizi bildirir. Bu davranış sunucu yapılandırmasına bağlıdır ve ürün adından anlaşılmaz; ölçmek gerekir (proxy anonimlik testi, anonimlik seviyeleri).
Ücretsiz listelerde bu ayrım özellikle değişkendir: aynı listede şeffaf davranan sunucularla hiçbir iz bırakmayan sunucular yan yana durur. Öğrenme ve tek seferlik kontrol için ücretsiz proxy listesi yeterlidir; giriş yapılan bir oturumu bu sunuculardan geçirmek ise bilmediğiniz bir aracıya güvenmek anlamına gelir (ücretsiz proxy güvenli mi).
Başlık dışında iki sinyal daha vardır. Birincisi dil ve saat dilimi ayarınızdır: çıkışınız Avrupa’da, tarayıcı dili ve saatiniz başka bir bölgedeyse ortaya tutarsız bir profil çıkar. İkincisi TLS tarafıdır; doğru kurulmuş bir HTTPS proxy’si oturuma karışmaz, sertifika uyarısı görüyorsanız trafiğiniz bir noktada açılıp yeniden şifreleniyor demektir (TLS sertifika doğrulama).
Ölçümü hem proxy açıkken hem kapalıyken yapın ve hangi tarayıcı profilinde test ettiğinizi not edin; sonuç profile özeldir, makineye değil.
Kuralın alt alan adlarını kapsadığını ve istek hızını doğrulayın
Kapak görselleri boş kutu
Statik alan adları yönlendirilmiyor
Sistem geneli ayara geçip aynı sayfayı tekrar açın
Kısa süre sonra doğrulama ekranı
Eşzamanlılık yüksek, kısa sürede çok fazla istek
Paralel istek sayısını düşürün, işi daha uzun bir süreye yayın, gerekiyorsa tarayıcıda elle devam edin
Oturum sık düşüyor
Sticky penceresi iş süresinden kısa
Sabit çıkışa geçin, pencere süresini panelden kontrol edin
407 yanıtı
Kimlik bilgisi gönderilmiyor ya da whitelist dışı
Kullanıcı adı, parola ve yetkili IP kaydını karşılaştırın
Arayüz beklenmedik dilde
Çıkış ülkesi farklı
Çıkışı lokasyon listesinden seçin
Bağlantı bir süre sonra kopuyor
Eşzamanlı bağlantı tavanı veya kota sonu
Paneldeki limit ve kalan kotayı okuyun
Tablodaki satırların çoğu aynı hataya çıkar: kurulum bir kez yapılıp bir daha ölçülmemiştir. Çıkışın canlılığını düzenli kontrol etmek, sorunu kullanıcı fark etmeden görmenizi sağlar (proxy hızı nasıl test edilir).
407 özel bir durumdur ve neredeyse her zaman kimlik doğrulamayla ilgilidir. İki kaynağı vardır: istemciniz kimlik bilgisini hiç göndermemektedir ya da sağlayıcı sizi adresinizden tanımaktadır ve o adres değişmiştir. İkincisi dinamik IP kullanan ev ve ofis hatlarında düzenli olarak tekrarlanır.
Gecikme, önbellek ve proxy’nin gereksiz olduğu durumlar
Proxy bağlantıya bir durak ekler: istek önce proxy sunucusuna, oradan hedefe gider ve yanıt aynı yoldan döner. Bu nedenle proxy kullanmak gecikmeyi çoğu kurulumda artırır; ping değerini düşürmez. Tek istisna, varsayılan rotanızın dolambaçlı olduğu ve proxy’nin daha doğrudan bir omurgaya bağlandığı nadir durumlardır ve bu bir kural değil, ölçülmeden varsayılamayacak bir istisnadır (proxy latency).
Etkiyi küçültmenin iki yolu vardır. Birincisi lokasyon seçimidir: gereksiz kıtalar arası turu engellemek için çıkışı hedefe ve size makul mesafede tutun; APAC yakınlığı için Singapur veya Japonya çıkışı, TR görünümü gerektiren işlerde Türkiye çıkışı değerlendirilir. İkincisi bağlantı yeniden kullanımıdır: çok sayıda küçük istek açan sayfalarda her seferinde yeni TCP ve TLS el sıkışması yapmak pahalıdır (keep-alive ve bağlantı havuzu).
İpucu
Douban’ın liste ve yorum sayfaları çok sayıda küçük istek ürettiği için burada belirleyici olan tek bir isteğin süresi değil, arka arkaya gelen isteklerin tutarlılığıdır. Bir çıkışı kalıcı olarak kullanmaya karar vermeden önce aynı ölçümü akşam yoğunluğunda bir kez daha alın: gündüz sorunsuz görünen paylaşımlı bir havuz, yoğun saatte tek tek istekleri geciktirerek sayfanın yarım yüklenmesine yol açabilir.
Son olarak proxy’nin gereksiz olduğu hâli de söylemek gerekir. Tek bir hesapla kendi ülkenizden olağan bir kullanım yapıyorsanız araya bir katman koymak yalnızca gecikme ve maliyet ekler. Amacınız cihazdaki tüm trafiği şifrelemekse aradığınız araç da proxy değildir; proxy yalnızca yapılandırdığınız uygulamayı kapsar (proxy ile VPN farkı). Proxy’nin anlamlı olduğu senaryolar ise bellidir: bölgesel görünüm doğrulaması, kurumsal ağdan sabit adresle çıkma ve herkese açık verinin ölçülü okunması.
Douban ve proxy hakkında sık sorulanlar
01Douban için hangi proxy türü uygundur?
Kararı türden önce iş belirler. Giriş yapmadan herkese açık katalog ve liste sayfaları okuyacaksanız datacenter proxy hem hızlı hem ekonomiktir. Oturum açıp uzun süre aynı kimlikle gezinecekseniz ISP proxy veya residential proxy tarafındaki sabit çıkışlar tercih edilir.
02Sayfa açılıyor ama yorumlar yüklenmiyor, sebebi ne?
Yorum listesi sayfanın ilk gövdesiyle birlikte gelmez; arayüz açıldıktan sonra ayrı bir istekle çekilir. Bu istek proxy kuralınızın dışında kalıyorsa ya da arka arkaya çok sayıda çağrı gönderdiğiniz için yavaşlatıldıysa bölüm boş görünür. Önce kapsamı, sonra istek hızınızı kontrol edin.
03429 yanıtı aldığımda ne yapmalıyım?
429, birim zamandaki istek hacminin tavanı aştığını bildirir. Yanıt Retry-After başlığı taşıyorsa süresine uyun. Taşımıyorsa bekleme süresini her denemede katlayın ve üzerine küçük bir rastgelelik ekleyin. Aynı hızda yeniden denemek sınırı sıfırlamaz.
04Proxy değiştirince oturumum neden sıfırlanmıyor?
Çerez yalnızca kendi katmanında sıfırlanır ve bunun üç yolu vardır: ayrı bir tarayıcı profili açmak, o profilin çerez kavanozunu temizlemek ya da hesaptan çıkış yapmak. Çıkış adresini değiştirmek bu üçünden hiçbirine dokunmaz; IP ile oturum ayrı katmanlardır ve birbirini tetiklemez. Aynı profilde sekmeyi gizli moda almak da tek başına yeterli değildir, çünkü açık kalan diğer sekmeler eski kavanozu kullanmaya devam eder.
05CGNAT arkasındaki mobil çıkış ne fark yaratır?
Mobil havuzda aynı adresin arkasında sizden bağımsız aboneler bulunur; bu yüzden tek bir adresin geçmişine bakarak havuzun tamamı hakkında karar veremezsiniz. Değerlendirmeyi adres bazında değil oturum bazında yapın: aynı etiketten birkaç kez çıkıp sonuçları karşılaştırın. Mekanizmanın ayrıntısı için CGNAT yazısı.
06Ücretsiz proxy ile Douban okunur mu?
Herkese açık bir sayfayı bir kez görüntülemek için ücretsiz listeler iş görür. Düzenli çalışma veya giriş yapılan oturum için önerilmez: sunucuyu kimin işlettiği bilinmez, kararlılık düşüktür ve bazıları isteğe kendi başlıklarını ekler.
07Proxy Douban sayfalarını daha hızlı açar mı?
Genel olarak hayır. Araya fazladan bir durak eklendiği için açılış süresi çoğu kurulumda uzar. Beklentinizi hız değil kapsam ve süreklilik üzerine kurun; ölçüm için ping testi ve proxy kontrol aracı yeterlidir.