Pinterest Proxy: Oran Sınırı, ASN Sınıflandırması ve Oturum Planı
Pinterest üç ayrı yüzeyden erişilebilir: tarayıcı arayüzü, resmî uygulama programlama arayüzü ve görselleri taşıyan dağıtım katmanı. Üçü farklı sınırlarla çalışır. Bu sayfa oran sınırı davranışını, çıkış adresinin ait olduğu otonom sistemin neden önemli olduğunu ve oturumun zaman içinde nasıl planlanacağını anlatıyor.
Oran sınırıPencere, kuyruk ve geri çekilme mantığının kurulumu.
02
ASN etkisiÇıkış adresinin hangi ağ ailesine kaydedildiği.
03
CGNATPaylaşılan mobil adreslerin değerlendirmedeki yeri.
04
Oturum takvimiRotasyon noktasının zaman ekseninde planlanması.
Pinterest tarafında karşılaşılan sorunların çoğu iki başlıkta toplanır: istek hızının sınırı aşması ve çıkış adresinin ait olduğu ağ ailesinin beklenenden farklı değerlendirilmesi. Bu iki başlık birbirinden bağımsızdır ve farklı çözümler ister.
Birincisi tamamen istemci tarafında çözülür. Oran sınırına takılmak bir proxy sorunu değildir; gönderim hızınızın hedefin kabul ettiği pencereyle uyuşmamasıdır. Daha fazla çıkış adresi eklemek bu problemi maskeler ama ortadan kaldırmaz, üstelik yeni bir maliyet doğurur.
İkincisi ağ tarafındadır ve çözümü çıkış türü seçimidir. Aşağıdaki bölümler önce erişim yüzeylerini ayırır, sonra oran sınırı davranışını, yanıt kodlarının okunmasını, adres itibarını ve oturumun zaman ekseninde nasıl planlanacağını ele alır.
Pinterest’e erişimin üç ayrı yüzeyi
Birinci yüzey tarayıcı arayüzüdür. Sayfa yüklendikten sonra arayüz, aynı alan adı altındaki uçlara arka planda istekler göndererek içeriği doldurur. Bu istekler oturum çerezini taşır ve sayfa gezintisiyle birlikte artar.
İkinci yüzey resmî uygulama programlama arayüzüdür. Erişim kayıtlı bir uygulama ve yetkilendirme akışı üzerinden kurulur; istekler jetonla imzalanır ve tanımlı sınırlar içinde çalışır. Kurumsal entegrasyonda doğru başlangıç noktası budur.
Üçüncü yüzey görsellerin taşındığı dağıtım katmanıdır. Ayrı alan adlarından servis edilir, oturumla ilgilenmez ve bayt hacminin büyük kısmını üretir. Yönlendirme tanımınız arayüzün alan adıyla sınırlı kaldığında sayfa iskeleti tünelden, görsel baytları ise doğrudan bağlantınızdan gelir; bu yüzden kapsamı alan adı tahminiyle değil, geliştirici araçlarındaki istek listesiyle doğrulayın.
Bu katmanda kazanılacak en büyük tasarruf koşullu isteklerdir. Bir görseli daha önce indirdiyseniz, sunucunun verdiği sürüm etiketini saklayıp bir sonraki turda bu etiketle sorabilirsiniz; içerik değişmemişse sunucu gövdeyi hiç göndermeden kısa bir yanıt döner. Görsel ağırlıklı bir toplama işinde bu tek alışkanlık, aktarılan bayt miktarını ciddi biçimde azaltır.
Not
Bir işi hem resmî arayüz hem sayfa kazıma ile yapabiliyorsanız resmî arayüz daha sağlam seçenektir: sınırları bellidir ve hizmet şartları açısından tartışma yaratmaz.
Oran sınırı nasıl davranır ve doğru tepki nedir?
Oran sınırı, belirli bir zaman penceresinde kabul edilen istek sayısıdır. Pencere dolduğunda sunucu yeni istekleri reddeder ve genellikle 429 Too Many Requests yanıtı döner. Bu yanıt çoğu zaman bir Retry-After başlığı taşır; başlık, ne kadar beklemeniz gerektiğini saniye ya da tarih olarak bildirir.
Doğru tepki bellidir: beklemek. Yanlış tepki hemen yeniden denemek ya da isteği farklı bir çıkıştan tekrarlamaktır; ikincisi istek hacmini aynı hedefe yığmaya devam eder.
Pratik kurulum üç parçadır: bir kuyruk, artan bekleme süreli yeniden deneme ve pencere başına sabit gönderim hızı. Kuyruk iş üretimini gönderim hızından ayırır; uygulamanız hızlı üretirken ağ katmanı sabit hızda çalışır. Dağıtım mantığı için proxy havuzu yazısına bakın.
Sınırın iki yaygın uygulanış biçimi vardır. Sabit pencere yönteminde sayaç belirli aralıklarla sıfırlanır; bu, pencere sınırına yığılan isteklerin ani bir tepe oluşturmasına yol açar. Jeton kovası yönteminde ise izin sürekli olarak belirli bir hızda yenilenir ve kısa süreli patlamalara sınırlı bir pay tanınır. İkinci modele göre çalışan bir istemci, hedefin hangi yöntemi kullandığından bağımsız olarak daha nazik davranır.
Gönderim hızına küçük bir rastgelelik eklemek de işe yarar. Tüm görevleriniz tam olarak aynı saniyede tetikleniyorsa, bekleme sonrası hepsi aynı anda yeniden denemeye kalkar ve tepe tekrar oluşur. Bekleme süresine birkaç yüz milisaniyelik değişken bir pay koymak bu yığılmayı dağıtır.
ŞEMAOran sınırlı bir uçta kuyruktan yanıta daralma
Şemayı yatay kaydırarak inceleyebilirsiniz
Paylar temsilîdir; gerçek bir ölçüm değildir. Şema, kuyruk ile gönderim hızının ayrılmadığı kurulumlarda daralmanın nerede oluştuğunu göstermek içindir.
Yanıt kodlarını doğru okumak
Hata ayıklarken en sık yapılan yanlış, farklı kodları aynı sepete koymaktır. Aşağıdaki tablo hangi kodun hangi katmana ait olduğunu ve doğru tepkiyi gösteriyor.
HTTP yanıtı
Hangi katman
Doğru tepki
401
Yetkilendirme
Jetonu yenileyin; çıkış adresiyle ilgisi yoktur
403
Hedef sunucu kararı
Çıkış türünü ve istek desenini gözden geçirin
407
Proxy kimlik doğrulaması
Erişim bilgisini veya IP yetkilendirmesini düzeltin
429
Oran sınırı
Retry-After süresince bekleyin, hızı düşürün
5xx
Hedef tarafta geçici arıza
Artan bekleme ile sınırlı sayıda yeniden deneyin
Yanıt yok
Taşıma katmanı
Çıkışın canlılığını ve port erişimini doğrulayın
407 ile 401 karıştırıldığında saatler kaybedilir: biri proxy’ye, diğeri hedef servise aittir. Ayrımı netleştirmek için kimlik doğrulama yöntemleri yazısına göz atın; çıkışın canlılığını proxy kontrol aracıyla hızlıca test edebilirsiniz.
5xx ailesinde ek bir incelik var: yanıtı üreten taraf hedef servis de olabilir, araya giren proxy de. Ayırmanın basit yolu aynı isteği proxy olmadan tekrarlamaktır. Hata her iki durumda da geliyorsa kaynak hedeftedir; yalnızca proxy üzerinden geliyorsa çıkış tarafında bir sorun vardır. Bu tek adım, yanlış yerde saatlerce hata aramayı önler.
Günlük kaydı tutarken yalnızca durum kodunu değil, isteğin hangi çıkıştan gittiğini ve saat bilgisini de saklayın. Bir sorun ortaya çıktığında “hangi adresten, ne zaman, kaç istek” sorusuna cevap veremeyen bir kayıt, hata ayıklamada işe yaramaz.
Adres itibarı: ASN sınıflandırması ve CGNAT etkisi
Her IP adresi bir otonom sisteme (ASN) kayıtlıdır ve bu kayıt kamuya açıktır. Barındırma sağlayıcısının bloğu ile ev internet sağlayıcısının bloğu farklı ASN’lerde durur. Sunucu tarafındaki sınıflandırma bu kayıttan başlar; adresin “iyi” olup olmadığı değil, hangi aileye ait olduğu okunur.
Veri merkezi blokları otomatik trafikle yaygın biçimde ilişkilendirildiği için daha sıkı değerlendirilebilir; buna karşılık hız ve maliyette açık ara öndedir. Arka plan için ASN ve IP itibarı yazısına bakın.
Mobil operatör adresleri ayrı bir kategoridir. Operatörler abonelerini paylaşılan genel adresler üzerinden çıkarır; bu yapı CGNAT olarak bilinir. Tek bir mobil adresin arkasında çok sayıda gerçek abone bulunur. Mekanizma için CGNAT nedir yazısına bakabilirsiniz.
İkinci ayrıntı alt ağ çeşitliliğidir: adreslerinizin tamamı bitişik bir bloktan geliyorsa blok bir bütün olarak değerlendirilebilir. Subnet çeşitliliği yazısı bu riski ele alıyor.
Üçüncü ayrıntı adres ailesidir. IPv6 üzerinden çıkmak, hedefin IPv6 desteğine bağlıdır; destek yoksa bağlantı kurulamaz veya istemci IPv4’e düşer. Ayrıca IPv6 tahsisleri genellikle çok geniş bloklar hâlinde yapılır ve değerlendirme tekil adres yerine blok düzeyinde yürüyebilir. Ayrım için IPv4 ile IPv6 proxy farkı yazısına bakabilirsiniz.
ŞEMAÇıkış adresinin kaydedildiği ağ aileleri
Şemayı yatay kaydırarak inceleyebilirsiniz
Sınıflandırma adresin “iyi” olup olmadığını değil, hangi ağ ailesine kayıtlı olduğunu okur. Hız, maliyet ve temsilîlik bu üç dal arasında ters yönde değişir.
Pinterest çalışmanız için çıkış planını kurun
Oturumsuz okuma işlerinde hız ve maliyet, oturum taşıyan görevlerde sabitlik ve ağ ailesi öne çıkar.
Residential proxyler, Datacenter Proxyleri, IPv6 ve ISP çözümlerimizden dilediğinizi seçin. Tüm planlar sınırsız seçenekler, %99,9 çalışma süresi, rotating proxyler, sticky oturumlar ve 7/24 destek sunar. Web scraping, reklam doğrulama, SEO izleme ve dijital veri toplama için idealdir.
ISP ProxyStatik ISP kayıtlı Türkiye IP'leri
ISP kayıtlı statik Türkiye IP'leri; veri merkezi hızını gerçek operatör itibarıyla birleştirir. Uzun oturumlu ve düşük pingli kullanım için idealdir.
Çerez, jeton ve tarayıcı parmak izinin ağ katmanıyla ilişkisi
Oturum bilgisi tarayıcıda ya da istemci kütüphanenizde saklanır; ağ katmanının bu değerlere erişimi yoktur. Çıkış adresini değiştirmek çerezleri silmez, jetonu geçersizleştirmez ve tarayıcının ürettiği parmak izi bileşenlerini etkilemez.
Bu ayrımı bilmek iki yaygın hatayı önler. Birincisi, oturum sorununu çıkış değiştirerek çözmeye çalışmaktır; ikincisi, çıkış sorununu çerez temizleyerek çözmeye çalışmaktır. İkisi de yanlış katmanda müdahaledir.
Birden fazla oturumla çalışıyorsanız her oturumun çerez deposunu ayrı tutun ve hangi çıkış adresiyle eşleştiğini de aynı yerde saklayın. Oturum bilgisi ile çıkış eşleşmesi tek bir kayıtta durduğunda, bir işi yarıda bırakıp sonra devam etmek kolaylaşır; eşleşme kaybolduğunda ise aynı oturumu başka bir adresten sürdürmek zorunda kalırsınız.
Tarayıcı otomasyonu kullanıyorsanız üçüncü bir ayrıntı devreye girer: istemciniz hangi başlıkları gönderiyor? User-Agent, Accept-Language ve saat dilimi gibi değerlerin çıkış ülkesiyle çelişmemesi, gözlemlerinizin tutarlılığı açısından önemlidir. Proxy’nin kendi eklediği başlıkları da kontrol edin; proxy’nin eklediği HTTP başlıkları yazısı hangi başlıkların ne anlattığını gösteriyor.
Oturumu zaman ekseninde planlamak
İyi bir kurulumda rotasyon rastgele değil, takvimlidir. Oturum açıldığı anda kullanılan çıkış adresi, o oturumun ömrü boyunca sabit kalır; adres değişimi ancak oturum kapatıldıktan sonra yapılır. Bu basit kural, sürtünmenin büyük bölümünü ortadan kaldırır.
Uzun süren toplama işlerinde pencere mantığı kurun: belirli bir süre aynı çıkışla çalışın, sonra işi durdurun, oturumu kapatın ve yeni bir çıkışla yeni bir oturum başlatın. Sticky oturum süresi sağlayıcıya göre değişir; planınızı bu süreye göre bölmek en sağlam yoldur. Rotasyon ayarları yazısı süre ve tetikleyici seçeneklerini karşılaştırıyor.
Oturum gerektirmeyen okuma işlerinde durum tersine döner: burada rotasyonlu bir havuz yükü dağıtmak için doğru araçtır, çünkü korunacak bir oturum yoktur. İki modun farkı rotating ve statik proxy karşılaştırmasında ayrıntılandırılıyor.
Eşzamanlılık kararını da bu takvimin içine yerleştirin. Aynı anda birden fazla oturum çalıştırıyorsanız her birine ayrı bir çıkış atayın ve bunları tek bir yerden takip edin; iki oturumun aynı adresi paylaşması, ikisinin de aynı hız bütçesini tüketmesi anlamına gelir. Toplam hızınızı oturum başına değil, çıkış başına hesaplayın.
Son olarak duraklatma ve devam etme senaryosunu baştan tasarlayın. Uzun süren bir toplama işi kesildiğinde nereden devam edeceğini bilmiyorsa baştan başlar; bu hem zaman hem de sınır bütçesi israfıdır. İşlenen son öğenin kaydını tutmak, kesintiyi ucuz bir olaya çevirir.
ŞEMABir çalışma penceresinde oturum ve rotasyon takvimi
Şemayı yatay kaydırarak inceleyebilirsiniz
Rotasyon rastgele değil takvimli yapıldığında sürtünme azalır: adres değişimi oturumun ortasında değil, oturum kapandıktan sonra gerçekleşir.
Görsel arama ve SEO çalışmalarında kurulum
Pinterest, görsel odaklı keşif trafiğinin önemli bir kaynağı olduğu için içerik ve SEO ekiplerinin izleme listesinde yer alır. Buradaki tipik ihtiyaç, belirli konuların farklı pazarlarda nasıl göründüğünü düzenli aralıklarla kaydetmektir.
Bu iş için kurulum sade tutulabilir: oturumsuz, sabit hızda çalışan, yanıtları arşivleyen bir toplayıcı. Oturum olmadığı için çıkış türü kararı tamamen hıza ve maliyete indirgenir; veri merkezi çıkışları çoğu durumda yeterlidir. Bölgesel görünümün yerel bir aboneden nasıl algılandığını doğrulamak gerekiyorsa sağlayıcı ASN’sinde barınan ISP çıkışları dengeli bir seçenek bırakır.
Arama tarafındaki komşu senaryolar, sıralama izleme araçlarının kendi çıkışlarını yönetmesi ile web scraping proxy tarafındaki havuz kurgusudur; ikisi de yöntem ve ölçek sorusunu farklı uçlardan sorar. Her iki durumda da hedef sitenin kullanım koşullarına uymak ve gönderim hızını makul tutmak temel kuraldır.
Kaydı karşılaştırılabilir kılan şey zamanlamadır
Bir izleme çalışmasının değeri tek tek kayıtlardan değil, kayıtlar arasındaki farktan gelir. Bu farkın anlamlı olabilmesi için gözlemin her turda aynı koşullarda alınması gerekir: aynı saat dilimi, aynı çıkış şehri, aynı sorgu sırası. Rastgele saatlerde toplanan kayıtlarda iki tur arasındaki değişikliğin ne kadarının gerçek bir hareket, ne kadarının günün saatinden kaynaklı bir sapma olduğunu söyleyemezsiniz.
Sıklık kararı da buna bağlıdır. Günde bir kez alınan tutarlı bir kayıt, gün içine dağılmış on dağınık kayıttan daha kullanışlıdır ve hedef tarafa da çok daha az yük bindirir. Toplama sıklığını verinin gerçekten ne hızla değiştiğine göre belirleyin; saatlik değişmeyen bir veriyi saatlik toplamak yalnızca kota ve sınır bütçesi harcar.
Her kayda çıkış ülkesini, şehri ve zaman damgasını ekleyin; sonradan bu alanlar olmadan karşılaştırma yapamazsınız.
Ham yanıtı saklayın, yalnızca ayrıştırılmış özeti değil; ayrıştırma mantığınız değiştiğinde geçmişi yeniden işleyebilmelisiniz.
Bir turda başarısız olan öğeleri ayrı işaretleyin; eksik kaydı sıfır değer gibi işlemek trend grafiğini bozar.
Dikkat
Oran sınırını aşmak için çok sayıda çıkış adresi arasında dönmek, teknik bir çözüm değil sınırın etrafından dolaşma girişimidir. Bu yaklaşım hem hizmet şartlarıyla çelişir hem de havuzunuzun tamamının değerlendirmesini olumsuz etkiler. Doğru yol hızı düşürmek ve resmî arayüzleri kullanmaktır.
Ek durağın maliyeti ve proxy gerekmeyen durumlar
Araya giren her sunucu bir maliyet getirir: fazladan mesafe, fazladan işleme ve fazladan bir arıza noktası. Bu nedenle proxy kullanmak toplam gecikmeyi genellikle yükseltir. Çok sayıda küçük istek gönderen bir toplayıcıda bu etki, her istekte yeniden tünel açıldığında belirginleşir; keep-alive ve bağlantı havuzu ayarları burada belirleyicidir.
Tek bir hesapla, kendi ülkenizden ve elle gezinerek çalışıyorsanız araya bir durak koymanın getirisi yoktur. Proxy katmanı Pinterest tarafında iki somut soruna karşılık gelir: aynı çıkıştan gönderim hızının pencereyi doldurması ve çıkış adresinin ait olduğu ağ ailesinin hedeflediğiniz gözlemi temsil etmemesi. Bu iki başlığın dışında — ekip içinde ortak bir çıkış yönetmek ya da kurumsal ağdan sabit adresle çıkmak dışında — ek katman yalnızca bir arıza noktası ekler.
Maliyetin ikinci kalemi bakımdır ve fatura kaleminde görünmez. Bir proxy katmanı eklediğiniz anda erişim bilgisi yenileme, kota izleme, yanıt vermeyen adresleri ayıklama ve iki katmanlı hata ayıklama da sisteminize girer. Küçük bir iş yükünde bu bakım süresi, katmandan elde edilen faydayı aşabilir; kararı verirken yalnızca abonelik tarafına değil, bu görünmez kaleme de bakın.
Üçüncü kalem arıza yüzeyinin genişlemesidir. Doğrudan bağlantıda sorunun kaynağı ya sizsiniz ya hedeftir; araya bir çıkış girdiğinde üçüncü bir aday eklenir ve her teşhis bir adım uzar. Bunu ucuzlatmanın yolu, kurulumun ilk gününden itibaren aynı isteği proxy’li ve proxy’siz çalıştırabilecek bir yol bırakmaktır. Bu karşılaştırma tek başına, sorunun hangi tarafta olduğunu saniyeler içinde söyler.
Görsel ağırlıklı diğer yüzeylerde benzer bir kurgu geçerlidir; Instagram proxy sayfası oturum davranışının aynı sorulara nasıl farklı cevap verdiğini ayrıntılandırıyor. Kısa video tarafındaki kapsam ayrımı ise buradaki oran sınırı tartışmasının ağ katmanına taşınmış hâli olarak okunabilir.
Pinterest proxy kullanımı üzerine sorular
01429 yanıtı alıyorum, daha fazla çıkış adresi eklemeli miyim?
Hayır. 429 gönderim hızınızın hedefin penceresini aştığını söyler. Doğru tepki Retry-After süresince beklemek ve hızı düşürmektir. Adres sayısını artırmak sınırın etrafından dolaşmaya çalışmak olur; sürdürülebilir bir çözüm değildir.
02Resmî arayüz mü yoksa sayfa okuma mı tercih edilmeli?
İşiniz resmî uygulama arayüzüyle yapılabiliyorsa her zaman o tercih edilir. Sınırlar belgelidir, yanıt biçimi kararlıdır ve sürüm değişiklikleri duyurulur. Sayfa okuma yalnızca resmî bir karşılığı olmayan herkese açık veriler için düşünülür.
03Çıkış adresimin ASN kaydını nasıl öğrenirim?
ASN bilgisi kamuya açık kayıtlardan okunur ve çoğu IP sorgulama aracı bunu gösterir. Kendi çıkışınızı görmek için IP adresim aracını kullanabilirsiniz; sonuçta görünen ASN numarası ve kuruluş adı, adresin veri merkezi bloğunda mı yoksa bir erişim sağlayıcısının bloğunda mı durduğunu doğrudan söyler.
04CGNAT arkasındaki mobil adres bir dezavantaj mı?
Duruma bağlıdır. Paylaşılan yapı, aynı adresten farklı davranışlar görülmesini olağan hâle getirir; bu, temsilî gözlem isteyen senaryolarda avantajdır. Buna karşılık gelen bağlantı kabul etmesi gereken kurulumlarda aynı yapı kısıtlayıcıdır.
05Görsel toplarken aktarılan bayt miktarını nasıl düşürürüm?
Dağıtım katmanından inen görseller için sunucunun döndürdüğü sürüm etiketini saklayın ve bir sonraki turda bu etiketle sorun; içerik değişmemişse gövde hiç gönderilmez. Ayrıca ihtiyacınız olan çözünürlüğün üzerindeki varyantları istemeyin. Kapsam sorunu yaşıyorsanız proxy kuralınızın yalnızca arayüz alan adını değil görsel alan adlarını da içerdiğini doğrulayın.
06Sticky oturum süresi dolarsa ne olur?
Süre dolduğunda sağlayıcı yeni bir çıkış adresi atar. Bu değişim bir aktarımın ortasına denk gelirse bağlantı kopabilir. Bu yüzden çalışma pencerelerinizi sticky süresinden kısa tutun ve rotasyonu pencereler arasına planlayın.
07Tarayıcı otomasyonunda hangi başlıklara dikkat etmeliyim?
User-Agent, Accept-Language ve saat dilimi değerlerinin çıkış ülkesiyle çelişmemesi gerekir. Ayrıca proxy’nin Via veya X-Forwarded-For gibi başlık ekleyip eklemediğini anonimlik testi ile doğrulayın.