Poiché i residential proxy vengono fatturati a GB, il costo è direttamente proporzionale ai byte scaricati . La buona notizia è questa: in un'operazione tipica gran parte dei dati scaricati è superflua. Con le impostazioni giuste è possibile raccogliere gli stessi dati dimezzando la fattura, a volte riducendola a un terzo.
In questo articolo elenchiamo dieci metodi applicabili, con il relativo impatto stimato.
Prima misura: in cosa stai spendendo?
In questa distribuzione la parte realmente necessaria è un ottavo del totale. L'intera ottimizzazione consiste nell'alzare questa percentuale.
1. Filtraggio delle risorse (il guadagno maggiore)
Se usi un browser, annulla a livello di rete i file di immagine, media, font e stile. Una richiesta bloccata non raggiunge mai il proxy e quindi non viene conteggiata. Guadagno tipico: %55–70.
2. HTTP puro al posto del browser
Se il dato è presente nel sorgente HTML o in una risposta XHR, il browser non serve affatto. Trovare nella scheda Network un endpoint che restituisce JSON è decine di volte più economico rispetto al caricare l'intera pagina. Guadagno tipico: %70–90.
Apri la scheda Network e ricarica la pagina; trovare la richiesta che trasporta il dato che cerchi richiede spesso pochi minuti e fa risparmiare per mesi.
3. Uso di un pool a livelli
Non ogni target richiede il residential. Prova prima la risorsa più economica e, se fallisce, passa a quella superiore:
| Livello | Fonte | Ordine di tentativo | Costo relativo |
|---|---|---|---|
| 1 | Connessione diretta | Primo tentativo | Zero |
| 2 | Datacenter | Dopo un 403 | Molto basso |
| 3 | ISP | Se ancora 403 | Media |
| 4 | Residential | Ultima risorsa | Alto |
Guadagno tipico: %30–50. Se gran parte della tua lista di target è facile, il guadagno è ancora maggiore.
4. Aumenta il tasso di successo
Anche ogni richiesta fallita consuma dati. Lavorare con un tasso di successo del 70% significa circa il 35% di traffico in più rispetto al 95%. Il modo più efficace per aumentare il successo è ridurre la velocità.
Il traffico totale necessario a raccogliere gli stessi dati cresce rapidamente man mano che il tasso di successo scende. Rallentare, il più delle volte, significa risparmiare.
5. Usa una cache
Se estrai la stessa pagina più volte nel corso della giornata, aggiungi un livello di cache locale. Per le pagine che non cambiano, usare una richiesta condizionale (If-Modified-Since) consuma quasi zero traffico grazie alla risposta 304. Guadagno tipico: %10–25.
6. Mantieni la compressione
Assicurati che nelle tue richieste sia presente l'header Accept-Encoding: gzip, br . Rimuovere questa riga mentre si personalizzano gli header a mano è un errore diffuso e fa una differenza del 65–80% sui contenuti testuali.
7. Riduci la rotazione superflua
Ogni nuovo IP significa un nuovo handshake TCP e TLS. Non cambiare IP dopo richieste andate a buon fine; riutilizza la connessione. Per i dettagli vedi al nostro articolo sulle impostazioni di rotazione . Guadagno tipico: %5–12.
8. Accorcia le catene di redirect
Ogni 301/302 è un giro di richieste in più. Individuare gli URL finali e andare direttamente su di essi fa risparmiare in modo significativo sulle catene lunghe. Inoltre, usare direttamente http:// al posto di https:// elimina in partenza un redirect.
9. Imposta avvisi di quota
I livelli automatici evitano che la quota si esaurisca a metà mese bloccando tutta l'operazione. Regola le soglie in base al tuo profilo di consumo.
10. Scegli il prodotto giusto
Per lavori ad alto volume e di lunga durata, al posto del residential a consumo GB i pacchetti IP fissi con traffico illimitato possono risultare molto più economici. In un'operazione che genera oltre 200 GB al mese questa differenza raggiunge proporzioni enormi.
Stima il tuo traffico mensile e metti a confronto i prezzi dei due modelli. Il metodo di calcolo nel nostro articolo sulla banda passo dopo passo.
Effetto combinato
I metodi non si sovrappongono, si rafforzano a vicenda. Nello scenario di esempio si è scesi a circa un nono del costo iniziale; il guadagno reale varia in base ai tuoi obiettivi.
Riepilogo
Il costo dei residential proxy è in larga misura una voce controllabile. Prima misura, poi applica nell'ordine: filtraggio delle risorse, rinuncia al browser, pool a livelli, aumento del tasso di successo, cache, compressione, disciplina di rotazione e protezione della quota. Nei lavori ad alto volume, rivedere il modello di prodotto può da solo generare il risparmio maggiore. Per le opzioni di pacchetto proxy residenziale e ISP proxy puoi consultare le nostre pagine.