[zdl-devel] bypassare cloudflare

[Gianluca Zoni]

ciao,
questa nota potrebbe essere di qualche utilità in futuro.

Mentre facevo un po' di manutenzione, aggiornando qualche estensione
non più funzionante, ho scoperto una cosa (ovvia ma) inquietante:
cloudflare non permette l'accesso diretto alle pagine web, quindi
wget/curl/... non possono fornire a zdl i sorgenti dei servizi di
hosting che ne fanno uso! Il problema è che wget/curl/... non
hanno un motore javascript che permetta di simulare pienamente un
browser. Ho provato diverse soluzioni, fra cui:

(per far funzionare i link di rockfile.eu, che ora è protetto da
cloudflare) 

1) https://github.com/Anorov/cloudflare-scrape

   riesce a bypassare cloudflare ma è un modulo per realizzare
   applicazioni in python. Non l'ho provato fino in fondo (sono
   riuscito a scaricare il sorgente della prima pagina ma mi sono
   fermato) e forse non risolve interamente il problema. È
   interessante e potrebbe essere utile se si volesse
   riprogettare/riscrivere il programma in questo splendido
   linguaggio. Per ora è troppo impegnativo da integrare: sarebbe
   come cercare di uccidere un moscerino a cannonate... non solo
   non ne vale la pena, ma potremmo non colpire il bersaglio

2) elinks (e lynx)

   ho sperimentato soprattutto con elinks e sono riuscito ad
   ottenere il sorgente della prima pagina, ma serve un modo per
   passare i post-data. Ne ho inventato uno, ma anche se riesce a
   farmi raggiungere la seconda pagina (quella decisiva per
   superare lo pseudo-captcha) non riesco a salvarla per estrarre
   i dati...
   Lynx, invece, può inviare i post-data tramite opzione, ma
   sembra sprovvisto di motore javascript (in ogni caso, non
   andava oltre la prima pagina)

3) nmap

   ho risolto con questo magico strumento hackeroso, cioè con:
   nmap --script dns-brute -sn rockfile.eu

   ho ottenuto diversi indirizzi IP:
   quelli di www.rockfile.eu sono di cloudflare e non funzionano,
   ma per fortuna il server hosting di rockfile.eu ha lo stesso
   IP del suo mail server!
   Alla fine ho aggiornato l'estensione di rockfile.eu
   automatizzando la sostituzione del dominio con l'IP reale
   (quello del server di posta)



-- 
Z O N I N O Z
Gianluca Zoni

address@hidden
http://inventati.org/zoninoz
http://savannah.gnu.org/users/zoninoz