[amres-info] Google (ponekad) blokira pretragu

[Saša Babić]

On 07/02/2013 02:50 PM, Mara Bukvic wrote:
> Ako sam dobro shvatila, osnovni problem je sledeci: Postoje situacije u
> kojima se na zahtjeve upucene Google servisima (Schoolar, Search) ne dobija
> ocekivani odgovor, jer Google (a moguce i neko drugi u lancu ka Googlu) te
> zahtejeve identifikuje kao nelegitimno pretrazivanje, ili automatski
> genereisano pretrazivanje.
>
> U tom smislu bi bilo zgodno da AMRES dobije informaciju od administratora u
> kampusima u kojima je taj problem identifikovan, da li znaju/ ili sumnjaju
> da zaista postoji automatski generisano pretrazivanje (bilo legitimno ili
> nelegitimno).
>
> Prvo. S ozbirom da znam za ranije istrazivanje na Gradjevinskom fakultetu u
> Beogradu, ja bi pretpostavila da se interesovanje za oblast pretrazivanje
> nastavila i mogla bi ocekivati da sa mreze Gradjevisnkog dolaze neka
> automatski generisana pretrazivanja. :)) Obratiti paznju na sledece. Time ja
> ne kazem da bi takve aktivnosti trebalo da bude zaustavljena. Kazem da bi
> trebalo da budu identifikovana. Tada bi AMRES prema Googlu mogao reci, mi
> imamo takve zahtjeve sa tog opsega. Smatramo ih legitimnim istarazivanjima.
> Kako to moze da se omoguci itd. itd. I da se takav saobracaj ili takvi
> pretrazivaci ne blokiraju (kada su legitimi sa naseg stanovista.)
>
> Da dodam, ako automatski generisanih zahtjeva ima, tada informacija o broju
> korisnika koji dolazi sa takvog segmenata po meni nije od velike vaznosti.
>
> Drugo. Sasvim je nesto drugo ako takvih automatskih pretrazivanja nema na
> nekom segmentu, a Google ili neko drugi ih identifikuje kao da postoje i
> blokira ih. Farmaceutski fakutet misli da toga nema na svom segmentu.
> Takodje trebalo bi potvrditi i provjeriti da proxy Farmaceutskog izlazi
> direktno na Internet, a ne transparentno kroz AMRES proxy.
> Tada bi broj korisnika mogao da bude vazan.

Da potvrdim, naš proxy je podešen da izlazi direktno na net, osim za 
pretrage elektronskih časopisa i sl. (KOBSON) koje preusmeravamo na 
parent proxy.amres.ac.rs.

Ja sam probao da prođem kroz squid.log i nisam našao ništa što bi 
ukazalo na eventualni uzrok problema. Ne znam koliki broj korisnika je 
kritičan - mi smo u protekla 2,5 do 3 dana imali 155 jedinstvenih IP 
adresa sa, reklo bi se, oko 2500 pretraga.

Sav saobraćaj koji izlazi na Internet mi NAT-ujemo i to je moja jedina 
pretpostavka o mogućem uzroku problema.