[amres-info] Google (ponekad) blokira pretragu

Administratori Racunarskog centra Saobracajnog fakulteta sfadministratori at sf.bg.ac.rs
Uto Srp 2 17:05:23 CEST 2013 

Zdravo svima,

evo iskustva sa Saobracajnog. Testirali smo slucaj sa samo dva aktivna  
korisnika na mrezi(kolega i ja, u tri sata ujutru). Kroz proxy SF  
(koji ne koristi RCUB) sve prolazi regularno. Medjutim cim kada se  
prebacimo na RCUB, Google scholar (preko upita na Google.rs, na jednom  
racunaru, kao i preko Firefox-ove start strane), koji je u tom  
trenutku bio na tapetu, se odmah pobunio. Za test je upotrebljena  
Mozilla Firefox, sa proxy-switch add-on-om, koji radi reload strane  
pri promeni proxy-ja. Na switchu su bili podeseni jedino SF-proxy i  
RCUB-proxy.

Pozdrav,
Sloba

Quoting Mara Bukvic <mara at rcub.bg.ac.rs>:

> Zdravo jos jednom!
>
> Hajde da prokomentarisem jos malo.
> Mada se problem manifestuje na slican nacin, uzroci mogu biti razliciti, pa
> bi bilo zgodno identifikovati i razlicite slucajeve.
>
> Paralela je napravljena sa webmail-om, za sta ste ponudili realno
> objasnjenje i rjesenje. :)
> Za osnovni problem, pokusala bi da napravim razliku izmedju razlicitih
> situacija.
>
> Ako sam dobro shvatila, osnovni problem je sledeci: Postoje situacije u
> kojima se na zahtjeve upucene Google servisima (Schoolar, Search) ne dobija
> ocekivani odgovor, jer Google (a moguce i neko drugi u lancu ka Googlu) te
> zahtejeve identifikuje kao nelegitimno pretrazivanje, ili automatski
> genereisano pretrazivanje.
>
> U tom smislu bi bilo zgodno da AMRES dobije informaciju od administratora u
> kampusima u kojima je taj problem identifikovan, da li znaju/ ili sumnjaju
> da zaista postoji automatski generisano pretrazivanje (bilo legitimno ili
> nelegitimno).
>
> Prvo. S ozbirom da znam za ranije istrazivanje na Gradjevinskom fakultetu u
> Beogradu, ja bi pretpostavila da se interesovanje za oblast pretrazivanje
> nastavila i mogla bi ocekivati da sa mreze Gradjevisnkog dolaze neka
> automatski generisana pretrazivanja. :)) Obratiti paznju na sledece. Time ja
> ne kazem da bi takve aktivnosti trebalo da bude zaustavljena. Kazem da bi
> trebalo da budu identifikovana. Tada bi AMRES prema Googlu mogao reci, mi
> imamo takve zahtjeve sa tog opsega. Smatramo ih legitimnim istarazivanjima.
> Kako to moze da se omoguci itd. itd. I da se takav saobracaj ili takvi
> pretrazivaci ne blokiraju (kada su legitimi sa naseg stanovista.)
>
> Da dodam, ako automatski generisanih zahtjeva ima, tada informacija o broju
> korisnika koji dolazi sa takvog segmenata po meni nije od velike vaznosti.
>
> Drugo. Sasvim je nesto drugo ako takvih automatskih pretrazivanja nema na
> nekom segmentu, a Google ili neko drugi ih identifikuje kao da postoje i
> blokira ih. Farmaceutski fakutet misli da toga nema na svom segmentu.
> Takodje trebalo bi potvrditi i provjeriti da proxy Farmaceutskog izlazi
> direktno na Internet, a ne transparentno kroz AMRES proxy.
> Tada bi broj korisnika mogao da bude vazan.
>
> Trece. Ako broj korisnika igra ulogu, onda bi vrjedilo znati da li je
> Univerzitet u Novom Sadu imao(ima) isti problem i da li ga je i kako rjesio.
> Koliko se sjecam, ARMUNS je mnogo koristo NATovanje i oslanjao se na svoje
> proxy servere. Ako to rjesenje nije bitno mjenjano onda ubjedljivo najveci
> broj korisnika dolazi kroz proxy servis Univerziteta u Novom Sadu. Da li
> imaju/nemaju problem doprinjelo bi razjasnjenu. Dakle vrjedilo bi cuti "male
> tajne Velikih Majstora" :))
>
> Eto toliko.
>
> Pozdrav,
> Mara
>
>
> -----Original Message-----
> From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
> On Behalf Of Saša Babic
> Sent: Saturday, June 29, 2013 11:33 AM
> To: amres-info at amres.ac.rs
> Subject: Re: [amres-info] Google (ponekad) blokira pretragu
>
> On Sat, 29 Jun 2013 10:26:32 +0200, Milan Sreckovic
> <milan.sreckovic at kpa.edu.rs> wrote:
>> Zeleo bih da se slozim sa kolegom sa SF. Naime, i mi na Akademiji smo
>> imali slican problem sa webmail modulom. Resenje je bilo to sto smo sa
>> naseg proxy->ja za upstream koristili fiksnu adresu umesto
>> proxy.amres.bg.ac.rs. naravno zbog raspodele opterecenja, ova adresa se
>> menja 1-2 puta nedeljno. No, ipak, >koristeci URL za proxy, bilo je
>> nemoguce koristiti webmail i to ne samo nas, vec i druge koji imaju
>> slicne module.
>>
>>
>> Predpostavljam da je slican mehanizam koristi i sam Google.
>
> Očito nije (samo) to, jer mi, npr, ne idemo preko AMRES-ovog proxy-poola,
> već direktno.
>
> -----Original Message-----
> From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
> On Behalf Of Mara Bukvic
> Sent: Friday, June 28, 2013 2:09 PM
> To: 'Dusan Pajin'; amres-info at amres.ac.rs
> Subject: Re: [amres-info] Google (ponekad) blokira pretragu
>
> Zdravo!
>
> Ono sto nije pomenuto, a sto bi po mom misljenju moglo uticati na
> rezonovanje u vezi ovog problema je sledece:
>
> Prvo. Ako se ne varam, AMRES je promjenio nacin na koji je implementiran
> proxy servis na izlazima iz Akademske mreze. Sada se koristi "proprietary"
> uredaji i softver, umjesto starih servera sa squid-om. Da li je to tacno?
>
> Ovo pominjem jer u meni "proprietary" rjesenja uvjek gerenerisu pitanja i
> sumnju. Ne znamo da li je ta sumnja otklonjena u AMRESu i na koji nacin?
>
> Drugo, AMRES vise nije izolovana mreza. Ona je dio GEANTa, mreze koja ima
> direktne kontakte sa svima. Da ne spominjem nase licne kontakte sa NRENove
> koji imaju direktne aranzmane s Googlom. Zasto se ti kontakti ne koriste? Da
> li je neko trazio pomoc Dante-a ili Terene? Ne znam da li vama, ali meni ovo
> stvarno nevjerovatno zvuci da AMRES vec 6 mjeseci pokusava i ne uspjeva da
> ostvari direktne kontakte sa Googlom.
>
> Pozdrav,
> Mara
>
> Inženjer za računarsko-komunikacione tehnologije, RCUB
>
>
> -----Original Message-----
> From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
> On Behalf Of Dusan Pajin
> Sent: Thursday, June 27, 2013 6:32 PM
> To: amres-info at amres.ac.rs
> Subject: Re: [amres-info] Google (ponekad) blokira pretragu
>
> Saša,
>
> AMRES-ovi proxy serveri prosledjuju X-forwarded-for polje, tako da udaljeni
> server teorijski može da prepozna sa kog klijenta dolaze ti zahtevi.
> Medjutim, bez obzira na to, očigledno postoje i dalje problemi...
>
> Pozdrav,
> Dušan Pajin
> AMRES
>
> -----Original Message-----
> From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
> On Behalf Of Milos Kukoleca
> Sent: Thursday, June 27, 2013 2:17 PM
> To: amres-info at amres.ac.rs
> Subject: Re: [amres-info] Google (ponekad) blokira pretragu
>
> Poštovane kolege,
>
> Cela akademska mreža ima problema sa pretragom na Google-u. Nažalost problem
> eskalira kako vreme prolazi a Google je nem na sve naše upite. Google
> povremeno blokira pristup search servisu (samo search servisu) usled
> detekcije "automatskih upita" od određene IP adrese. Kako cela akademska
> mreža koristi proxy uređaje kako bi se povezala na Internet, Google vidi
> mnogo upita sa jedne IP adrese i to posmatra kao niz automatskih upita. Da
> bi ovo sprečio Google suspenduje (blokira) određene konekcije što vi vidite
> kao blokadu na Google Search servisu. Prilikom blokade, nije blokiran ceo
> proxy uređaj već samo pojedini korisnici iza proxy-ja. Ostali korisnici
> nastavljaju nesmetano da koriste google search servis preko proxy-ja.
> Blokada ne traje dugo ali je frustrirajuća.
>
> Kontaktirali smo Google veoma često poslednjih meseci povodom ovog problema.
> Ova Google zaštita od automatskih upita je na snazi od pre 4 godina, međutim
> problem u našoj mreži počinje od početka ove godine. Prvo je počelo sa
> Google Scholar servisom pa se nastavilo i sa Google Search servisom. Ipak,
> koliko smo primetili nisu svi korisnici jednako blokirani. Problem
> predstavlja što google ne odgovara na naša pitanja o ovom problemu a nismo
> upoznati ni sa Google-ovim mehanizmom detekcije automatskih upita. Zato nam
> ostaje da istražujemo ovakve slučajeve i da svakodnevno pratimo blokade kako
> bismo izveli neke preciznije zaključke.
>
> Nekoliko administratora je pitalo da li je moguće ukinuti proxy servis za
> HTTP saobraćaj ali to za sada nije moguće. Ukoliko dođe do nekih promena u
> načinu funkcionisanja, blagovremeno ćemo vas obavestiti.
>
> Srdačan pozdrav,
>
> Miloš Kukoleča, M.Sc.E.E. CCNA
> Network Security Engineer
>
> Akademska mreža Republike Srbije
> Bulevar Kralja Aleksandra 90, 11000 Beograd, Srbija
>
> Tel:                   +381 11 7158 950
> Mob:                +381 66 8433 096
> Fax:                  +381 11 3370 288
> Email               milos.kukoleca at amres.ac.rs
> Internet:          http://www.amres.ac.rs
>
>
>
>
>
> -----Original Message-----
> From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
> On Behalf Of Saša Babić
> Sent: Thursday, June 27, 2013 12:12 PM
> To: amres-info at amres.ac.rs
> Subject: [amres-info] Google (ponekad) blokira pretragu
>
> Drage kolege,
>
> Da li još neko ima problema (vidi prilog) sa Google pretragom? Ranije su bar
> davali CAPTCHA polje, pa je moglo da se zaobiđe. Blokada ne traje dugo, al'
> malo je bezveze - blokiraju celu mrežu, s obzirom na to da sve mora da prođe
> kroz proxy. Ima li poznatih načina da se to zaobiđe?
>
>
> Pozdrav,
> --
> Saša Babić <sb at pharmacy.bg.ac.rs>, sistem administrator Služba za IT,
> Univerzitet u Beogradu - Farmaceutski fakultet Vojvode Stepe 450, 11221
> Beograd, Srbija
> Tel: +381 11 3973949, +381 11 3951323
>
> _______________________________________________
> amres-info mailing list
> amres-info at amres.ac.rs
> http://afrodita.rcub.bg.ac.rs/mailman/listinfo/amres-info
>
> _______________________________________________
> amres-info mailing list
> amres-info at amres.ac.rs
> http://afrodita.rcub.bg.ac.rs/mailman/listinfo/amres-info
>
> _______________________________________________
> amres-info mailing list
> amres-info at amres.ac.rs
> http://afrodita.rcub.bg.ac.rs/mailman/listinfo/amres-info


-- 
Administratori RCSF:
Dr Nikola Knezevic, dipl.ing
Slavisa Acimovic, dipl. ing, CCNA
Mr Slobodan Mitrovic, dipl. ing, CCNA
---
Univerzitet u Beogradu
RCSF - Racunarski centar Saobracajnog fakulteta u Beogradu
---
University of Belgrade
RCSF - Faculty of Transport and Traffic Engineering Computer Center
Belgrade, Serbia
---
Tel/Fax: +381 11 3091338
E-mail: sfadministratori at sf.bg.ac.rs
Web: http://rc.sf.bg.ac.rs

Više informacija o amres-info mailing listi