[amres-info] Google (ponekad) blokira pretragu

Uto Srp 2 14:50:02 CEST 2013

Zdravo jos jednom!

Hajde da prokomentarisem jos malo.
Mada se problem manifestuje na slican nacin, uzroci mogu biti razliciti, pa
bi bilo zgodno identifikovati i razlicite slucajeve.

Paralela je napravljena sa webmail-om, za sta ste ponudili realno
objasnjenje i rjesenje. :)
Za osnovni problem, pokusala bi da napravim razliku izmedju razlicitih
situacija.

Ako sam dobro shvatila, osnovni problem je sledeci: Postoje situacije u
kojima se na zahtjeve upucene Google servisima (Schoolar, Search) ne dobija
ocekivani odgovor, jer Google (a moguce i neko drugi u lancu ka Googlu) te
zahtejeve identifikuje kao nelegitimno pretrazivanje, ili automatski
genereisano pretrazivanje.

U tom smislu bi bilo zgodno da AMRES dobije informaciju od administratora u
kampusima u kojima je taj problem identifikovan, da li znaju/ ili sumnjaju
da zaista postoji automatski generisano pretrazivanje (bilo legitimno ili
nelegitimno).

Prvo. S ozbirom da znam za ranije istrazivanje na Gradjevinskom fakultetu u
Beogradu, ja bi pretpostavila da se interesovanje za oblast pretrazivanje
nastavila i mogla bi ocekivati da sa mreze Gradjevisnkog dolaze neka
automatski generisana pretrazivanja. :)) Obratiti paznju na sledece. Time ja
ne kazem da bi takve aktivnosti trebalo da bude zaustavljena. Kazem da bi
trebalo da budu identifikovana. Tada bi AMRES prema Googlu mogao reci, mi
imamo takve zahtjeve sa tog opsega. Smatramo ih legitimnim istarazivanjima.
Kako to moze da se omoguci itd. itd. I da se takav saobracaj ili takvi
pretrazivaci ne blokiraju (kada su legitimi sa naseg stanovista.) 

Da dodam, ako automatski generisanih zahtjeva ima, tada informacija o broju
korisnika koji dolazi sa takvog segmenata po meni nije od velike vaznosti.

Drugo. Sasvim je nesto drugo ako takvih automatskih pretrazivanja nema na
nekom segmentu, a Google ili neko drugi ih identifikuje kao da postoje i
blokira ih. Farmaceutski fakutet misli da toga nema na svom segmentu.
Takodje trebalo bi potvrditi i provjeriti da proxy Farmaceutskog izlazi
direktno na Internet, a ne transparentno kroz AMRES proxy.
Tada bi broj korisnika mogao da bude vazan. 

Trece. Ako broj korisnika igra ulogu, onda bi vrjedilo znati da li je
Univerzitet u Novom Sadu imao(ima) isti problem i da li ga je i kako rjesio.
Koliko se sjecam, ARMUNS je mnogo koristo NATovanje i oslanjao se na svoje
proxy servere. Ako to rjesenje nije bitno mjenjano onda ubjedljivo najveci
broj korisnika dolazi kroz proxy servis Univerziteta u Novom Sadu. Da li
imaju/nemaju problem doprinjelo bi razjasnjenu. Dakle vrjedilo bi cuti "male
tajne Velikih Majstora" :))

Eto toliko. 

Pozdrav,
Mara

-----Original Message-----
From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
On Behalf Of Saša Babic
Sent: Saturday, June 29, 2013 11:33 AM
To: amres-info at amres.ac.rs
Subject: Re: [amres-info] Google (ponekad) blokira pretragu

On Sat, 29 Jun 2013 10:26:32 +0200, Milan Sreckovic  
<milan.sreckovic at kpa.edu.rs> wrote:
> Zeleo bih da se slozim sa kolegom sa SF. Naime, i mi na Akademiji smo  
> imali slican problem sa webmail modulom. Resenje je bilo to sto smo sa  
> naseg proxy->ja za upstream koristili fiksnu adresu umesto  
> proxy.amres.bg.ac.rs. naravno zbog raspodele opterecenja, ova adresa se  
> menja 1-2 puta nedeljno. No, ipak, >koristeci URL za proxy, bilo je  
> nemoguce koristiti webmail i to ne samo nas, vec i druge koji imaju  
> slicne module.
>
>
> Predpostavljam da je slican mehanizam koristi i sam Google.

Očito nije (samo) to, jer mi, npr, ne idemo preko AMRES-ovog proxy-poola,  
već direktno.

-----Original Message-----
From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
On Behalf Of Mara Bukvic
Sent: Friday, June 28, 2013 2:09 PM
To: 'Dusan Pajin'; amres-info at amres.ac.rs
Subject: Re: [amres-info] Google (ponekad) blokira pretragu

Zdravo!

Ono sto nije pomenuto, a sto bi po mom misljenju moglo uticati na
rezonovanje u vezi ovog problema je sledece:

Prvo. Ako se ne varam, AMRES je promjenio nacin na koji je implementiran
proxy servis na izlazima iz Akademske mreze. Sada se koristi "proprietary"
uredaji i softver, umjesto starih servera sa squid-om. Da li je to tacno?

Ovo pominjem jer u meni "proprietary" rjesenja uvjek gerenerisu pitanja i
sumnju. Ne znamo da li je ta sumnja otklonjena u AMRESu i na koji nacin?

Drugo, AMRES vise nije izolovana mreza. Ona je dio GEANTa, mreze koja ima
direktne kontakte sa svima. Da ne spominjem nase licne kontakte sa NRENove
koji imaju direktne aranzmane s Googlom. Zasto se ti kontakti ne koriste? Da
li je neko trazio pomoc Dante-a ili Terene? Ne znam da li vama, ali meni ovo
stvarno nevjerovatno zvuci da AMRES vec 6 mjeseci pokusava i ne uspjeva da
ostvari direktne kontakte sa Googlom. 

Pozdrav,
Mara

Inženjer za računarsko-komunikacione tehnologije, RCUB

-----Original Message-----
From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
On Behalf Of Dusan Pajin
Sent: Thursday, June 27, 2013 6:32 PM
To: amres-info at amres.ac.rs
Subject: Re: [amres-info] Google (ponekad) blokira pretragu

Saša,

AMRES-ovi proxy serveri prosledjuju X-forwarded-for polje, tako da udaljeni
server teorijski može da prepozna sa kog klijenta dolaze ti zahtevi.
Medjutim, bez obzira na to, očigledno postoje i dalje problemi... 

Pozdrav,
Dušan Pajin
AMRES

-----Original Message-----
From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
On Behalf Of Milos Kukoleca
Sent: Thursday, June 27, 2013 2:17 PM
To: amres-info at amres.ac.rs
Subject: Re: [amres-info] Google (ponekad) blokira pretragu

Poštovane kolege,

Cela akademska mreža ima problema sa pretragom na Google-u. Nažalost problem
eskalira kako vreme prolazi a Google je nem na sve naše upite. Google
povremeno blokira pristup search servisu (samo search servisu) usled
detekcije "automatskih upita" od određene IP adrese. Kako cela akademska
mreža koristi proxy uređaje kako bi se povezala na Internet, Google vidi
mnogo upita sa jedne IP adrese i to posmatra kao niz automatskih upita. Da
bi ovo sprečio Google suspenduje (blokira) određene konekcije što vi vidite
kao blokadu na Google Search servisu. Prilikom blokade, nije blokiran ceo
proxy uređaj već samo pojedini korisnici iza proxy-ja. Ostali korisnici
nastavljaju nesmetano da koriste google search servis preko proxy-ja.
Blokada ne traje dugo ali je frustrirajuća.

Kontaktirali smo Google veoma često poslednjih meseci povodom ovog problema.
Ova Google zaštita od automatskih upita je na snazi od pre 4 godina, međutim
problem u našoj mreži počinje od početka ove godine. Prvo je počelo sa
Google Scholar servisom pa se nastavilo i sa Google Search servisom. Ipak,
koliko smo primetili nisu svi korisnici jednako blokirani. Problem
predstavlja što google ne odgovara na naša pitanja o ovom problemu a nismo
upoznati ni sa Google-ovim mehanizmom detekcije automatskih upita. Zato nam
ostaje da istražujemo ovakve slučajeve i da svakodnevno pratimo blokade kako
bismo izveli neke preciznije zaključke.

Nekoliko administratora je pitalo da li je moguće ukinuti proxy servis za
HTTP saobraćaj ali to za sada nije moguće. Ukoliko dođe do nekih promena u
načinu funkcionisanja, blagovremeno ćemo vas obavestiti.

Srdačan pozdrav,

Miloš Kukoleča, M.Sc.E.E. CCNA
Network Security Engineer

Akademska mreža Republike Srbije
Bulevar Kralja Aleksandra 90, 11000 Beograd, Srbija

Tel:                   +381 11 7158 950
Mob:                +381 66 8433 096
Fax:                  +381 11 3370 288
Email               milos.kukoleca at amres.ac.rs
Internet:          http://www.amres.ac.rs

-----Original Message-----
From: amres-info-bounces at amres.ac.rs [mailto:amres-info-bounces at amres.ac.rs]
On Behalf Of Saša Babić
Sent: Thursday, June 27, 2013 12:12 PM
To: amres-info at amres.ac.rs
Subject: [amres-info] Google (ponekad) blokira pretragu

Drage kolege,

Da li još neko ima problema (vidi prilog) sa Google pretragom? Ranije su bar
davali CAPTCHA polje, pa je moglo da se zaobiđe. Blokada ne traje dugo, al'
malo je bezveze - blokiraju celu mrežu, s obzirom na to da sve mora da prođe
kroz proxy. Ima li poznatih načina da se to zaobiđe?

Pozdrav,
--
Saša Babić <sb at pharmacy.bg.ac.rs>, sistem administrator Služba za IT,
Univerzitet u Beogradu - Farmaceutski fakultet Vojvode Stepe 450, 11221
Beograd, Srbija
Tel: +381 11 3973949, +381 11 3951323

_______________________________________________
amres-info mailing list
amres-info at amres.ac.rs
http://afrodita.rcub.bg.ac.rs/mailman/listinfo/amres-info

_______________________________________________
amres-info mailing list
amres-info at amres.ac.rs
http://afrodita.rcub.bg.ac.rs/mailman/listinfo/amres-info