access log collecting

[Marco Borromeo]

Ciao a tutti,

una curiosità: come raccogliete i vostri access log dei webservers?

Uso far puntare l'error log sul syslog, e centralizzare quindi la gestione di questi logs, ma gli access sarebbero troppi, e ho paura che il syslog non ci starebbe dietro.

Ho letto su scalable internet architectures di theo schlossnnagle un capitolo sull'uso di spread e del relativo mod per apache, ma googlando in giro sembra ben poco usato e il mod mi sembra parecchio vecchio.

Voi come affrontate il problema?
Evitate il live processing, e al log rotate li spostate su macchine che li processano, o usate qualche altro sistema?

Sempre che non siano informazioni troppo risevate, ovviamente

Tnx in anticipo!
Marco.

Add: sto ovviamente parlando di un ambiente dove ci sono X webservers, non solo 1

[EvolutionCrazy]

"processarli" per?

tipo awstats e robe simili?

lograte.... comprimi con gzip e trasferisci in un posto sicuro non vedo cosa altri ci vada fatto... se proprio tratti contenuto davvero "pericoloso" ci fai un paio di hash sopra gli archivi?? boh

[Marco Borromeo]

"processarli" per?

tipo awstats e robe simili?

lograte.... comprimi con gzip e trasferisci in un posto sicuro non vedo cosa altri ci vada fatto... se proprio tratti contenuto davvero "pericoloso" ci fai un paio di hash sopra gli archivi?? boh

Processarli per dare in pasto ad un "supervisor" tutti gli eventi che stanno accadendo sulla piattaforma, e rilocare potenza di calcolo su altre aree togliendone ad altre in modo automatico.
Ma ho bisogno di avere tra le mani i logs di qualsiasi cosa, con un delay massimo di 5 minuti (e non mi posso permettere un logrotate così spesso, ovviamente )

[EvolutionCrazy]

non avrei idea di come fare... ma conviene sul serio fare un "balancing" di quel tipo *a posteriori* e riprendendo in mano tutti i dati? non conviene farlo live o comunque passare i dati a sto "supervisore" nell'istante in cui qualche risorsa viene usata anzichè loggare e poi passarglieli?

[Derevko]

Processarli per dare in pasto ad un "supervisor" tutti gli eventi che stanno accadendo sulla piattaforma, e rilocare potenza di calcolo su altre aree togliendone ad altre in modo automatico.
Ma ho bisogno di avere tra le mani i logs di qualsiasi cosa, con un delay massimo di 5 minuti (e non mi posso permettere un logrotate così spesso, ovviamente )

Non per farmi i fatti tuoi, ma mi pare un po' bizzarra la cosa. Non so come tu possa capire dai log carico e potenze di calcolo. Ammettiamo che tu ci riesca, sicuramente avrai tutto molto "verboso", ovvero stai sprecando davvero tante risorse per scrivere dei log.

[Marco Borromeo]

Non per farmi i fatti tuoi, ma mi pare un po' bizzarra la cosa. Non so come tu possa capire dai log carico e potenze di calcolo. Ammettiamo che tu ci riesca, sicuramente avrai tutto molto "verboso", ovvero stai sprecando davvero tante risorse per scrivere dei log.

Bhe si, non nego che l'idea sia bizzarra, ma so che grossi sistemi già si basano su un sistema molto simile, ad esempio paypal.
In effetti è giusta anche la tua osservazione, avrei un grosso dispendio di calcolo sul processing dei logs, e dovrei bilanciare per bene la cosa.

Una situazione-tipo sarebbe quella di dividere su più microcluster diverse parti del sito, ad esempio la search, una di community, una di macchine per servire gli assets statici, e una per tutto il resto.
In base al flusso che trovo nei vari access logs aggregati, usando una piattaforma di cloud computing, sposto potenza in uno dei microcluster.

In realtà, un sistema così già ce l'ho funzionante, ma non so come "scalare" il log collecting. Tentando di flooddare i webserver, i syslog non stanno dietro al traffico generato dagli access log, e tutto collassa bellamente
Credo che dovrò scrivermi un qualche mod_sarcazzo mio per far fronte alla faccenda

[EvolutionCrazy]

http://highscalability.com/tags/loadbalancing

se proprio vuoi leggere di qualche soluzione davvero grossa...

ma se parli di volumi grossi... fare balancing a posteriori mi sembra una cosa inutile e che arriva sempre in ritardo... il tempo che "sposti" il carico... e magari nei log che ti arrivano dopo vedi che se ne era gia' spostato dell'altro...

[Marco Borromeo]

http://highscalability.com/tags/loadbalancing

se proprio vuoi leggere di qualche soluzione davvero grossa...

ma se parli di volumi grossi... fare balancing a posteriori mi sembra una cosa inutile e che arriva sempre in ritardo... il tempo che "sposti" il carico... e magari nei log che ti arrivano dopo vedi che se ne era gia' spostato dell'altro...

Si, conosco quel sito, e ho già avuto a che fare con carichi grossi.
Il mio obiettivo ora non è il loadbalancing, che lo sto ottenendo (per ora) con sistemi miei su layer-4 su macchine bsd, ma ottimizzare al massimo l'infrastruttura, non lasciandone parti "dormienti" e rilocarle dinamicamente dove ce ne sta più bisogno.
Ma, appunto, buona parte della baracca funziona discretamente; l'unico problema sta nel raccogliere i log dalle macchine in modo furbo.