Calcolare il traffico di una struttura web

[macrunner]

Ciao a tutti,
farò sicuramente una domanda da incompetente ma vorrei sapere se esiste un tool, una formula un "Monitor" per poter calcolare il traffico che può generare un sito, un forum eccetera.
Faccio un esempio, realizzo un portalino e-commerce con Joomla usando, sempre ad esempio, Virtuemart. A questo punto lancio il monitor e metto sotto torchio il portalino analizzando le query generate, il consumo di banda eccetera, questo per un X periodo di tempo.
E' fattibile o ho scritto un'immane strXXXXata?

Questa richiesta nasce dal fatto che spesso leggo da parte di chi offre hosting offerte di banda di un certo valore X. Ma come faccio a sapere se le mie applicazioni HTML, Flash eccetera rientrano in quei consumi o li superano ampiamente?

Grazie

[Uno]

Vuoi calcolare queste cose su un sito già esistente o per tue applicazioni in sviluppo?

[guest]

Puoi metter mano al server (ovvero il server è gestito da te) oppure sei su uno shared hosting (o semplicemente non puoi accedere al server) ?

In quest'ultimo caso è il calcolo è un po più difficile e molto più impreciso in quanto ti dovresti armare di uno strumento di analisi traffico esterno (solitamente javascript) come ad esempio Google Analytics o altri.

Se invece puoi accedere al server o puoi ottenere i log di apache la situazione è più semplice.
Nel primo caso, puoi implementare per il virtualhost in questione un CustomLog dove registri solo i byte. Fai la somma ed ecco fatto il calcolo.

Se invece puoi accedere ai log, calcoli il traffico facendo sempre la somma dei byte dell'access.log

Il problema nasce dal fatto che è difficile monitorare esternamente il traffico di un singolo virtualhost, faresti prima a monitorare tutto il traffico del server tramite MRTG o simile, sempre che tu possa accedere alla community SMTP del server.

[WizOfOz]

ci sono dei tool per stressare le applicazioni web... non ti calcolano a priori il traffico ma questo lo puoi misurare come conseguenza tramite un qualsiasi monitor snmp

[macrunner]

Vuoi calcolare queste cose su un sito già esistente o per tue applicazioni in sviluppo?

Entrambe le situazioni. Ma più di preciso per una web application ancora in fase beta

[macrunner]

Puoi metter mano al server (ovvero il server è gestito da te) oppure sei su uno shared hosting (o semplicemente non puoi accedere al server) ?

Attualmente siamo su uno shared hosting (dreamhost) quindi mi sa che è un po' più complicato stimare il traffico

[macrunner]

ci sono dei tool per stressare le applicazioni web... non ti calcolano a priori il traffico ma questo lo puoi misurare come conseguenza tramite un qualsiasi monitor snmp

Esiste un tool da installare e utilizzare in locale? Magari il sistema non è molto affidabile ma almeno mi faccio un'idea di massima.

[Uno]

Entrambe le situazioni. Ma più di preciso per una web application ancora in fase beta

Per le query e l'ottimizzazione diretta del codice la miglior cosa è un strumento di debugging che può essere compreso nell'ambiente di programmazione che stai utilizzando o esterno sotto forma di applicativo.
Se vuoi un consiglio più mirato devi specificare anche il linguaggio di programmazione.

Oltre a questo è una buona cosa incorporare direttamente nell'applicativo un sistema di logging su file e che stampa da qualche parte (mi pare che parliamo di applicativo web quindi a fondo pagina) il tempo di esecuzione di ogni singola routine quando lanci l'applicativo in modalità dev. In questo modo può essere abbastanza facile trovare i colli di bottiglia.

Per vedere l'occupazione di risorse il traffico etc... ci sono due vie, ma una sola è attendibile:
Il primo, maccheronico, fare dei calcoli statistici moltiplicando le risorse usate da un utente per x utenti che si spera di avere.
Il secondo più preciso utilizzare programmi esterni (stress tool) o autoprodotti anche nello stesso linguaggio, che lanciano un tot di richieste simulando utenti reali fanno vedere una determinata macchina come reagisce a tot carico con tot utenti.

Insomma il discorso è lungo e ci sono vari modi per fare le stesse cose, ma non esiste un tool unico che fa tutto.

[ceccus]

Salve,
Allora, secondo me, devi scindere in almeno 2 aspetti la questione :

1° aspetto : le queryes ... per questo puoi utilizzare i tools appositi del DB che andrai ad utilizzare ... per esempio MySQL ... dico del DB che andrai ad utilizzare perchè non tutti i "motori" dei DB risolvono la stessa query utilizzando gli stessi meccanismi.

2° aspetto : il traffico ... e qui , occorrono degli "stressatori" ... che poi siano in grado di legare fra loro le informazioni e fornirti , poi, una " foto panoramica" della situazione.

Per esperienza personale, la parte dove si guadagna in maniera macroscopica è certamente quella legata all' accesso ai dati sul DB ... un accesso "sbagliato" ai dati, può compromettere tranquillamente anche il Server più "carrozzato" ...
Difficile ottenere gli stessi risultati di ottimizzazione analizzando il solo codice non inerente all' accesso al DB ...

Ciao !!

[WizOfOz]

Esiste un tool da installare e utilizzare in locale? Magari il sistema non è molto affidabile ma almeno mi faccio un'idea di massima.

Questo di microsoft è gratuito ma un po' datato...
Download details: Web Application Stress Tool

[macrunner]

Molte grazie a tutti per i preziosi consigli e link
Più avanti posterò sicuramente le mie prime esperienze e valutazioni
Grazie ancora

[macrunner]

Escludendo i siti dinamici è possibile fare un conteggio su una base come questa:?

1 pagina html + css (50 kbyte) con 2 video da 5 Mbyte l'uno.
Per ogni singolo utente che visiona la pagina e si guarda i 2 video vengono consumati circa 10 Mbyte, a questo punto moltiplico per X ipotetici visitatori quotidiani e per i giorni del mese.
Così se ho 10 visitatori al giorno ho un consumo di banda mensile di circa 3 Gbyte al mese?
Sto sbagliando a calcolare così?

[guest]

E' un calcolo molto spannometrico ma sostanzialmente va bene.

[WizOfOz]

Ad esempio non tieni conto che parte dei contenuti potrevvero venire cachati dai browser degli utenti se questi non sono tutti unici

[macrunner]

Comincio a capire un po' meglio come sia possibile sforare in un attimo un certo limite in traffico assegnato dal provider. Se ad esempio ho una pagina di video che illustrano l'uso di un prodotto e non voglio usare YouTube ma un player flash, in poco tempo si rischia di sforare.

Mi chiedo però chi offre hosting con traffico illimitato in che modo mi avvisa che sto per sforare?
Ed essendo appunto dichiarato illimitato in che modo il provider, ammesso che mi avvisa prima staccare la spina, mi permette di aumentare (a pagamento) il traffico mensile?

Sempre come riferimento di esempio di provider estero, dreamhost, questi dichiarano traffico illimitato ma questo illimitato è evidentemente relativo. Se ospito sui loro server qualche tipologia di sito che macina banda che fanno, mi bombardano l'ufficio con le armi avanzate dal conflitto in Iraq?

Non so, mi sto rendendo conto che l'uso del termine illimitato possa causare in alcuni casi qualche problema.