Passaggio Virtuo -> AWS

[maranik]

Salve ragazzi,
da quando mi sono iscritto ai feed di hostingtalk la curiosita' per il cloud computing cresce in modo esponenziale di giorno in giorno
Devo dire che non ci sto capendo granche'... Ma vorrei cominciare a pensare ad un trasferimento della mia macchina virtuale (virtuo) su amazon, il motivo? Il costo...
Avrei bisogno di alcuni chiarimenti, spero che voi vogliate darmi una mano.
La premessa e' che il mio server virtuo viene utilizzato per applicazioni e servizi web e deve avere uptime e banda ad alti livelli.

Le domande sono:
1. La piattaforma amazon e' indicata al mio problema oppure e' meglio solo per il computing?
2. Cosa dovrei prendere oltre a ec2 (small)? EBS? S3? Non ci ho capito molto :S
3. La banda e' a pagamento, ma la larghezza di banda e le prestazioni come sono?
4. EBS e' necessario per mettere i dati o posso utilizzare lo spazio sulla instance (mi pare di aver capito che se la istance ha problemi potrei perdere i dati)

Grazie a tutti,
Saluti
Davide

[GrG]

1 - EC2 è per tutto
2 - Dipende da quello che ci devi fare ovviamente
3 - Io mi trovo benissimo sia in UK che in USA, poi ho una DR a Singapore e li è un disastro, ma penso più a causa mia che loro
4 - Si esatto. EBS è persistente, lo storage interno alla macchina si perde se si spegne la macchina. Ricordati che è così SEMPRE, anche per i programmi installati. Amazon non ti garantisce che quella precisa VM sia attiva, ti garantisce che in un determinato momento ne è attiva una su quell'ip installata dall'immagine iniziale. Ovvio è un caso estremo (in tutta la loro storia, quasi 4 anni hanno perso solo mezzo rack cioè non più di 250 istanze su -presumibilmente- milioni).

Il consiglio è dinon lanciarti in un ambiente che non conosci perchè le complicazioni sono tante -tante- e quei pochi euro risparmiatti potresti perderli di nuovo al primo problema.

[Ste]

Ciao Davide, il tuo messaggio dimostra che è ora di scrivere per me qualche tutorial e approfondimento su EC2

1) Dipende dai costi che sostieni ora e da quale è la necessità di "scalare" con le tue istanze. Il cloud solitamente si usa per applicazioni online che come richiedi devono avere un alto livello di uptime e soprattutto devono poter scalare, quindi aggiungere e togliere risorse on.demand.

2) EC2 ha diverse tipologie di istanze, dalle small (o micro) fino a quelle con GPU, però la cosa migliore è che tu legga un po' le loro pagine informative. Il vero vantaggio è il fatto di poter avere una serie di API con cui controllare la creazione e la gestione delle istanze una volta che queste sono avviate. Tieni conto che se vuoi evitare un modello di pagamento pay per use, puoi utilizzare il modello reserved instance, ovvero paghi un tot annuale come avviene per una comune VPS o come avviene ora per il tuo servizio, e poi in eccesso eventuali altri servizi.

S3 è un servizio di storage cloud, EBS sono degli hd virtuali che tu monti sulle istanze e che ovviamente non sono volatili, per cui appena spegni la tua istanza il tuo EBS continua a contenere i dati. Elastic Block Storage

3) ora non ne sono sicuro e dovresti controllare, ma ad ogni modo ogni tipologia di istanza ha accesso ad un quantitativo diverso di banda, credo che per una istanza large il massimo sia intorno ai 50Mbit/s, ma qualcuno più informato di me, con qualche test sottomano può spiegarti e darti valori più precisi. Ad ogni modo per quanto riguarda invece il traffico, paghi quello in ingresso e in uscita, secondo le tariffe che trovi sul sito.

4) Come detto sopra, i metodi sono usare EBS, per il so, e poi S3 ad esempio se hai file o altro in grandi quantità. Ovviamente da escludere l'uso dello storage dell'istanza, quando spegni, se ne va


Se hai altre domande chiedi pure, se so rispondere faccio volentieri

[Ste]

GRG ha scritto insieme a me, ad ogni modo, come detto da lui, prima di migrare su EC2 serve un po' di pratica con tutto il loro ambiente e se attualmente non la gestisci tu, cercare una persona che sappia metterci mano

[maranik]

Ste, grazie per la risposta...
Ragazzi e' un piacere scrivere su questo forum, persone cosi' disponibili sono difficili da trovare in giro!

Per quanto riguarda il tutorial, se hai tempo di farlo ti assicuro che mettero' cartelloni in giro con: "Ste santo subito"

Come dicevo poco prima i miei costi sono un po' altini per qello che mi serve, ma devo essere sincero non ho mai pensato di abbandonare virtuo perche' la struttura mi e' sembrata superiore a quasi tutte le alternative presenti. Oggi (in realta' esiste da un pezzo) mi si e' parata davanti aws e devo dire che non penso di perde molto a livello di affidabilita' nel passaggio da ngi ad amazon (per me l'affidabilita' e' una cosa dalla quale non posso prescindere, i miei clienti la esigono :S)

Grazie ancora per le risposte, di sicuro ci sto pensando seriamente e sono conscio del fatto che mi servira' fare un po' di esperienza in piccolo e poi, eventualmente, fare un porting di tutto.

[maranik]

Il consiglio è dinon lanciarti in un ambiente che non conosci perchè le complicazioni sono tante -tante- e quei pochi euro risparmiatti potresti perderli di nuovo al primo problema.

Grazie per la risposta ;-)
Ecco, il vero problema e' proprio quello. Oggi pago circa 1900 euro l'anno su virtuo... Su amazon MI SEMBRA (perche' non si capisce moltissimo sui prezzi) che ne pagherei molto meno, a patto di una fase iniziale in cui devo imparare come funziona il tutto.

[Ste]

Tieni conto però che anche per quanto riguarda l'assistenza su EC2 è a parte, per cui dovresti sottoscrivere un eventuale contratto per quella. Ora non so come funzioni su Virtuo Potresti provare inizialmente migrando qualcosa di "soft" e vedendo come si comporta per qualche mese

[GrG]

Tieni conto che la istanza small è qualcosa di microscopico.

Puoi darci un pò di dati sulla tua Virtuo attuale, RAM, CPU, Storage banda disponibile e traffico che fai effettivamente così facciamo due conti veloci?

Non hai nessun tipo di servizio managed vero?

Quanto usi l'assistenza? Nel senso, chiedi consigli su come fare le frittelle, configurare apache o li chiami solo per problemi effettivamente loro?

Sulla larghezza di banda ho capito poco anche io, inizialmente leggevo 40mbps ovunque, io però ho provato ad andare anche a 100 mbps e passarli. Credo facciano shaping in qualche modo strano, quindi forse di fatto ti raccontano che hai 50 mbps di banda, poi però di fatto vai a molto di più.

Ah ricorda una cosa che a mio parere è FONDAMENTALE (è il motivo per cui pur avendo migrato TUTTO su EC2 -mi rimane un solo dedicato, uno solo, perchè ho bisogno di una scheda audio e un altro clusterino che potrei benissimo migrare ma avevamo appena comprato due bilanciatori hw nuovi di pacca, dicevo, motivo per cui pur avendo migrato tutto su EC2 ho ancora diversi Linode): non puoi scalare. Se ti serve una istanza superiore devi attivarla e spostare a mano tutti i dati.

Grazie

[maranik]

Tieni conto che la istanza small è qualcosa di microscopico.

Puoi darci un pò di dati sulla tua Virtuo attuale, RAM, CPU, Storage banda disponibile e traffico che fai effettivamente così facciamo due conti veloci?

Non hai nessun tipo di servizio managed vero?

Quanto usi l'assistenza? Nel senso, chiedi consigli su come fare le frittelle, configurare apache o li chiami solo per problemi effettivamente loro?

Grazie

Intanto Grazie a VOI, che mi state dedicando sto tempo ;-)
Faccio tutto da solo, non sono un super esperto ma con linux me la cavo. Ho dovuto contattarli solo quando hanno avuto un problema sui loro dns.

Per quanto riguarda le caratteristiche ti do' direttamente disponibilita' e consumi:

top - 12:51:17 up 607 days, 17:11,  1 user,  load average: 0.10, 0.03, 0.01
Tasks: 124 total,   2 running, 122 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.3%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   1036092k total,  1003580k used,    32512k free,   289936k buffers
Swap:  1951888k total,    37028k used,  1914860k free,   491344k cached

/dev/sda1               124427     14383    103620  13% /boot
/dev/sda3             49557428   6772348  40267696  15% /
/dev/sdb1             78635676  15521948  63113728  20% /mnt/hd2

La cpu e' garantita al 50% di media.
Banda 10mbit flat. Sui consumi non saprei di preciso perche' avendo la flat non me ne sono mai occupato, ma credo di stare sotto al 1 GB/mese massimo. eth0 la uso per il traffico web, eth1 viene usata per il backup su una macchina tivoli del datacenter ngi.
Queste sono le stats ifconfig, sperando non si azzerino:

eth0      Link encap:Ethernet  HWaddr 00:50:56:80:7c:41  
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1382946584 errors:3050 dropped:4068 overruns:0 frame:0
          TX packets:805079986 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1684974238 (1.5 GiB)  TX bytes:1152612100 (1.0 GiB)
          Interrupt:18 Base address:0x1080 

eth1      Link encap:Ethernet  HWaddr 00:50:56:80:00:35  
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:166591076 errors:0 dropped:0 overruns:0 frame:0
          TX packets:464222961 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1439446010 (1.3 GiB)  TX bytes:1575796617 (1.4 GiB)
          Interrupt:19 Base address:0x1400

Grazie ancora

[GrG]

Intanto Grazie a VOI, che mi state dedicando sto tempo ;-)

Figurati guarda visti gli ultimi tempi è una cosa carina vedere qualcuno con la testa sulle spalle che faccia domande serie

Faccio tutto da solo, non sono un super esperto ma con linux me la cavo. Ho dovuto contattarli solo quando hanno avuto un problema sui loro dns.

Amazon più che assistenza offre consulenza a pagamento, per il resto è un pò come Google, non dovrai mai contattarli per problemi loro. Poi quando capitano grossi casini ti offrono assistenza anche se non devono (dicevo, per quelle 250 istanze perse che poi di fatto è stato il momento in cui il mondo ha capito cosa voleva dire storage non persistente, avevano contattato tutti i clienti e li avevano aiutati a rimetter su i backup). Quindi credo non avrai problemi.

C'è qualcosa che non va hai per caso tirato giù o su le eth ultimamente? Perchè li segna neanche 2 gb, e poco sopra dice che la macchina è accesa da 607 giorni.

A questo punto:

- Non ti serve storage locale
- L'utilizzo di CPU è basso a parte picchi immagino.

Quindi lascerei stare la small e penserei ad una micro: hai meno ram di NGI PERO' hai il doppio della CPU di una small come burst. Che è perfetto per te. Ed eviti anche di pagare lo storage locale di una Small che tanto non useresti.

Dai solo un occhio allo SLA, io non ho tempo, per controllare che le micro siano alla pari delle small e delle altre istanze. Non ho chiesto ma Linux vero? Quanto spazio di backup usi in totale? (se fai 1 gb a settimana e tieni un mese di storico son 4 gb) così ti faccio due conti.

[maranik]

C'è qualcosa che non va hai per caso tirato giù o su le eth ultimamente? Perchè li segna neanche 2 gb, e poco sopra dice che la macchina è accesa da 607 giorni.

Di recente non mi ricordo di aver fatto down su eth... In 607 giorni probabilmente si, ma non di recente. Quindi il mio traffico e' davvero poco ;-)

Quindi lascerei stare la small e penserei ad una micro: hai meno ram di NGI PERO' hai il doppio della CPU di una small come burst. Che è perfetto per te. Ed eviti anche di pagare lo storage locale di una Small che tanto non useresti.

Ho una perplessita', la ram. Considera che ad oggi girano postgresql e apache su quella macchina e come tu ben sai sono due mangiatori () di ram piu' che di cpu, quindi averne solo 600 MB mi preoccupa un po' :S Si potrebbe pero' separare le cose mettendo su 2 micro, che ne pensi?

Dai solo un occhio allo SLA, io non ho tempo, per controllare che le micro siano alla pari delle small e delle altre istanze. Non ho chiesto ma Linux vero? Quanto spazio di backup usi in totale? (se fai 1 gb a settimana e tieni un mese di storico son 4 gb) così ti faccio due conti.

La sla sembra la stessa, il backup non va oltre il GB/mese.
Debian da una vita ;-)

Da questa analisi capisco che forse il mio virtuo e' sovradimensionato in alcuni punti, il problema e' che non offrono soluzioni piu' piccole e quindi mi sono dovuto sempre adeguare :S

Grazie ancora ;-)

[GrG]

Ho una perplessita', la ram. Considera che ad oggi girano postgresql e apache su quella macchina e come tu ben sai sono due mangiatori () di ram piu' che di cpu, quindi averne solo 600 MB mi preoccupa un po' :S Si potrebbe pero' separare le cose mettendo su 2 micro, che ne pensi?

E' certamente la soluzione migliore. Una Micro per i DB e una per il Web ed il resto. Sono meglio di una Small unica perchè costano meno e la CPU mediamente disponibile è superiore. Non sono nemmeno difficili da separare. A patto che, come tu confermi, le Micro non siano penalizzate a livello di SLA.

Direi che per i backup compri qui Linode - Xen VPS Hosting questa e ti arrangi con FTP o SCP o rSync.



Presumibilmente attiverai le istanze EC2 in Irlanda, quindi se per te la latenza è un problema compra il Linode per i backup a Londra, altrimenti a Newark così hai anche un ottimo livello di "Disaster Recovery". Altrimenti l'equivalente dell'attuale Tivoli (che immagino sia nella stessa location) sono gli Snapshots di EBS. Qui sotto il preventivo. Nota che per il primo anno essendo un nuovo utente di AWS hai diritto all'istanza Micro gratuitamente quindi essendo il costo definitivo di 40 dollari mensili tu alla fine ne paghi 23 per il primo anno.

Amazon Web Services Simple Monthly Calculator

EDIT: ho sbagliato a calcolare la dimensione degli snapshots, cambio di pochi dollari, il preventivo giusto è qui: http://bit.ly/gTYUSu

[GrG]

Scusa ho sbagliato di nuovo sono fusissimo oggi (non sono on-shift per fortuna ). Ho fatto i preventivi in USA.

Amazon Web Services Simple Monthly Calculator Questo è quello giusto e definitivo, in Irlanda.

[maranik]

Grazie milee Grg, forse riesco a ridurre ancora di piu' i costi prendendo la reserved.
Sei stato gentilissimo davvero.

Credo che a breve prendero' la prima micro per fare un po' di pratica e poi piano piano vedo come va.

Ancora grazie, ti tengo aggiornato ;-)

[GrG]

Figurati, nel caso chiedi.

Io uso EC2 da un pezzo e non ho mai avuto il minimo problema. L'unica cosa è che bisogna un pò saperlo usare e sapere cosa si sta comprando.