Qualche dato su Amazon EC2, cosa c'è dietro il servizio di Amazon

[Ste]

Vi consiglio la lettura di questo articolo su Amazon EC2 di Cloudscaling.com : Amazon’s EC2 Generating 220M+ Annually | Cloudscaling

Ci sono dati abbastanza interessanti:

• Amazon does not oversubscribe cores
• Amazon uses Rackable servers, mostly 2U dual-socket systems, with 8 cores, probably the S2108 models
• Some of their older systems are 2U dual-socket systems with 4 cores total
• The AWS target cost for servers is roughly $2-2.5K
• Initial overall target utilization rate for EC2 was 70-75%
• Recently AWS has been having regular capacity issues (due to growth?)
• Amazon is beginning to move some retail site capacity onto EC2
• RAID is used for the disk subsystem, probably in a RAID-0 (striped) configuration[1]

• Most of the servers are likely in the US availability zones vs. the EU zones, maybe 75-80% of total capacity
• Amazon probably runs 8 500GB SATA drives per system
• At 2U, Amazon runs 16-18 servers per rack, probably 16
• Amazon uses the same, or a very similar, physical hardware platform for all instances sizes; it has changed over time and there are a few generations, but they don’t buy or ’silo’ the hardware if they can help it[2]

Anche utile considerare come usino secondo l'autore le istanze e le loro capacità, la distribuzione è più o meno questa:

• m1.small 21%
• m1.large 35%
• m1.xlarge 20%
• c1.medium 13%
• c1.xlarge 11%

Il tutto dovrebbe generare introiti ad Amazon per 220 milioni/anno, dai dati si potrebbero fare diverse ipotesi anche sullo sviluppo di questo prodotto a mio parere, ma più di tutte è comprensibile perchè altre aziende stanno lanciando un modello del tutto simile a quello di Amazon

[Antonio]

Ci sono dati abbastanza interessanti:

• RAID is used for the disk subsystem, probably in a RAID-0 (striped) configuration[1]

• Amazon probably runs 8 500GB SATA drives per system

Queste penso siano le cose più importanti che vengono riportate, IMHO.

Se fosse vero significa che ogni nodo con i suoi 4TB di storage deve essere necessariamente replicato sugli altri nodi e sarebbe interessante sapere come è fatto il loro S3 filesystem (anche a livello di performance).

Interessante anche che abbiamo deciso di usare dei dischi SATA, che a differenza dei SAS offrono sicuramente meno iops.

Sarebbe interessante sapere che tecnologia usano per interconnettere i nodi, HyperTransport Link o Infiniband con RDMA? Oppure ogni nodo è indipendente e connesso tramite rete?

[Ste]

Si l'uso di dischi SATA mi pare abbastanza strano, nel post parla però di dati certi. Sugli altri dati che chiedi non saprei, non vorrei azzardare conclusioni, ma penso che ogni nodo sia connesso in rete. Invece su S3 leggevo nei commenti:

S3 doesn't seem like it could be very big in revenue. My two basic reasons though are:

1) Because I was told that it's an 'order of magnitude' less
2) Because math on storage says it's not that great a revenue driver

[Antonio]

Sugli altri dati che chiedi non saprei, non vorrei azzardare conclusioni, ma penso che ogni nodo sia connesso in rete.

A mio modo di vedere sarebbbe una cosa assurda e completamente incomprensibile. Come fanno a scalare in quanto a cpu/ram?

Significa che oltre TOT CPU e TOT RAM non puoi andare, se poi fanno context switching da un nodo all'altro tramite rete, con l'overhead dato anche dal protocollo TCP, sono dei pazzi scatenati

[GrG]

A mio modo di vedere sarebbbe una cosa assurda e completamente incomprensibile. Come fanno a scalare in quanto a cpu/ram?

Non lo fanno. Ne avevamo discusso con Corbelli in un altro thread. Sia le istanze cloud di Rackspace sia quelle di EC2, si fermano inspiegabilmente a 8 core e 16/32 gb di ram...

[Antonio]

Non lo fanno. Ne avevamo discusso con Corbelli in un altro thread. Sia le istanze cloud di Rackspace sia quelle di EC2, si fermano inspiegabilmente a 8 core e 16/32 gb di ram...

Allora ogni nodo fisico è a se stante ed è normale che si fermino a 8core, non potrebbero fare altrimenti da come stan le cose

[Ste]

A mio modo di vedere sarebbbe una cosa assurda e completamente incomprensibile. Come fanno a scalare in quanto a cpu/ram?

Significa che oltre TOT CPU e TOT RAM non puoi andare, se poi fanno context switching da un nodo all'altro tramite rete, con l'overhead dato anche dal protocollo TCP, sono dei pazzi scatenati

Io ero rimasto a quanto detto da giorgio, ma visto che non sono sicuro penso che la cosa migliore sia provare a informarsi in rete e cercare di capirne di piu.

[Antonio]

Io ero rimasto a quanto detto da giorgio, ma visto che non sono sicuro penso che la cosa migliore sia provare a informarsi in rete e cercare di capirne di piu.

Stavo già provando a cercare in rete, ma non ho trovato granché...

PS: Ma google è sempre di casa qui? Ha già indicizzato anche la mia risposta che hai quotato

[Ste]

Idem, ma con altrettanto scarsi risultati.

ps. Si, San Google ci vuole bene

[GrG]

Allora ogni nodo fisico è a se stante ed è normale che si fermino a 8core, non potrebbero fare altrimenti da come stan le cose

Infatti. Adesso non riesco a trovare il thread ma il discorso era: "allora ridondanza geografica esclusa e modello economico escluso, che differenza c'è tra una VM e sto super cloud?"

Io avevo concluso con un "per me il cloud sarà vero cloud quando potrò mettere insieme 100 macchine a 8 core per averne una ad 800 core, in modo totalmente trasparente alle applicazioni".

[Antonio]

Infatti. Adesso non riesco a trovare il thread ma il discorso era: "allora ridondanza geografica esclusa e modello economico escluso, che differenza c'è tra una VM e sto super cloud?"

Io avevo concluso con un "per me il cloud sarà vero cloud quando potrò mettere insieme 100 macchine a 8 core per averne una ad 800 core, in modo totalmente trasparente alle applicazioni".

Cosa che in teoria potresti gia fare, il problema è lato SO/SW.

Questo comunque avvalora quanto dicevo nell'altro topic, il cloud computing non è un concetto definito a livello di implementazione HW (hw usato, tipo di interconnessioni usate, storage usato, etc..) ma a livello applicativo