Aggregazione CPU

[EMILLENNIUM]

Ciao Gente!
sono nuovo del forum e mi sono iscritto perchè avrei una domanda ke magari potrebbe risultare scontata ma al momento non sono ancora riuscito a capire.

Con la virtualizzazione è possibile fare un bilanciamento di server fisici: nr. 2 server che si bilanciano il carico di macchine virtuali. E fino a qui tutto ok..

..ma.. è possibile evitare il bilanciamento e aggregare le ridei server?? mi spiego meglio, alla richiesta di potenza di calcolo vorrei ke entrambi i server pompassero sullo stesso lavoro con tutte le cpu a disposizione.
So che in questo modo perderei in sicurezza ma il mio interesse è la potenza di calcolo..

[Antonio]

Ciao e benvenuto su HT,

puoi spiegare meglio cosa vuoi fare?

A naso penso tu voglia mettere su un clustering per il calcolo parallelo, è così?

[valent]

Clustering?
Tieni presente che per ragioni prestazionali perdi in sicurezza.
Quindi chiudili a chiave in una stanza e mettici un bel firewall per evitare accessi non autorizzati via LAN.

[tzm.net]

Se vuoi aggregare 20 Xeon per creare un "MegaXeon" e farci girare il software 20 volte più veloce senza modifiche non si può. La virtualizzazione può andare bene nel caso il compito da eseguire ed il software possano suddividere l'operazione in tanti pezzetti separati da affidare a diverse macchine virtuali. Anche in questo caso però l'unico vantaggio rispetto al cluster fisico è la capacità di attivare le VM "on demand".

[EMILLENNIUM]

Intanto vi ringrazio l'attenzione!

scopro le mie carte così forse mi spiego meglio:
ho 3 servers fisici e faccio rendering. Mi piacerebbe gestire le 3 macchine come una unica, come se fosse un solo pc. Quando l'applicazione richiede calcolo tutte insieme cominciano a pompare.. tipo quel che succede in una render farm, tanti pc che lavorano insieme alla richiesta di risorse.. con cpu a 100%..

xciò, se le macchine hanno "100 cavalli" l'una, mi piacerebbe avere un pc con (magari) "300 cavalli"..

Non ho ben chiaro il significato di cluster, ma penso potrebbe essere quel che cerco.. o no?

[GrG]

Si ma non è una cosa semplice, a meno che tu non abbia da fare Final Fantasy 2 non credo ti serva e che comunque i costi di progettazione e gestione di una struttura così siano ammortizzati.

Non è una cosa che fai con un tutorial senza sapere cosa sia un cluster.

[Antonio]

Intanto vi ringrazio l'attenzione!

scopro le mie carte così forse mi spiego meglio:
ho 3 servers fisici e faccio rendering. Mi piacerebbe gestire le 3 macchine come una unica, come se fosse un solo pc. Quando l'applicazione richiede calcolo tutte insieme cominciano a pompare.. tipo quel che succede in una render farm, tanti pc che lavorano insieme alla richiesta di risorse.. con cpu a 100%..

xciò, se le macchine hanno "100 cavalli" l'una, mi piacerebbe avere un pc con (magari) "300 cavalli"..

Non ho ben chiaro il significato di cluster, ma penso potrebbe essere quel che cerco.. o no?

Senza essere troppo esperti di queste cose, ci sono alcuni software che permettono il rendering su più macchine installando il clientino sulle macchine che devono aiutare durante il rendering.

Dovresti chiedere al supporto tecnico del software che usi se è possibile usare più macchine per il rendering (e come farlo).

[EMILLENNIUM]

si, lo so, e uso queste tecniche ma purtroppo l'incremento è di circa il 50% della potenza e non il doppio (a parità di macchina)..
speravo con un aggrezione di risorse di riuscire magari a sfruttare meglio l'hardware a mia disposizione.. uff.. mi accontenterò..

grazie a tutti!!!!

[GrG]

Devi monitorare e capire dov'è il collo di bottiglia. Forse hai i due nodi connessi tra loro con wifi 54mbps o roba così

[EMILLENNIUM]

eh, no...
mastico di networking.. tutti ip statici, switch a 1Gbit/s, cavi corti e in cat.6.
Tutto è al minimo indispensabile: OS aggiornato e per fortuna, non avendo bisogno di nient'altro (internet, mail, ecc), non ci sono nemmeno antivirus o altri programmi..
Purtroppo ogni macchina deve tenere in piedi il proprio sistema operativo a 64bit...

..eh.. speravo in una soluzione alternativa..

[Deflagrator]

si, lo so, e uso queste tecniche ma purtroppo l'incremento è di circa il 50% della potenza e non il doppio (a parità di macchina)..

A me non risulta... Ogni CPU va al 100%, perciò se hai 5 macchine, impiegherai 1 quinto del tempo rispetto ad una sola. Al massimo può succedere che alcuni software di rendering, se renderizzi direttamente in avi, facciano creare tanti video ai client, e alla fine il computer centrale terminerà dopo il suo lavoro perchè dovrà unirli...

[TheVice]

Per quel che ricordo, le principali tecniche di rendering distribuito su più macchine sono riassumibili in due categorie:
1) suddivisione immagine (image patching)
2) ripartizione frames

Con la prima tecnica si invia uno stesso frame da renderizzare su più sistemi e ciascun sistema ne renderizza un pezzo.
Con la seconda tecnica si invia invece un frame a ciascuna cpu.
In entrambe le tecniche si avranno sempre delle difformità di impiego delle cpu dovute alla complessità variabile delle varie porzioni della scena (1° caso) o tra un frame ed un altro (secondo caso).
Un bilanciamento di carico, quindi, non è ottenibile con facilità per cui si cerca di compensare impiegando il maggior numero di CPU possibile.

[infinytech]

Magari un pò OT, ma tempo fa avevo trovato questo servizio: Hoopoe Cloud - GPU Computing Services
Credo però usino qualche software proprietario fatto da loro, oltre a costosissimi server Nvidia Tesla

[guest]

si, lo so, e uso queste tecniche ma purtroppo l'incremento è di circa il 50% della potenza e non il doppio (a parità di macchina)..

Ma sulle macchine client non devi far girare niente oltre al programmino.
E' chiaro che se oltre al programmino usi la macchina per fare altre cose, le prestazioni saranno inferiori.
Secondo me se prendi un bel macchinone e ci fai girare sol quel programmino arrivi vicino al 100%.

[Antonio]

eh, no...
mastico di networking.. tutti ip statici, switch a 1Gbit/s, cavi corti e in cat.6.
Tutto è al minimo indispensabile: OS aggiornato e per fortuna, non avendo bisogno di nient'altro (internet, mail, ecc), non ci sono nemmeno antivirus o altri programmi..
Purtroppo ogni macchina deve tenere in piedi il proprio sistema operativo a 64bit...

..eh.. speravo in una soluzione alternativa..

Ma il link eth viene saturato quando fai rendering? In caso affermativo dovresti provare ad usare più interfacce (2/4) in bonding. Se anche così il link viene saturato passa ad usare delle belle schede 10G eth o link infiniband.