Spider e storage

[angelbit]

Salve

ho sviluppato uno spider per un mio progetto di MDR, ora avrei bisogno di un server dove salvare i dati raccolti e uno dove far lavorare lo spider e il payload, conoscete qualche azienda che offre questi zervizi in italiao cmq a prezzi migliori di amazon ?

Vi ringrazio per l'interesse

[Ste]

Ciao, dipende da cosa cerchi esattamente, dato che parli di amazon penso ti serva un servizio di cloud computing giusto? Se si, ti dico che in italia non sono a conoscenza di aziende che lo abbiano tra le offerte, mentre all'estero hai altri nomi da vedere come rackspace, che ha cloudfiles (MOSSO :: The Hosting Cloud - Overview) per lo storage cloudsites per l'hosting (MOSSO :: The Hosting Cloud - Overview) o ancora mi viene in mente Joyent: Welcome to Joyent ....non so quanti dati tu debba archiviare ma sotto i prezzi di amazon, almeno per lo storage, trovi poco, l'alternativa è pensare ad una soluzione su server dedicati.

[angelbit]

Ciao, dipende da cosa cerchi esattamente, dato che parli di amazon penso ti serva un servizio di cloud computing giusto?

diciamo che mi serve un bel po' di potenza e affidabilita' per far girare il payload dello spider e diciamo facendo un po' di conti a regime serviranno un 60 GB/mese di spazio per lo storage...(per i primi 5-6 mesi poi solo update di tanto in tanto) ora non so se per il mio scopo e conveniente usare amazon o esistono altre soluzioni di altro tipo...
PS: piu' facile e', meglio e' (sono un programmatore non un sitemista)

[Ste]

Beh direi che a questo punto è piu facile per te prendere a noleggio una vps o un server dedicato...riesci a quantificare la potenza necessaria? Anche su Amazon devi comunque avere un'idea del processore assegnato all'istanza che vai a creare, per cui dovresti fornire informazioni specifiche sulla potenza necessaria e sul budget

[EvolutionCrazy]

affidabilita'

guardando tipo mosso come storage scalare a $0.50/GB non è proprio la cosa piu' economica al mondo

se il problema è economico ci sono apposta i server dedicati dove con 500euro anzich' avere 1000gb da mosso (senza banda aggiuntiva) tiri su una macchine che rendono probabilmente molto di piu', hanno sicuramente molto spazio su disco e molta piu' banda...

probabilmente il cloud computing ti semplifica le cose dal lato amministrativo dato che non dovrai preoccuparti tu di replication, load balancing etc...
sembra pero' che la tua pricipale questione ruoti attorno ai prezzi non so se è realmente la qualità/stabilità/ridondanza assoluta che cerchi :/

C'e' sempre poi un punto essenziale... sui contratti come si impegnano (economicamente (rimborso pari a 100volte il costo mensile ogni ora di downtime?) e tecnicamente) per evitare situazioni tipo:

FlexiScale: un errore umano porta offline la cloud - HostingTalk.it

tante belle parole e marketing ma poi la volta che succede qualcosa
ci si trova nulla in mano e i dati andati in fumo?
E tra l'altro ci si rende conto che non si poteva fare nulla per evitare quanto successo perchè non si aveva il controllo di nulla?

Per carità... aws e mosso sono sicuramente meglio... non ho mai visto i contratti... ma se uno mi presenta un contratto tipo:

1000euro di rimborso ogni ora di dowtime di un piano da 100euro scritto su contratto allora si gli credo e una tale riga non è paragonabile a tanta belle parole dette da un commerciale

se invece non c'e' niente di specifico su contratto ... beh... bah... :/

[angelbit]

Beh direi che a questo punto è piu facile per te prendere a noleggio una vps o un server dedicato...riesci a quantificare la potenza necessaria? Anche su Amazon devi comunque avere un'idea del processore assegnato all'istanza che vai a creare, per cui dovresti fornire informazioni specifiche sulla potenza necessaria e sul budget

devo vedere... e un po' complicato fare i conti il payload e composto da algoritmi molto variabili nelle risorse impiegate (senza contare che entrano in funzione uno o piu di questi algoritmi a secondo dei casi)

probabilmente il cloud computing ti semplifica le cose dal lato amministrativo dato che non dovrai preoccuparti tu di replication, load balancing etc...
sembra pero' che la tua pricipale questione ruoti attorno ai prezzi non so se è realmente la qualità/stabilità/ridondanza assoluta che cerchi :/

no ovviamente se volevo la qualità/stabilità/ridondanza non domandavo dei prezzi, forse dovrei dire invece di affidabilita', serieta' cioe il terabyte che alla fine sara' presente su uno storage deve rimanere li' non voglio trovarmi un giorno col db vuoto e un anno e mezzo di lavoro bruciato.

Ora io ho piu garanzie nell'affidarmi a un paio di server (configurati da un professionista e acquistati da professionisti) o ad amazon & Co.E per i costi?(relativi a un sistemista serio che confiuri il tutto)

[Ste]

In una piattaforma come S3 io penso che oggi il rischio sia minimo nella perdita di dati, tra l'altro proprio di recente su quel servizio sono stati introdotti diversi accorgimenti. Certo è che un terabyte lo puoi gestire anche con due server dedicati, ma devi contare poi che per avere sicurezza va backuppato, e quindi costo ulteriore. Dovresti fare qualche calcolo per valutare i costi, ovviamente, per rispondere alla tua domanda, hai ottime garanzie anche acquistando server da un'azienda, su questo non discuterei.

[EvolutionCrazy]

In una piattaforma come S3 io penso che oggi il rischio sia minimo nella perdita di dati, tra l'altro proprio di recente su quel servizio sono stati introdotti diversi accorgimenti.

Non essendo enti di beneficienza quando hai su contratto rimborsi stratosferici puoi star sicuro che anche loro sono convinti di essere infallibili

Ripeto che non ho mai visto contratti/aup/sla etc di uno di quei servizi... come sono? escludono le responsabilità per qualsiasi cosa come succede in quasi tutti i campi (dove il commerciale ti promette mari e monti, ma nessuno si azzarda a scriverlo su contratto)?

[Ste]

Si su questo non vi è dubbio, anzi all'inizio so di qualche istanza che spariva dalla cloud misteriosamente, il servizio pero ora è uscito ora dalla beta, per cui si pensa che non accadano piu simili cose, dal vedere il genere di clienti che lo usano direi che si tratta di qualcosa di stabile. Ho un piccolo account su S3 che uso per backup, ovviamente non ho mai perso nulla, ma l'utilizzo che ne faccio è minimo.
Per lo SLA, amazon lo ha introdotto da poco ma relativamente solo alla disponibilità di Ec2, mentre per assicurazioni su perdite ovviamente come altri servizi non garantiscono: AWS Customer Agreement se leggi nella parte sicurezza parla di backup da svolgersi a cura dell'utente.

[EvolutionCrazy]

il 7.2 era quello che cercavo... poi che possa essere tendezialmente migliore di altre soluzioni è possibilissimo... ma guardando le garanzie scritte "alla lettera" e confrontandole anche con l'hosting lowcost piu' economico che esiste non cambia molto... nessuno si assume responsabilità (mentre in molti si fanno belli a parole...)

your access to and use of the Services may be suspended for the duration of any unanticipated or unscheduled downtime or unavailability of any portion or all of the Services for any reason, including as a result of power outages, system failures or other interruptions;

We will have no liability to you for any unauthorized access or use, corruption, deletion, destruction or loss of any of Your Content or Applications.

Mi rattrista sempre non vedere quelle parole in homepage dove presentano servizi simili usando termini tipo:

Secure – Amazon uses multiple layers of operational and physical security to ensure the integrity and safety of your data. Learn more (pdf) about the operational and physical steps Amazon takes to secure AWS.

non dico garantire la perfezione, se si sa che si puo' fallire ma le probabilità sono basse si puo' dare fiducia al cliente garantendo rimborsi altissimi... se uno invece non è sicuro ne vuole rimetterci (ma solo guadagnarci) allora è diverso...

[angelbit]

Per lo SLA, amazon lo ha introdotto da poco ma relativamente solo alla disponibilità di Ec2, mentre per assicurazioni su perdite ovviamente come altri servizi non garantiscono: AWS Customer Agreement se leggi nella parte sicurezza parla di backup da svolgersi a cura dell'utente.

A questo punto sarei propenso all' uso di 3 server (1storage,1backup,1spider e payload) lasciando da parte il cloud, ma per poter avere una visione completa dei costi delle 2 soluzioni mi manca la variabile del compenso di un professionista che mi configuri i 3 server.Chi azzarda una cifra?

[Ste]

Direi che puoi rivolgerti direttamente ad un'azienda e chiedere un preventivo, chiedi a un po' di aziende e poi confronti i costi

[Ste]

Giusto per correttezza e per avere dati certi ho contattato Simone Brunozzi (AWS Evangelist per l'Europa) in merito ed ecco la sua risposta:

Storicamente non è mai stato perso un singolo dato in S3, ma la garanzia fornita è un SLA che copre solo l'uptime; per uptime inferiori al 99.9% su base mensile è previsto un rimborso.
Ogni singolo file immagazzinato in S3 viene replicato automaticamente in almeno 3 copie.

[EvolutionCrazy]

Sicuramente significativo e confortante, ma mi ricorda quando mi chiama tele2 e mi dice che mi fa risparmiare il 50% sulla mia attuale bolletta (senza averla mai vista tra l'altro)....
chiedo loro di farmi un contratto apposito dicendomi che facendo lo stesso identico traffico paghero' metà... ma guarda caso si sono sempre rifiutati di metterlo sul contratto

purtroppo commerciali (o evangelisti) possono dire e fare molte cose... ma i contratti sono standard e difficilmente vanno a conforto delle loro parole

[angelbit]

Storicamente non è mai stato perso un singolo dato in S3, ma la garanzia fornita è un SLA che copre solo l'uptime; per uptime inferiori al 99.9% su base mensile è previsto un rimborso.

se la situazione e questa non credo ci siano problemi a inserire un rimborso anche per la perdita dei dati...

Ogni singolo file immagazzinato in S3 viene replicato automaticamente in almeno 3 copie.

Cioe' ?? nel caso avenisse una perdita di una copia per problemi di varia natura (hardware, errore umano ecc.) le altre 2 copie sono salve? o meglio le tre copie sono salvate su hardware indipendente uno dall'altro?

Ho visto i case-studies, ma per quelle aziende e stato scritto un contratto ad hoc o e garantito unicamente il rimborso solo in caso di down-time come per i clienti normali?