Gestione di una coda di azioni

[Antonio]

Non sbagli.
Ma qui si tratta di confrontare un XML, non di generare l'hash di tutta la biblioteca del congresso americano.

Ma comunque stavo scherzando, ci potrà essere qualche microsecondo di differenza tra il calcolo di un md5 ed un sha1.

Anche io ero ironico

Per cose del genere, dove contano anche le frazioni di secondo su larga scala, sarebbe effettivamente meglio usare md5; se non altro perché, anche in caso di collisioni, quello che può capitarti al più è che salti un round di bombardamento feed per un sito: per i siti molto attivi alla fine si tratterebbe di aspettare poco, dato che son molto prolifici e vengono controllati più spesso, per i siti poco attivi un salto di feed non sarebbe tutto questo danno

[guest]

Basterebbe usare un Feed RSS 2.0 'valido' e basarsi sul nodo "lastBuildDate" che da specifiche 2.0 indica proprio la data di ultima modifica.

Se si fa il fetch ogni 5 minuti e la data presente in lastBuildDate è <= 300 secondi fa, il feed è cambiato.

[Antonio]

Basterebbe usare un Feed RSS 2.0 'valido' e basarsi sul nodo "lastBuildDate" che da specifiche 2.0 indica proprio la data di ultima modifica.

Se si fa il fetch ogni 5 minuti e la data presente in lastBuildDate è <= 300 secondi fa, il feed è cambiato.

Lo so bene, ma così facendo processi a vuoto il documento xml, molto meglio mantenere un hash del file

[guest]

Lo so bene, ma così facendo processi a vuoto il documento xml, molto meglio mantenere un hash del file

Ma va, leggere i primi 512byte o 1k di dati pensi sia più invasivo del calcolarne l'hash? Considera che per calcolarne l'hash devi leggere tutto il file, mentre invece per prendere la data di modifica ti basterebbe leggere la prima parte del file.

Se butta male e chi fa l'RSS è un pirla e mette la data di modifica in coda, impieghi comunque meno tempo a fare il parse del file XML intero piuttosto che calcolarne prima l'hash (e quindi leggere comunque tutto il file) e poi leggere ugualmente il file xml in caso di modifiche.

In soldoni: se fai l'hash leggi tutto il file un minimo di una volta, fino ad un massimo di due, e fai una computazione su tutto l'xml. Se leggi direttamente la data leggi una manciata di byte la prima volta e tutto l'xml in caso di variazioni (nel migliore dei casi) oppure tutto l'xml una sola volta nel caso l'autore fosse un pirla.

EDIT: l'hash è utile per tenere un marcatore che ti permette di identificare modifiche in file che non si prestano allo scopo (una iso, un dump di qualcosa etc etc) ma secondo me se il file prevede già la possibilità di valuterne le variazioni, l'hash diventa superfluo, a meno che non si voglia tenere una sorta di storico senza portarsi dietro tutto il file.

[andrea.paiola]

raramente ho visto RSS ( o Atom) fatti per bene...
ritengo l'hash molto più affidabile in questo frangente, pertanto userei quello

[guest]

raramente ho visto RSS ( o Atom) fatti per bene...
ritengo l'hash molto più affidabile in questo frangente, pertanto userei quello

Vero.
Al limite si potrebbe usare l'apposito header Last-Modified o il Content-MD5, in modo da sfruttare al meglio il protocollo HTTP.

In sostanza io darei questa precedenza:

header http
nodo presente in rss
md5 brutale

[Antonio]

Vero.
Al limite si potrebbe usare l'apposito header Last-Modified o il Content-MD5, in modo da sfruttare al meglio il protocollo HTTP.

In sostanza io darei questa precedenza:

header http
nodo presente in rss
md5 brutale

Buona idea quella di sfruttare gli header http

[guest]

Buona idea quella di sfruttare gli header http

OFF TOPIC BOX

Hai visto che REST a qualcosa mi è servito ?

[Antonio]

OFF TOPIC BOX

Hai visto che REST a qualcosa mi è servito ?

Alle volte le cose più semplici sono quelle a cui non vai a pensare

[andrea.paiola]

Vero.
Al limite si potrebbe usare l'apposito header Last-Modified o il Content-MD5, in modo da sfruttare al meglio il protocollo HTTP.

In sostanza io darei questa precedenza:

header http
nodo presente in rss
md5 brutale

e come fai a sapere se l'header http è veritiero? vatti a fidare...
no l'unica è avere una "fotografia" dei contenuti, ossia l'hash

[guest]

e come fai a sapere se l'header http è veritiero? vatti a fidare...
no l'unica è avere una "fotografia" dei contenuti, ossia l'hash

Salvo cazzoni che han configurato il server, gli header son sempre corretti, stan li apposta. Il content-md5, poi, non può non essere corretto.

Sei paranoico eh?

[andrea.paiola]

sempre paranoico, MA questo non vuol dire che mi sbagli
dovrei fare un'indagine statistica per togliermi questa curiosità e prima o poi la farò

[guest]

sempre paranoico, MA questo non vuol dire che mi sbagli
dovrei fare un'indagine statistica per togliermi questa curiosità e prima o poi la farò

te sei senza speranze.

[usu]

Ho iniziato con calma lo sviluppo di un servizio che farà polling periodico dall'api di un noto servizio web e sulla base dei cambiamenti invierà poi mail a n utenti.
Il numero dei diversi polling da fare non crescerà mai a dismisura (mentre quello degli utenti totali sì), quindi ho scelto questi strumenti:

Ruby sia frontend che backend (per il frontend sto utilizzando sinatra)
Resque per la gestione della varie code di polling/invio mail/logging/retry in caso di errori/whatever
Redis che grazie alle sue operazioni atomiche sulle liste si presta benissimo per questo tipo lavoro
MySQL per i dati più statici (utenza, relative preferenze, ecc), poi vedrò se passare anche queste informazioni su redis o meno

Sto facendolo più che altro a scopo didattico, non penso che mi servirà mai scalare su decine di ec2, ma in ogni caso già così dovrei poterlo fare

Se avete altre idee/consigli/suggerimenti/commenti fatelo pure che tanto è tutto un grande work in progress, grazie

[Antonio]

Buon divertimento