Gestione di una coda di azioni

[usu]

Premetto subito che le mie conoscenze a livello di programmazione non vanno oltre i fondamentali della OOP (metodi, classi, incapsulamento, ereditarietà, polimorfismo, ecc) e non sono neanche sicuro che il titolo sia giusto

Detto questo, è qualche tempo che ho un tarlo in testa che non riesco a levarmi: che logica utilizzano servizi tipo twitterfeed, notify.me, pingdom, boxcar e tantissimi loro simili?
Sono tutti servizi che eseguono un numero grandissimo di polling di un qualche tipo ad intervalli di tempo prestabiliti.
L'unica cosa sensata che mi viene in mente è che per lo scopo ci sia un demone homemade che fa costantemente qualcosa in background, ma cos'è questo qualcosa?
Un altro modo di porre la domanda è: tu come svilupperesti un servizio come twitterfeed?

Spero di essere riuscito a farmi capire

[guest]

IMHO, hanno un poller che ogni X tempo prende Y valori da db e li esegue, in parallelo. A farlo in PHP, usando i thread, non sarebbe nemmeno troppo complesso.

Il parent prende i dati dal database, magari 10, forka 10 child che eseguono l'operazione e ne aspetta la risposta. Man mano che il child termina, vien pescato un nuovo record da db.

Il più sarebbe la gestione dei semafori, o si fan su disco o magari appena il child entra in esecuzione fa l'update del record su db, impostando una colonna "running" a "1".

[usu]

Ah sì, questa potrebbe essere una soluzione
Intanto grazie! Vediamo se salta fuori qualche altra idea

[Antonio]

thread php, mysql? naaaaa

Passate al lato oscuro della forza : storage nosql, map reduce et similia con grabber & Co scritti in C/C++

[guest]

Vade retro satana.

[Ste]

Con MapReduce però devi attendere l'elaborazione del tutto, non so quanto sia realmente utilizzato per questo tipo di cose, no?

[usu]

Con MapReduce però devi attendere l'elaborazione del tutto, non so quanto sia realmente utilizzato per questo tipo di cose, no?

Pensavo la stessa cosa, lo vedrei benissimo per un'eventuale generazione generazione di statistiche ad uso interno e non, ma per un servizio del genere non mi era proprio venuto in mente, c'è qualcosa che mi sfugge?
Poi addirittura C*? Almeno scala, dai

[Antonio]

Con MapReduce però devi attendere l'elaborazione del tutto, non so quanto sia realmente utilizzato per questo tipo di cose, no?

Non so quanto sia live il "feed" che eseguono siti del genere, perché non li ho mai usati, comunque:

Si potrebbe suddividere l'insieme dei siti degli utenti iscritti per frequenza di aggiornamento dei propri RSS, schedulando tipo 5 job a priorità diversa e facendo eseguire con frequenza superiore quelli per i siti più attivi (che statisticamente saranno in numero molto inferiore rispetto alla totalità dei siti da servire e si ritroveranno con feed quasi istantanei). Poi in background eseguire un ulteriore task ogni giorno o tot giorni che calcola la classe di appartenenza di un sito, per spostare lo stesso da un sottoinsieme all'altro.

[Ste]

Si sarebbe una buona idea, anche perchè considero che non siano job particolarmente impegnativi, per cui si possono eseguire anche quasi online con un cluster decente. C'è qualcuno che usa mapreduce in questo modo tra questi famosi citati?

[Antonio]

Pensavo la stessa cosa, lo vedrei benissimo per un'eventuale generazione generazione di statistiche ad uso interno e non, ma per un servizio del genere non mi era proprio venuto in mente, c'è qualcosa che mi sfugge?
Poi addirittura C*? Almeno scala, dai

Le operazioni da eseguire sono così semplici che si potrebbe azzardare anche una scrittura in C++

Alla fine si tratta di prendere il file xml degli rss, controllare con un sha1 se è cambiato qualcosa rispetto all'ultimo hash salvato, in caso affermativo elaborare il file xml per estrapolare i dati (ad esempio con la libreria xerces).

Una volta tornato l'output dal reduce andiamo a bombardare i vari siti con le nuove news da aggiungere (e qui si può usare ancora C o altri linguaggi).

[Antonio]

Si sarebbe una buona idea, anche perchè considero che non siano job particolarmente impegnativi, per cui si possono eseguire anche quasi online con un cluster decente. C'è qualcuno che usa mapreduce in questo modo tra questi famosi citati?

Non ne ho la minima idea, questo è quel che farei io pensando non solo all'immediato presente, ma anche a carichi futuri

[usu]

Le operazioni da eseguire sono così semplici che si potrebbe azzardare anche una scrittura in C++

Alla fine si tratta di prendere il file xml degli rss, controllare con un sha1 se è cambiato qualcosa rispetto all'ultimo hash salvato, in caso affermativo elaborare il file xml per estrapolare i dati (ad esempio con la libreria xerces).

Una volta tornato l'output dal reduce andiamo a bombardare i vari siti con le nuove news da aggiungere (e qui si può usare ancora C o altri linguaggi).

Mi sembra in effetti un'ottima soluzione al "problema", grazie!

C'è qualcuno che usa mapreduce in questo modo tra questi famosi citati?

Sembra che tra servizi del genere nessuno riveli i dettagli della propria infrastruttura ^^'

[guest]

Alla fine si tratta di prendere il file xml degli rss, controllare con un sha1 se è cambiato qualcosa rispetto all'ultimo hash salvato, in caso affermativo elaborare il file xml per estrapolare i dati (ad esempio con la libreria xerces).

E se io volessi usare un più performante md5 ?

[Antonio]

E se io volessi usare un più performante md5 ?

Se non sbaglio con md5 c'è probabilità superiore di collisioni

[guest]

Se non sbaglio con md5 c'è probabilità superiore di collisioni

Non sbagli.
Ma qui si tratta di confrontare un XML, non di generare l'hash di tutta la biblioteca del congresso americano.

Ma comunque stavo scherzando, ci potrà essere qualche microsecondo di differenza tra il calcolo di un md5 ed un sha1.

Su un file da 800M:

$ time md5sum FW900.2010_0403.93.iso 
38ed3132aee503f1cfcac378296dbb23  FW900.2010_0403.93.iso

real	0m7.743s
user	0m2.860s
sys	0m0.610s

$ time sha1sum FW900.2010_0403.93.iso 
fcecbf3e5c983998d1a7945f08645792646c0985  FW900.2010_0403.93.iso

real	0m4.197s
user	0m3.860s
sys	0m0.340s

figuriamoci su un file da pochi K.