PHP e consumo risorse sul server

[Ste]

Ciao lucas, interessante il discorso, per problemi tecnici ho visto che è presente anche in webmasters tools di Google come opzione, ma di fatto loro consigliano di lasciare la velocità di scansione sempre allo stesso livello "automatico". Google non penalizza eventuali rallentamenti o accelerazioni nella richiesta di scansione?

[andrea.paiola]

Ste penso dipenda da quanto un contenuto viene aggiornato: se tu hai una pagina che viene aggiornata una volta al giorno cerchi di farlo passare una volta al giorno, se viene aggiornata una volta al mese cerchi di farlo passare una volta al mese... e così via... questo è ottimizzare sia le tue risorse che quelle di google & co.

se riesci a farlo efficacemente sia a livello di header http che di info passate al crawler verrai premiato ;-)

[Lucas]

Ciao lucas, interessante il discorso, per problemi tecnici ho visto che è presente anche in webmasters tools di Google come opzione, ma di fatto loro consigliano di lasciare la velocità di scansione sempre allo stesso livello "automatico". Google non penalizza eventuali rallentamenti o accelerazioni nella richiesta di scansione?

Per quanto riguarda la mia esperienza, google non ha mai dato problemi e non ho mai modificato le impostazioni di scansione. Altri spider, invece, come quello di Yahoo soprattutto, esagerano un pò. Yahoo arrivava a consumarmi centinaia di mega di traffico al giorno, poichè faceva almeno 15-20 scansioni al giorno e ogni volta su migliaia di pagine (aprendo altrettante connessioni al database).

In casi come questo, o si modifica il file robots.txt impostando la scansione del singolo spider in maniera più bassa, oppure si agisce a livello di Php.
Un'altra soluzione è quella di dare ai link meno importanti l'attributo nofollow (<a href="pagina.php" rel="nofollow">). In questo modo gli spider non apriranno la pagina che fa capo a un certo link, con grande risparmio sui consumi.

Rimanendo in ambito programmazione, si può ovviare in parte utilizzando le sessioni. Alcune pagine possono essere rese navigabili e/o attraversabili da uno spider solo se si è effettuato un login o una certa operazione. Mi spiego meglio: un link può essere 'normale' oppure può avere l'attributo 'nofollow'.
Tramite php (e non solo php) si può fare in modo, con una semplice istruzione IF, che il link abbia o meno quell'attributo a seconda che l'utente sia loggato o meno.
Il link ci sarà sempre e comunque (e chiunque potrà cliccarci sopra per raggiungere la pagina a cui punta), ma lo spider, non avendo effettuato login, si ritroverà con il collegamento 'bloccato" dal nofollow e non seguirà quel link (e non aprirà connessioni al database, nel caso la pagina seguente fosse dinamica).
Chiaramente, bisogna scegliere con cura i link da bloccare agli spider, altrimenti ci si ritrova con pagine importantissime non aggiornate o non indicizzate dal motore di ricerca.