Aiuto configurazione VPS

[diarex]

Ciao,

ancora problemi, ho deciso di postare quindi la configurazione completa effettuata per capire l'errore dove sta.

La VPS ha 1.6 GByte di RAM, 15 GByte di HD, Plesk 8.3.1. Aruba VPS Professional per gli altri dettagli.

Uso FastCGI per poter avere lo stesso utente sia via FTP che quando gira il Php.


FastCGI

1. Desktop - Updater
2. Seleziono la versione di Plaek (è in giallo)
3. Scelgo FastCGI quindi in alto Install
4. .... attendo ...

Configurazione Apache

Uno dei problemi incontrati è il msg di errore "too much process", ho risolto con:

# vi /etc/httpd/conf/httpd.conf
    
    ...
    <IfModule prefork.c>
        StartServers      10
        MinSpareServers    5
        MaxSpareServers   75
        ServerLimit      512
        MaxClients       512
        MaxRequestsPerChild  0
    </IfModule>
    ...

Configurare il FastCGI

Assieme al precedente ho operato così:

# vi /etc/httpd/conf.d/fcgid.conf
    
        # added by psa-mod-fcgid-configurator
        LoadModule fcgid_module /usr/lib/httpd/modules/mod_fcgid.so

        <IfModule mod_fcgid.c>
          SocketPath /var/lib/httpd/fcgid/sock
        </IfModule>

        # added by psa-mod-fcgid-configurator
        <IfModule mod_fcgid.c>
            IdleTimeout 3600
            ProcessLifeTime 7200
            MaxProcessCount 256
            DefaultMaxClassProcessCount 32
            IPCConnectTimeout 30
            IPCCommTimeout 45
            DefaultInitEnv RAILS_ENV production
        </IfModule>

In effetti l'errore "too much process" non è più comparso.


Sessioni

Devo rendere la sessione scrivibile a tutti:

# vim /etc/php.ini

...
session.save_path = "/tmp/"
....

esagero lo so, qualcuno magari mi può consigliare qualcos'altro...

Abilitare il FastCGI nei siti - VERSIONE A

Per prima cosa copio il file necessario:

cp /usr/bin/php-cgi /var/www/vhosts/{DOMINIO}/bin/
chown -R {UTENTEFTP}:psacln /var/www/vhosts/{DOMINIO}/bin/

Impongo la lettura un un .conf personale:

#vi /var/www/vhosts/{DOMINIO}/conf/httpd.include
                
       ....
                
       Include /var/www/vhosts/{DOMINIO}/conf/vhost.conf

Quindi edito il .conf:

#vi /var/www/vhosts/{DOMINIO}/conf/vhost.conf
        
                AddHandler fcgid-script .php
                SuexecUserGroup {UTENTEFTP} psacln
                
                <Directory /var/www/vhosts/{DOMINIO}/httpdocs>
                    FCGIWrapper /var/www/vhosts/{DOMINIO}/bin/php-cgi .php
                    Options +ExecCGI +FollowSymLinks
                </Directory>

ed un restart:

#/etc/init.d/httpd restart

Abilitare il FastCGI nei siti - VERSIONE B

In questa configurazione uso un wrapper non composto dal semplice binario, ma da uno script:

vim /var/www/vhosts/{DOMINIO}/bin/php-cgi.fcgi

    #!/bin/sh
    PHP_FCGI_MAX_REQUESTS=10000
    export PHP_FCGI_MAX_REQUESTS


    exec /var/www/vhosts/{DOMINIO}/bin/php-cgi

Copio quindi il binario ed assegno i permessi corretti:

    cp /usr/bin/php-cgi /var/www/vhosts/{DOMINIO}/bin/
    chown -R {UTENTEFTP}:psacln /var/www/vhosts/{DOMINIO}/bin/
    chmod 755 /var/www/vhosts/{DOMINIO}/bin/php-cgi.fcgi

Imposto il file di configurazione del vhost come segue:

vim /var/www/vhosts/{DOMINIO}/conf/vhost.conf

SuexecUserGroup {UTENTEFTP} psacln
<Directory /var/www/vhosts/{DOMINIO}/httpdocs>
    AddHandler fcgid-script .php
    FCGIWrapper /var/www/vhosts/{DOMINIO}/bin/php-cgi.fcgi .php
    Options +ExecCGI +FollowSymLinks
</Directory>

Ed infine impongo la lettura del mio conf esattamente come prima

vi /var/www/vhosts/{DOMINIO}/conf/httpd.include
                
....
Include /var/www/vhosts/{DOMINIO}/conf/vhost.conf

ed un restart:

#/etc/init.d/httpd restart

Problemi Ottenuti

Ecco cosa appare una volta al giorno:

# cat /var/log/httpd/error_log | grep "get" | more
[Sun  Apr 17 08:54:59 2011] [notice] mod_fcgid: process  /var/www/vhosts/kimere.com/httpdocs/index.php(7295) exit(communication  error), get stop signal 9
[Sun Apr 17 08:55:09 2011] [notice]  mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(21691)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:15  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(17509)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:29  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11535)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:34  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11551)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:34  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11550)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:34  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11547)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:34  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11542)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:34  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11539)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:40  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11558)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:45  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11564)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:55:55  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11575)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:01  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11610)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:15  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11621)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:19  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11638)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:19  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11632)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:19  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11629)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:19  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11624)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:23  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11642)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:29  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11646)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:56:47  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11651)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:02  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11692)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:02  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11688)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:06  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11708)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:06  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11704)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:06  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11701)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:06  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11695)  exit(communication error), get stop
 signal 9
[Sun Apr 17 08:57:11  2011] [notice] mod_fcgid: process  /var/www/vhosts/bottega.avalonceltic.com/httpdocs/index.php(11713)  exit(communication error), get stop
 signal 9

Ovvero i processi cadono uno dietro l'altro, dopo pochi minuti la situazione torna normale.

idee?

[FlameNetworks]

Il valore del parametro IPCConnectTimeout è troppo basso, o meglio gli script PHP dei tuoi siti necessitano di un valore più alto.

Il config di apache mi sembra scarsamente ottimizzato: MaxRequestsPerChild a 0 e MaxClients a 512 sono valori incongruenti.
Il Timeout ed il KeepAlive come sono configurati?

I valori di memory_limit e max_execution_time quali sono?

Le statistiche su accessi/traffico non esistono?

[diarex]

keepalive off

ormai sono al collasso. Ho eliminato il FastCGI perchè gli errori erano ininterrotti e
le pagine dei siti non si caricavano.

Ora il php gira come modulo ma la situazione non è migliorata. Non ci sono più errori nei log (a parte un "server reache MaxClient") ma dopo pochi minuti il restart le pagine non si caricano.

L'attuale conf:

<IfModule prefork.c>
StartServers      20
MinSpareServers   25
MaxSpareServers  100
ServerLimit      1024
MaxClients       1024
MaxRequestsPerChild  0
</IfModule>

Anche mettendo

MaxRequestsPerChild 400

non cambia nulla.

Al momento ho impostato un riavvio del server ogni 5 minuti, unica maniera per farlo andare.

HELP!!!!!!

[FlameNetworks]

MaxClients 1024...ma hai un'idea delle configurazioni che stai facendo oppure continui ad andare a tentativi?

Se vuoi risolvere il problema, devi analizzare la situazione a fondo, altrimenti non ne verrai mai a capo.

Tra l'altro ti sei perso alcune risposte, alle domande che ti ho posto prima.

[diarex]

phpinfo()

[FlameNetworks]

e quindi?

[diarex]

memory_limit 32M
max_execution_time 30

Max Requests Per Child: 4000 - Keep Alive: off - Max Per Connection: 100
Timeouts Connection: 120 - Keep-Alive: 15


il resto dell'info su:

phpinfo()

[FlameNetworks]

Le statistiche dove sono?

Ma il quadro completo riesci a fornirlo in una sola volta, oppure bisogna continuare a fare domande?
Hai installato un tool di monitoring delle risorse e dei servizi?

[diarex]

ed ecco le statistiche... sperando che chiedevi queste:

http://demo.creazionesitiweb.org/stat.jpg

[FlameNetworks]

Anche quelle relative ai siti.

Installa Munin, così puoi monitorare l'utilizzo delle risorse per ogni tipo di servizio/demone ed avere un'idea più chiara sull'andamento nell'arco delle 24 ore.

[diarex]

Il riavvio del server ogni 5 minuti ha consentito una continuità del servizio, almeno so come mettere una pezza temporaneamente in caso di problemi.

Ho eliminato il FastCGI completamente ed impostato valori più umani. Apache è compilato per usare prefork:

<IfModule prefork.c>
StartServers       8
MinSpareServers   32
MaxSpareServers   64
ServerLimit      256
MaxClients       256
MaxRequestsPerChild  4000
</IfModule>

Questi sono valori consigliati "per milioni di utenti al giorno" nel libro "Apache 2 - Guida Professionale".

Il risultato di ab è il seguente:

Server Software:        Apache/2.2.3
Server Hostname:        www.kimere.com
Server Port:            80

Document Path:          /
Document Length:        35390 bytes

Concurrency Level:      10
Time taken for tests:   8.818901 seconds
Complete requests:      100
Failed requests:        84
   (Connect: 0, Length: 84, Exceptions: 0)
Write errors:           0
Total transferred:      3607197 bytes
HTML transferred:       3539097 bytes
Requests per second:    11.34 [#/sec] (mean)
Time per request:       881.890 [ms] (mean)
Time per request:       88.189 [ms] (mean, across all concurrent requests)
Transfer rate:          399.37 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       0
Processing:   333  841 138.1    803    1278
Waiting:      324  830 138.2    791    1267
Total:        333  841 138.1    803    1278

Percentage of the requests served within a certain time (ms)
  50%    803
  66%    895
  75%    928
  80%    977
  90%   1030
  95%   1077
  98%   1189
  99%   1278
 100%   1278 (longest request)

Non so se preoccupari di Failed requests, anche interrogando google.it ottengo 80 (ovviamente con tempi molti più bassi).

Al momenti i siti non rspondono al browser ma non trovo errori nei log o saturazione di memoria.

L'output di ab al meomento è il seguente:

[root /etc/httpd/conf.d]# ab -n 50 -c 10  http://www.kimere.com/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking www.kimere.com (be patient)...apr_poll: The timeout specified has expired (70007)

Facendo top per i processi di apache ho:

top - 13:05:03 up 1 day, 23:01,  2 users,  load average: 0.04, 0.04, 0.12
Tasks:  98 total,   1 running,  97 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0% us,  0.0% sy,  0.0% ni, 100.0% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:   8147596k total,  8107308k used,    40288k free,   362852k buffers
Swap: 16771852k total,     8808k used, 16763044k free,  2314496k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
20468 apache    15   0 22860 4124  484 S    0  0.1   0:00.00 httpd
25920 apache    16   0 43972  19m 4396 S    0  0.2   0:07.99 httpd
26182 apache    15   0 43976  19m 4344 S    0  0.2   0:04.08 httpd
26246 apache    16   0 44540  20m 4552 S    0  0.3   0:02.34 httpd
26417 apache    16   0 44476  20m 4572 S    0  0.3   0:07.88 httpd
26418 apache    16   0 43960  19m 4348 S    0  0.2   0:01.24 httpd
26419 apache    16   0 43924  19m 4336 S    0  0.2   0:02.03 httpd
26422 apache    16   0 44116  19m 4396 S    0  0.2   0:10.93 httpd
26499 apache    16   0 44008  19m 4396 S    0  0.2   0:09.10 httpd
26525 apache    16   0 44272  20m 4560 S    0  0.3   0:07.92 httpd
26547 apache    16   0 44580  20m 4344 S    0  0.3   0:07.18 httpd

Dove diavolo devo cercare il problema??

[FlameNetworks]

Io ti chiedo "a", tu probabilmente capisci "b" e, di conseguenza, rispondi "c".

Di questo passo non ne verremo mai a capo.

Il fatto che "Questi sono valori consigliati "per milioni di utenti al giorno" nel libro "Apache 2 - Guida Professionale"." non significa che vadano bene per il tuo sistema, visto e considerato il tipo di VPS che stai utilizzando.

[diarex]

E' vero, ma al momento non sono in grado di installare Munin.

Usando il test ab invece mi pare chiaro che dopo molte richeste da qualche parte si forma un tappo che non fa più muovere il server.

Da cosa lo capisco? ab va in timeout mentre tutti i processi di Apache non occupano CPU.

Al momento ho sceso ancora:

MaxRequestsPerChild  100

E sembra che dopo lo stress di ab il server sia in grado di liberare la memoria, uccidere i processi ed è pronto ad nuovo test. Sono quindi arrivato a 120 richieste concorrenti ripetute 10 volte e tutto sta filando liscio.

[FlameNetworks]

E' piuttosto evidente che, con il dovuto rispetto, se non puoi/vuoi/sai installare un sistema di monitoring, non puoi gestire un sistema in produzione.
Un'analisi sui log è la prima cosa che devi fare, indipendentemente dal contesto in cui ti trovi e dalla situazione che devi affrontare.

Come vedi hai ancora tante cose da imparare ma (e lo dico solo nei tuoi interessi) se ti piace studiare sistemi e fare il sistemista, fallo in un ambiente di test e non in esercizio.

[diarex]

E' chiaro che i test prima di entrare in produzione non sono stati adeguati ed ora mi ritrovo così.

Però queste VPS vengono vendute con la promessa di assistenza che poi non c'è. Vengono dichiarate già pronte mentre non lo sono. E quando ti dicono che puoi settare il server come vuoi è un sogno che si avvera. Quante volte ho dovuto rinunciare ad una progress bar per gli upload in Flash o in Perl a causa della configurazione di Apache! Pensavo di limitarmi a questo perché avrei trovato il resto a posto.

Ma quando mai. Al nono VHost la situazione è crollata. Il deafault per MaxRequestPerChild è 4000, tuttavia solo scendendo a 100 ho ottenuto una situazione stabile.

Le prestazioni sono l'ultimo dei mie pensieri al momento, mi basta la continuità.

E sono costretto ancora a scendere nei meandri della configurazione perché vedere i siti che non rispondono ed i processi che non impegnano CPU mi infastidisce parecchio.

Domani potrò provare il tool che mi consigli e, per buona pace dei miei clienti, farò altri test.

Grazie.