httpd down inspiegabilmente (per me...)

[cecco]

Ciao a tutti!

Sto tentando di ottimizzare il server e da un po' la notte alle 4 httpd va giù... il processo resta in piedi, nel senso che se faccio un:
/etc/init.d/httpd status
vedo che un processo che gira c'è, ma ogni pagina web è irragiungibile.

Per riavviarlo se faccio un primo
/etc/init.d/httpd restart

ottengo:
Starting httpd: (98)Address already in use: make_sock: could not bind to address [::]:443
no listening sockets available, shutting down
Unable to open logs

e solo al secondo tentativo mi si riavvia normalmente. Spulicando i log ho visto che tutto funziona regolarmente fino a questo messaggio:
Jun 13 04:09:51 server httpd: httpd -HUP succeeded
(server è il nome della macchina)

dopo il quale nessun documento viene più servito da apache, fino al restart che faccio manualmente.

Avete idea di cosa diavolo accada?
Mi sono spulciato pure tutti cron per vedere chi potesse essere il responsabile, ma a quell'ora non c'è nulla di custom e il daily che parte alle 4.00 di notte non è modificato da una vita. Comunque nel dubbio ho dato un'occhiata e lanciato a manina i vari cron.daily, senza riuscire a ripetere l'errore.

Help me, please...

[carlino1994]

Sembra che la porta 443 (quella dell'SSL) sia già utilizzata.

[cecco]

Si, ma al restart successivo tutto riparte correttamente... e fino alle 4 tutto funzionava correttamente...
cosa potrebbe essere?

[Antonio]

e solo al secondo tentativo mi si riavvia normalmente. Spulicando i log ho visto che tutto funziona regolarmente fino a questo messaggio:
Jun 13 04:09:51 server httpd: httpd -HUP succeeded
(server è il nome della macchina)

HUP è il segnale che viene inviato ad apache quando si vuole effettuare il restart (con conseguente terminazione e avvio dei processi figli di apache).

Si dovrebbe capire cosa succede a quell'ora per capire perché è stato eseguito quel comando e cosa succede ad apache dopo che viene ricevuto il segnale di HUP.

[cecco]

Si dovrebbe capire cosa succede a quell'ora per capire perché è stato eseguito quel comando e cosa succede ad apache dopo che viene ricevuto il segnale di HUP.

Infatti, ma sto impazendo per capire e non trovo nulla.
Ora sono passato da *.info a *.debug in syslog...
Altri suggerimenti per capire cosa accade?

[Shazan]

Attento perchè potrebbe essere un processo maligno che tenta di sostituire httpd ed occupare la porta 443.

[cecco]

Attento perchè potrebbe essere un processo maligno che tenta di sostituire httpd ed occupare la porta 443.

azz... e come lo sgamo?

[Shazan]

Vedi se trovi file strani in /tmp, /var/tmp, /dev/shm e prova a fare una scansione con rkhunter o simili.

Se hai dimestichezza con comandi come fuser, ps, netstat e con /proc, non dovrebbe essere particolarmente complicato rintracciarlo (ammesso che si tratti di questo, ovviamente...)

[FlameNetworks]

Potresti cortesemente descriverci cosa gira su questo server, quali software sono installati, quale OS, quanti domini, etc...
Unable to open logs mi fa pensare che Apache tenti di aprire troppi file, rispetto a quanto definito nei parametri del kernel.

Ciao,

Fabrizio

[Shazan]

Non apre i log perchè dice "Address already in use"

[FlameNetworks]

Avere comunque un'analisi in dettaglio credo sia utile, in ogni caso.
I log non dicono niente?

[cecco]

Vedi se trovi file strani in /tmp, /var/tmp, /dev/shm e prova a fare una scansione con rkhunter o simili.

Con rkhunter non ho trovato nulla...

Se hai dimestichezza con comandi come fuser, ps, netstat e con /proc, non dovrebbe essere particolarmente complicato rintracciarlo (ammesso che si tratti di questo, ovviamente...)

netstat lo loggo di continuo e non noto nulla di particolare. "ps aux" e "top cd1" li faccio girare in continuazione... anche li nulla.
fuser non lo conoscevo... carino, ora ci gioco un po...

Sotto /proc non riesco a vadere nulla che attiri la mia attenzione.

SGRUNT...

Ovviamente grazie!

[cecco]

Potresti cortesemente descriverci cosa gira su questo server, quali software sono installati, quale OS, quanti domini, etc...
Unable to open logs mi fa pensare che Apache tenti di aprire troppi file, rispetto a quanto definito nei parametri del kernel.

Ciao,

Fabrizio

Potrebbe essere!
E' userver web con consumo di risorse maggiore dato da apache+mysql+postfix.
11 IP con 150 virtual hosts, circa 10k unici, è un PIV dual core con 3 Gb di ram. La macchina è oggettivamente alle corde e mi sto attrezzando per trasferire parte del carico, anche se l'orario in cui si manifesta il problema, le 4 di notte, mi fa pensare che il problema sia altrove.

Quello che suggerivi potrebbe essere una valida idea, come posso controllarlo?
La macchina dal 2006 gira ininterrottamente e non ha mai dato problemi fino a qualche mese fa, in cui ha iniziato a mostrare i limiti legati alla carenza di ram rispetto alle micidiali query di alcuni siti in WordPress...

[cecco]

Avere comunque un'analisi in dettaglio credo sia utile, in ogni caso.
I log non dicono niente?

I log, con syslog settato su "info" per tutte le facilities, dice:

Jun 13 04:09:51 server httpd: httpd -HUP succeeded

e sono ragionevolmente sicuro che questa sia l'unica riga significativa, perché fino a 4 secondi prima, nei log di httpd dei siti, apache girava senza problemi, dopo invece, il buio. Sopra e sotto questa riga, solo informazioni poco rilevanti.

Curiosa la ripetitività del problema: con grep 'HUP' /var/log/*:

./boot.log.1:Jun  7 04:04:34 server httpd: httpd -HUP succeeded
./boot.log.1:Jun  8 04:06:42 server httpd: httpd -HUP succeeded
./boot.log.1:Jun  9 04:06:04 server httpd: httpd -HUP succeeded
./boot.log.1:Jun 10 04:06:45 server httpd: httpd -HUP succeeded
./boot.log.1:Jun 13 04:09:51 server httpd: httpd -HUP succeeded
./boot.log.2:May 31 04:06:23 server httpd: httpd -HUP succeeded
./boot.log.2:Jun  1 04:05:32 server httpd: httpd -HUP succeeded
./boot.log.2:Jun  2 04:05:52 server httpd: httpd -HUP succeeded
./boot.log.2:Jun  3 04:06:46 server httpd: httpd -HUP succeeded
./boot.log.2:Jun  5 04:05:51 server httpd: httpd -HUP succeeded
./boot.log.2:Jun  6 04:07:34 server httpd: httpd -HUP succeeded
./boot.log.3:May 25 04:37:29 server httpd: httpd -HUP succeeded
./boot.log.3:May 27 04:07:32 server httpd: httpd -HUP succeeded
./boot.log.3:May 30 04:10:08 server httpd: httpd -HUP succeeded
./boot.log.4:May 17 04:04:28 server httpd: httpd -HUP succeeded
./boot.log.4:May 18 04:05:58 server httpd: httpd -HUP succeeded
./boot.log.4:May 19 04:07:46 server httpd: httpd -HUP succeeded
./boot.log.4:May 20 04:06:55 server httpd: httpd -HUP succeeded
./boot.log.4:May 21 04:06:47 server httpd: httpd -HUP succeeded
./boot.log.4:May 22 03:40:55 server httpd: httpd -HUP succeeded
./boot.log.4:May 23 04:09:57 server httpd: httpd -HUP succeeded