Mysql CPU, interrupts e query ammazzaserver

[fantomas]

Da un paio di giorni ho un grosso problema.
VPS da 1Gb, ubuntu 8.04 LTS sempre aggiornato, con alcuni siti, blog e forum.
Il sito principale, su wordpress, ha 15.000-20.000 pageviews al giorno. gli altri sono trascurabili (poche centinaia di pageviews).
Ha sempre funzionato benissimo, ma da due giorni a questa parte il sito principale è lentissimo, pur non essendo cambiato il numero di visite nè la struttura del sito o del DB.
In pratica a parità di condizioni (numero utenti, visite contemporanee, etc), da un giorno all'altro è passato da occupazione di CPU che andava al massimo al 90% nei momenti di punta, e Load Average massimo di 2.5 a CPU al 400% e load average 25.
La cosa più strana è l'aumento incredibile di individual interrupts (monitorizzo con munin), anche quello incrementato del 400% rispetto ai giorni (e mesi) precedenti.

Il problema si presenta solo sul database principale: ho verificato disabilitando l'accesso a tutti tranne a me,e anche con un solo client se ricarico la pagina più volte la cpu schizza insieme agli interrupts, mentre sugli altri siti è tutto ok.

Ho controllato il log delle slow queries, ma ci sono le solite che c'erano prima. Prima o poi dovrò ottimizzarle, ma le reggevo prima, quindi non sono colpevoli.
Ho ottimizzato le tabelle del db colpevole, niente.
Ho cancellato il db colpevole, ricaricato un backup, niente.
Ho recuperato un backup di db e sito di quando funzionava, niente.
Ho verificato il log apt per vedere se qualche apt-get update poteva aver cambiato qualcosa, niente.

Non so più che fare... help!

[usu]

posta qui la config di mysql

[Shazan]

Ma il kernel è sempre lo stesso? Hai controllato se il problema è iniziato in seguito ad un reboot?

[fantomas]

Questo è il mio php.ini

[client]
port            = 3306
socket          = /var/run/mysqld/mysqld.sock
[mysqld_safe]
socket          = /var/run/mysqld/mysqld.sock
nice            = 0

[mysqld]
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306
basedir         = /usr
datadir         = /var/lib/mysql
tmpdir          = /tmp
language        = /usr/share/mysql/english
skip-external-locking

bind-address            = 127.0.0.1

key_buffer              = 16M
max_allowed_packet      = 16M
thread_stack            = 128K
thread_cache_size       = 64

table_cache             = 768
thread_concurrency      = 8

tmp_table_size          = 64M
max_heap_table_size     = 64M

query_cache_type        = 1
query_cache_limit       = 1M
query_cache_size        = 32M

#log_bin                        = /var/log/mysql/mysql-bin.log
expire_logs_days        = 10
max_binlog_size         = 100M

# Using BerkeleyDB is now discouraged as its support will cease in 5.1.12.
skip-bdb

skip-innodb

[mysqldump]
quick
quote-names
max_allowed_packet      = 16M

[mysql]
#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]
key_buffer              = 16M

[fantomas]

Ma il kernel è sempre lo stesso? Hai controllato se il problema è iniziato in seguito ad un reboot?

effettivamente il problema è iniziato dopo un reboot, ma due giorni dopo. Il fatto è che per due giorni ha continuato a funzionare senza problemi, e i grafici munin sono uguali a quelli dei giorni precedenti. poi dal mattino del terzo giorno... tragedia.
Per il kernel ho già controllato, ed è lo stesso che uso da due - tre mesi a questa parte.

[usu]

posta anche l'output di

SHOW STATUS;

da mysql

[fantomas]

Purtroppo ho riavviato il server da poche ore, non so se potrà servire...

mysql> SHOW STATUS;
+-----------------------------------+----------+
| Variable_name                     | Value    |
+-----------------------------------+----------+
| Aborted_clients                   | 0        | 
| Aborted_connects                  | 7        | 
| Binlog_cache_disk_use             | 0        | 
| Binlog_cache_use                  | 0        | 
| Bytes_received                    | 115      | 
| Bytes_sent                        | 162      | 
| Com_admin_commands                | 0        | 
| Com_alter_db                      | 0        | 
| Com_alter_table                   | 0        | 
| Com_analyze                       | 0        | 
| Com_backup_table                  | 0        | 
| Com_begin                         | 0        | 
| Com_call_procedure                | 0        | 
| Com_change_db                     | 0        | 
| Com_change_master                 | 0        | 
| Com_check                         | 0        | 
| Com_checksum                      | 0        | 
| Com_commit                        | 0        | 
| Com_create_db                     | 0        | 
| Com_create_function               | 0        | 
| Com_create_index                  | 0        | 
| Com_create_table                  | 0        | 
| Com_create_user                   | 0        | 
| Com_dealloc_sql                   | 0        | 
| Com_delete                        | 0        | 
| Com_delete_multi                  | 0        | 
| Com_do                            | 0        | 
| Com_drop_db                       | 0        | 
| Com_drop_function                 | 0        | 
| Com_drop_index                    | 0        | 
| Com_drop_table                    | 0        | 
| Com_drop_user                     | 0        | 
| Com_execute_sql                   | 0        | 
| Com_flush                         | 0        | 
| Com_grant                         | 0        | 
| Com_ha_close                      | 0        | 
| Com_ha_open                       | 0        | 
| Com_ha_read                       | 0        | 
| Com_help                          | 0        | 
| Com_insert                        | 0        | 
| Com_insert_select                 | 0        | 
| Com_kill                          | 0        | 
| Com_load                          | 0        | 
| Com_load_master_data              | 0        | 
| Com_load_master_table             | 0        | 
| Com_lock_tables                   | 0        | 
| Com_optimize                      | 0        | 
| Com_preload_keys                  | 0        | 
| Com_prepare_sql                   | 0        | 
| Com_purge                         | 0        | 
| Com_purge_before_date             | 0        | 
| Com_rename_table                  | 0        | 
| Com_repair                        | 0        | 
| Com_replace                       | 0        | 
| Com_replace_select                | 0        | 
| Com_reset                         | 0        | 
| Com_restore_table                 | 0        | 
| Com_revoke                        | 0        | 
| Com_revoke_all                    | 0        | 
| Com_rollback                      | 0        | 
| Com_savepoint                     | 0        | 
| Com_select                        | 1        | 
| Com_set_option                    | 0        | 
| Com_show_binlog_events            | 0        | 
| Com_show_binlogs                  | 0        | 
| Com_show_charsets                 | 0        | 
| Com_show_collations               | 0        | 
| Com_show_column_types             | 0        | 
| Com_show_create_db                | 0        | 
| Com_show_create_table             | 0        | 
| Com_show_databases                | 0        | 
| Com_show_errors                   | 0        | 
| Com_show_fields                   | 0        | 
| Com_show_grants                   | 0        | 
| Com_show_innodb_status            | 0        | 
| Com_show_keys                     | 0        | 
| Com_show_logs                     | 0        | 
| Com_show_master_status            | 0        | 
| Com_show_ndb_status               | 0        | 
| Com_show_new_master               | 0        | 
| Com_show_open_tables              | 0        | 
| Com_show_privileges               | 0        | 
| Com_show_processlist              | 0        | 
| Com_show_slave_hosts              | 0        | 
| Com_show_slave_status             | 0        | 
| Com_show_status                   | 1        | 
| Com_show_storage_engines          | 0        | 
| Com_show_tables                   | 0        | 
| Com_show_triggers                 | 0        | 
| Com_show_variables                | 0        | 
| Com_show_warnings                 | 0        | 
| Com_slave_start                   | 0        | 
| Com_slave_stop                    | 0        | 
| Com_stmt_close                    | 0        | 
| Com_stmt_execute                  | 0        | 
| Com_stmt_fetch                    | 0        | 
| Com_stmt_prepare                  | 0        | 
| Com_stmt_reset                    | 0        | 
| Com_stmt_send_long_data           | 0        | 
| Com_truncate                      | 0        | 
| Com_unlock_tables                 | 0        | 
| Com_update                        | 0        | 
| Com_update_multi                  | 0        | 
| Com_xa_commit                     | 0        | 
| Com_xa_end                        | 0        | 
| Com_xa_prepare                    | 0        | 
| Com_xa_recover                    | 0        | 
| Com_xa_rollback                   | 0        | 
| Com_xa_start                      | 0        | 
| Compression                       | OFF      | 
| Connections                       | 5721     | 
| Created_tmp_disk_tables           | 0        | 
| Created_tmp_files                 | 0        | 
| Created_tmp_tables                | 1        | 
| Delayed_errors                    | 0        | 
| Delayed_insert_threads            | 0        | 
| Delayed_writes                    | 0        | 
| Flush_commands                    | 1        | 
| Handler_commit                    | 0        | 
| Handler_delete                    | 0        | 
| Handler_discover                  | 0        | 
| Handler_prepare                   | 0        | 
| Handler_read_first                | 0        | 
| Handler_read_key                  | 0        | 
| Handler_read_next                 | 0        | 
| Handler_read_prev                 | 0        | 
| Handler_read_rnd                  | 0        | 
| Handler_read_rnd_next             | 0        | 
| Handler_rollback                  | 0        | 
| Handler_savepoint                 | 0        | 
| Handler_savepoint_rollback        | 0        | 
| Handler_update                    | 0        | 
| Handler_write                     | 132      | 
| Innodb_buffer_pool_pages_data     | 0        | 
| Innodb_buffer_pool_pages_dirty    | 0        | 
| Innodb_buffer_pool_pages_flushed  | 0        | 
| Innodb_buffer_pool_pages_free     | 0        | 
| Innodb_buffer_pool_pages_latched  | 0        | 
| Innodb_buffer_pool_pages_misc     | 0        | 
| Innodb_buffer_pool_pages_total    | 0        | 
| Innodb_buffer_pool_read_ahead_rnd | 0        | 
| Innodb_buffer_pool_read_ahead_seq | 0        | 
| Innodb_buffer_pool_read_requests  | 0        | 
| Innodb_buffer_pool_reads          | 0        | 
| Innodb_buffer_pool_wait_free      | 0        | 
| Innodb_buffer_pool_write_requests | 0        | 
| Innodb_data_fsyncs                | 0        | 
| Innodb_data_pending_fsyncs        | 0        | 
| Innodb_data_pending_reads         | 0        | 
| Innodb_data_pending_writes        | 0        | 
| Innodb_data_read                  | 0        | 
| Innodb_data_reads                 | 0        | 
| Innodb_data_writes                | 0        | 
| Innodb_data_written               | 0        | 
| Innodb_dblwr_pages_written        | 0        | 
| Innodb_dblwr_writes               | 0        | 
| Innodb_log_waits                  | 0        | 
| Innodb_log_write_requests         | 0        | 
| Innodb_log_writes                 | 0        | 
| Innodb_os_log_fsyncs              | 0        | 
| Innodb_os_log_pending_fsyncs      | 0        | 
| Innodb_os_log_pending_writes      | 0        | 
| Innodb_os_log_written             | 0        | 
| Innodb_page_size                  | 0        | 
| Innodb_pages_created              | 0        | 
| Innodb_pages_read                 | 0        | 
| Innodb_pages_written              | 0        | 
| Innodb_row_lock_current_waits     | 0        | 
| Innodb_row_lock_time              | 0        | 
| Innodb_row_lock_time_avg          | 0        | 
| Innodb_row_lock_time_max          | 0        | 
| Innodb_row_lock_waits             | 0        | 
| Innodb_rows_deleted               | 0        | 
| Innodb_rows_inserted              | 0        | 
| Innodb_rows_read                  | 0        | 
| Innodb_rows_updated               | 0        | 
| Key_blocks_not_flushed            | 0        | 
| Key_blocks_unused                 | 8713     | 
| Key_blocks_used                   | 5785     | 
| Key_read_requests                 | 2230631  | 
| Key_reads                         | 6980     | 
| Key_write_requests                | 90349    | 
| Key_writes                        | 10404    | 
| Last_query_cost                   | 0.000000 | 
| Max_used_connections              | 8        | 
| Ndb_cluster_node_id               | 0        | 
| Ndb_config_from_host              |          | 
| Ndb_config_from_port              | 0        | 
| Ndb_number_of_data_nodes          | 0        | 
| Not_flushed_delayed_rows          | 0        | 
| Open_files                        | 1218     | 
| Open_streams                      | 0        | 
| Open_tables                       | 613      | 
| Opened_tables                     | 0        | 
| Prepared_stmt_count               | 0        | 
| Qcache_free_blocks                | 1309     | 
| Qcache_free_memory                | 27443720 | 
| Qcache_hits                       | 84053    | 
| Qcache_inserts                    | 14098    | 
| Qcache_lowmem_prunes              | 0        | 
| Qcache_not_cached                 | 7469     | 
| Qcache_queries_in_cache           | 2035     | 
| Qcache_total_blocks               | 5515     | 
| Questions                         | 126898   | 
| Rpl_status                        | NULL     | 
| Select_full_join                  | 0        | 
| Select_full_range_join            | 0        | 
| Select_range                      | 0        | 
| Select_range_check                | 0        | 
| Select_scan                       | 1        | 
| Slave_open_temp_tables            | 0        | 
| Slave_retried_transactions        | 0        | 
| Slave_running                     | OFF      | 
| Slow_launch_threads               | 0        | 
| Slow_queries                      | 0        | 
| Sort_merge_passes                 | 0        | 
| Sort_range                        | 0        | 
| Sort_rows                         | 0        | 
| Sort_scan                         | 0        | 
| Ssl_accept_renegotiates           | 0        | 
| Ssl_accepts                       | 0        | 
| Ssl_callback_cache_hits           | 0        | 
| Ssl_cipher                        |          | 
| Ssl_cipher_list                   |          | 
| Ssl_client_connects               | 0        | 
| Ssl_connect_renegotiates          | 0        | 
| Ssl_ctx_verify_depth              | 0        | 
| Ssl_ctx_verify_mode               | 0        | 
| Ssl_default_timeout               | 0        | 
| Ssl_finished_accepts              | 0        | 
| Ssl_finished_connects             | 0        | 
| Ssl_session_cache_hits            | 0        | 
| Ssl_session_cache_misses          | 0        | 
| Ssl_session_cache_mode            | NONE     | 
| Ssl_session_cache_overflows       | 0        | 
| Ssl_session_cache_size            | 0        | 
| Ssl_session_cache_timeouts        | 0        | 
| Ssl_sessions_reused               | 0        | 
| Ssl_used_session_cache_entries    | 0        | 
| Ssl_verify_depth                  | 0        | 
| Ssl_verify_mode                   | 0        | 
| Ssl_version                       |          | 
| Table_locks_immediate             | 27061    | 
| Table_locks_waited                | 1        | 
| Tc_log_max_pages_used             | 0        | 
| Tc_log_page_size                  | 0        | 
| Tc_log_page_waits                 | 0        | 
| Threads_cached                    | 6        | 
| Threads_connected                 | 2        | 
| Threads_created                   | 8        | 
| Threads_running                   | 1        | 
| Uptime                            | 10660    | 
| Uptime_since_flush_status         | 10660    | 
+-----------------------------------+----------+

[ceccus]

Salve,
Allora, ci sono alcuni dati "incongruenti" ... nel senso ...
Dici che non è cambiato nulla... o meglio è cambiato qualcosa ma le ripercussioni le hai avute dopo 3 giorni ...mhhh ...
Poi , gli Interrupt che salgono alle stelle ............. mhhh ...
Così, a naso, mi verrebbe di consigliarti 2 strade da percorrere ...

1) Verificare se negli ultimi giorni qualche tabella è "gonfiata come un rospo" e quindi rompe dal punto di vista dell' estrazione dati ... verifica anche se il tempo di esecuzione delle "slow queryes" è sempre il solito ... le queryes hai detto che sono le medesime , ma non hai detto se il tempo di risoluzione è sempre il solito ...

2) Il discorso Interrupt ... mi verrebbe quasi da pensare che ci sia un incasinamento a livello Kernel, per cui, se non risolvi nulla con la 1° strada, ti consiglierei di re-installare il MySQL (re-installare i DB, come hai già fatto, serve a poco, se il problema è nel "motore" ..........

Questo quello che farei io al posto tuo ...

Ciao !!

[GrG]

Fai un REPAIR/OPTIMIZE su tutte le tabelle, che non si sa mai e poi male non fa.

[fantomas]

Salve,
Allora, ci sono alcuni dati "incongruenti" ... nel senso ...
Dici che non è cambiato nulla... o meglio è cambiato qualcosa ma le ripercussioni le hai avute dopo 3 giorni ...mhhh ...

Giuro che anche io ho detto: mhhh...

Poi , gli Interrupt che salgono alle stelle ............. mhhh ...
Così, a naso, mi verrebbe di consigliarti 2 strade da percorrere ...

1) Verificare se negli ultimi giorni qualche tabella è "gonfiata come un rospo" e quindi rompe dal punto di vista dell' estrazione dati ... verifica anche se il tempo di esecuzione delle "slow queryes" è sempre il solito ... le queryes hai detto che sono le medesime , ma non hai detto se il tempo di risoluzione è sempre il solito ...
.

Si il tempo è lo stesso, e non ho trovato nessuna tabella che sia cambiata...

2) Il discorso Interrupt ... mi verrebbe quasi da pensare che ci sia un incasinamento a livello Kernel, per cui, se non risolvi nulla con la 1° strada, ti consiglierei di re-installare il MySQL (re-installare i DB, come hai già fatto, serve a poco, se il problema è nel "motore" ..........

Questo quello che farei io al posto tuo ...

Ciao !!

Ti ringrazio del consiglio, ed in effetti è quello che ho pensato anche io: quando ho visto che persino ritornando ad una vecchia versione di DB e di template i problemi rimanevano là...
Da Stamattina sto provando ad utilizzare un kernel diverso, e sembra che regga molto di più, quindi la tua ipotesi sarebbe confermata. Però le ore di punta devono ancora arrivare. In ogni caso ieri notte ho fatto dei test, e anche da solo sul sistema il carico era enorme e gli interrupt alle stelle, stamattina invece che ho già un discreto traffico sembra che tutto sia ok.

Spero che questa soluzione mi permetta di "respirare" e di non far scappare gli utenti, mi piacerebbe però capire che cosa possa essere successo. Proverò anche a disinstallare e reinstallare mysql come hai consigliato tu.

Volevo solo dare qualche altro indizio: il sistema rallentava perchè i processi php-cgi rimanevano attivi per un tempo enorme, consumando il 90-100% di cpu ognuno. Guardando con mytop rilevavo un sacco di query in stato di sleep, quindi mi è venuto da pensare che i processi rimanessero attivi in attesa dei dati mysql.
Questa situazione in momenti di traffico causava un enorme numero di thread mysql: nell'ultimo anno non ho mai superato i 5-6, in questi giorni arrivava facilmente a 20-30.

[ceccus]

SAlve,
Hai detto di essere su di una VPS ... per caso, non è mica cambiato l' Hardware fisico su cui poggia la tua VPS ??? Ti dico questo perchè, a lavoro, un po' di tempo fa (circa 1 anno fa) , acquistammo dei Server da un notissimo produttore hardware i quali server, sulla carta, dovevano essere velocissimi ... e lo erano ... tranne .......... tranne che con IIS ... insomma, morale della favola, il Driver che sovrintendeva alle scritture fisiche su Disco , si incasinava in determinate circostanze mandando le 8 CPU del Server a "tappo" ... fatta fare (in fretta) la patch, installata ... miracolo !!! il tutto funzionava regolarmente ...
Il fatto che tu abbia tanti interrupt significa che ci sono tanti (troppi) Context Switch e praticamente, la CPU passa più tempo a commutare fra un thread e l'altro che non ad eseguirli fisicamente ... da qui i rallentamenti che noti ...
Una domandina al tuo fornitore gliela farei ... non si sa mai ...

Ciao !!

[fantomas]

Fai un REPAIR/OPTIMIZE su tutte le tabelle, che non si sa mai e poi male non fa.

E' una delle prime cose che ho fatto, hai ragione, male non fa :-)
Però non ho visto nessun miglioramento apparente.

Dopo miliardi di prove, controlli, tweaks, eccetera, l'unico miglioramento lo sto rilevando stamattina con il cambio di kernel (però incrocio le dita perchè il traffico è ancora basso).

Chiedo lumi agli esperti di xen: è possibile che abbiano cambiato qualche cosa nel server, qualche libreria condivisa, qualche settaggio, per cui anche se non hanno cambiato il kernel magari può essersi verificata qualche incompatibilità o problema?

[GrG]

Chiedo lumi agli esperti di xen: è possibile che abbiano cambiato qualche cosa nel server, qualche libreria condivisa, qualche settaggio, per cui anche se non hanno cambiato il kernel magari può essersi verificata qualche incompatibilità o problema?

Se è XEN no, è praticamente impossibile.

[fantomas]

SAlve,
Hai detto di essere su di una VPS ... per caso, non è mica cambiato l' Hardware fisico su cui poggia la tua VPS ??? Ti dico questo perchè, a lavoro, un po' di tempo fa (circa 1 anno fa) , acquistammo dei Server da un notissimo produttore hardware i quali server, sulla carta, dovevano essere velocissimi ... e lo erano ... tranne .......... tranne che con IIS ... insomma, morale della favola, il Driver che sovrintendeva alle scritture fisiche su Disco , si incasinava in determinate circostanze mandando le 8 CPU del Server a "tappo" ... fatta fare (in fretta) la patch, installata ... miracolo !!! il tutto funzionava regolarmente ...
Il fatto che tu abbia tanti interrupt significa che ci sono tanti (troppi) Context Switch e praticamente, la CPU passa più tempo a commutare fra un thread e l'altro che non ad eseguirli fisicamente ... da qui i rallentamenti che noti ...
Una domandina al tuo fornitore gliela farei ... non si sa mai ...

Ciao !!

L'hardware non è cambiato (mi sono anche fatto spostare di server per vedere se il problema poteva essere quello), però il reboot è avvenuto in seguito ad un problema di alimentazione (che ha riguardato un grande numero di server nel Data Center di Newark di Net Access Corporation). In seguito al reboot forzato la mia macchina è andata in OOM per la prima volta da quando ce l'ho, e dopo un ulteriore reboot sembrava a posto.

[fantomas]

Se è XEN no, è praticamente impossibile.

Si è Xen.
Quindi visto che con il kernel che ho sempre utilizzato non va più, e con un nuovo kernel sperimentale va, l'unica cosa possibile è che nella mia macchina sia cambiato qualcosa che ha reso qualche servizio incompatibile con il kernel.
Oppure potrebbero aver usufruito del down forzato di tutti i server per effettuare qualche upgrade del server.