Redmineが止まっていた話

某日 いつも通り何も考えずubuntuを最新にする。 sudo apt-get update && sudo apt-get upgrade -y 何も考えず再起動する sudo shutdown -r now   翌日 朝起きると, サーバのload averageとCPU使用率が高いという警告がmackerelから届いていた。 ログインしてtopとpsを叩くと、どうもruby (unicorn)がCPUを食いつぶしてるらしい。redmineのログを見てみると、無限に肥大化しており何が何だかわからない。死ぬほどログが垂れ流されているところをよくよくみると、 E, [2015-06-05T00:47:38.882239 #1267] ERROR — : Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’ (2) (Mysql2::Error) と書いてある。 netstatとかpsとか叩いてみると、たしかにmysqlが起動していない…… 今度はmysqlのログを見てみると、 150604 0:24:00 [ERROR] Can’t start server: Bind on TCP/IP port: Cannot assign requested address 150604 0:24:00 [ERROR] Do you already have another mysqld server running on port: 3306 ? 150604 0:24:00 [ERROR] Aborting 150604 0:24:00 InnoDB: Starting shutdown… 150604 0:24:01 InnoDB: Shutdown completed; log sequence number 2714169 150604 0:24:01 [Note] /usr/sbin/mysqld: Shutdown complete 当然だが他に3306ポートを使ってる人はいないし、意味不明である。my.cnfをみると、bind-address = 127.0.0.1 とある。 ふと思ってifconfigと叩くと、eth0しか出てこない…… 普段eth0とloが出てこなかったっけ? まったく意味不明であるが、ifup loと叩くと、 ifup: interface lo already configured とでる。が、ifconfig lo up

Read more