Inside ASENS

この記事をブックマークする :

タガヤっす。

ひっさしぶりに技術ネタを。

本日、当社のトラック用品販売サイトが22時間停止してました。
かなり痛い(涙)
今後の教訓のため、書き残しておきます。

◆

ウチでは cron で yum を実行してます。
メンテナンスをすぐにサボるので、自動実行しといて問題が発生したら、そんときシューティングすればいいじゃん的なノリです。

で、今回問題が発生(涙)
土曜日ということもあり、気付くのに時間が掛かりました。
＃システムからのメールで気付きました。メール来るの遅いっ！

サービスはデフォルトポートで運用しないのがウチのルールなので、Postgresも例に漏れず変更していました。

しかし、自動実行されてアップデートされたときに起動スクリプトが書き換えられ、そのスクリプト内にデフォルトのポートが固定で指定されていました。

つまり、コンフィグファイルで指定しているポートは無視され、起動スクリプトに書いてあるデフォルトを採用された結果、ポートが違うということでコネクションエラーとなってしまったわけです。

本来なら、起動スクリプトを修正して、コンフィグファイルで設定しているポートを参照するようにしたかったのですが、めんどくさいので起動スクリプトのポート指定を変更することで復旧させました。

週が明けたら起動スクリプトを修正してみようかなと思っています。

この記事をブックマークする :