#fluentdの死活監視を ping message + ping message checker で

先日のFluentd meetup #2からこっちFluentdの監視熱が高まっている昨今ですが、みなさんFluentdの監視してますか。暑いですね。
ところで監視といえばプロセス監視とかは当然やってたんですが、まあやっぱりメッセージ飛ばしてみて実際に飛ぶかどうかとか確認したいよねって思いますよね。当然ですよね。

で、当日調子に乗って out_ping_message を書いたものの、いざFluentdの各プロセスからpingを流してみたら毎分数十以上のメッセージが流れてきてファイルに書いても1周目の目視確認すら困難な状況になったので、ちゃんとping message到着してるか(正確には到着しなくなっちゃったものが無いか)をチェックしてくれる out_ping_message_checker を書いて fluent-plugin-ping-message に追加しました。

fluent-plugin-ping-message | RubyGems.org | your community gem host
tagomoris/fluent-plugin-ping-message · GitHub

これにより、たとえば check_interval 3600 としておくと、その一度届いたあとで期間内に一度も ping message が届かないようになったらアラート用のメッセージを emit してくれるようになります。デフォルトでは3回分のアラートメッセージを流したあとで沈黙します。あとはこのメッセージを適当な output plugin で目につくところに流してやればいいわけですね！
ということで手元ではこんな感じで設定。

# 全fluentdでこんな感じの設定
# たいていサーバに複数プロセス立ってるので data に in_forward がlistenしてるポート番号を含めてる
<source>
  type ping_message
  tag ping
  data NODENAME:PORTNUM
</source>
<match ping>
  type forward
  flush_interval 15s
  <server>
    host watcher01.local
  </server>
  <server>
    host watcher02.local
    standby yes
  </server>
</match>

# watcher側でこれを監視する設定
<match ping.**>
  type copy
  <store>
    type ping_message_checker
    tag missing.ping
    notifications yes   # watcher02 側では no にして、稀にpingがそっちに飛んでもアラート出さないよう抑制する
  </store>
  <store>
    type file_alternative  # チェックと同時にファイルに落とす(fluentd起動中のノード一覧がこれで取れる)
    path /var/log/fluentd/ping.%Y%m.log
    flush_interval 1s
    localtime
    output_include_time true
    output_include_tag false
    output_data_type attr:data
  </store>
</match>

<match missing.ping>
  type ikachan               # pingアラートが出たらIRCに流す
  host ikachan.local
  port 80
  channel watching
  out_keys data
  message Fluentd node down(ping missing): %s
</match>

まあみなさん、何も言わずにこの設定を自分のFluentdの設定ファイルにコピペするといいと思いますね。