https://tagomoris.hatenablog.com/entry/20120802/1343891922

世間の Fluentd ユーザのみなさんはFluentdが1プロセスでいったいどれだけ大量のメッセージをさばけるかを実際にご覧になってそのすばらしさに驚いていることと思いますが、もちろん1ノードで処理できるメッセージ数にはいずれ限界があり、メッセージを次段階の処理を行うFluentdに送るときには対象の分散を考えることと思います。

で、カジュアルにスケールさせていったところ out_forward の配送先が10サーバx各8プロセスの合計80ノードになって設定ファイルが爆発したので、設定ファイル内で繰り返しを記述できるプラグインを書いた。

tagomoris/fluent-plugin-config-expander · GitHub
fluent-plugin-config-expander | RubyGems.org | your community gem host

これにより

これが、

<match hoge.**>
  type forward
  num_threads 28
  send_timeout 5s
  flush_interval 1s
  buffer_chunk_limit 8M
  buffer_queue_limit 128
  <server>
    host node01.fluentd.local
    port 24211
  </server>
  <server>
    host node01.fluentd.local
    port 24212
  </server>
  <!-- 77回省略 -->
  <server>
    host node10.fluentd.local
    port 24218
  </server>
</match>

こうなる。

<match hoge.**>
  type config_expander
  <config>
    type forward
    num_threads 28
    send_timeout 5s
    flush_interval 1s
    buffer_chunk_limit 8M
    buffer_queue_limit 128
    <for node in 01 02 03 04 05 06 07 08 09 10>
      <for port in 24211 24212 24213 24214 24215 24216 24217 24218>
        <server>
          host node__node__.fluentd.local
          port __port__
        </server>
      </for>
    </for>
  </config>
</match>

どうよこの圧倒的な威力。DSLなんて大層なものいらんかったんやー。ループさえあればよかったんやー。

タグによりプラグインを動的生成する fluent-plugin-forest と組合せて使えばcaoticに増え続けるプラグインインスタンスの世界をお楽しみいただけます。*1
ノード数が爆発して困っているfluentdユーザのみなさん、ぜひどうぞ。

*1:作者は絶対にそのようなことはすまいと思っています。