grep,awk,nkf,jq,perlでバッファしないようにする

ログをtailして整形して流す際にどっかで出力をバッファしてしまって本来流れている部分全てが表示されずに困ってしまうことがあったので調べてみました

grep

おなじみgrep

grep --line-buffered hoge

簡単な集計に使ったりしてました

awk '{print $1,$3; fflush()}'
awk '{print $1,$3; system("")}'

よくURLエンコードされた文字列をデコードするときとかに使ったりします

-uオプションでバッファしない

tail -f /var/log/app/app.log | nkf -u --url-input

jqでもバッファするんですね

jq --unbuffered

以前perlを使っていたので正規表現などなじみがあるので使いやすかったり

ユニコードでエスケープされた文字とかを日本語に変換して出力したりと色々使える

$|=1でバッファリングしないように出来ます

perl -Xnpe '$|=1; s/hoge/fuga/g; s/aaa/bbb/g'

意外にまとまったページを見つけることができなかったので備忘録がてら残しておきます