以下の内容はhttps://tagomoris.hatenablog.com/entry/20140611/1402478357より取得しました。


そこそこでかいmapreduceを実行したらsplitが多過ぎて死ぬ

えいやっとHiveクエリを実行したら、しばらくゴリゴリ走ったのちに "Split metadata size exceeded 10000000. Aborting job ..." というログとともにクエリがkillされた。
えーと思って調べて以下の設定を mapred-site.xml にぶちこみJobTrackerとHiveServer2を再起動。

<property>
    <name>mapreduce.jobtracker.split.metainfo.maxsize</name>
    <value>-1</value>
</property>

そののちおもむろにクエリを再実行したところ、今度はshibのクエリ実行時間タイムアウトを延ばし忘れていたというオチがついた。mapreduceは走ってた。めでたしめでたし。




以上の内容はhttps://tagomoris.hatenablog.com/entry/20140611/1402478357より取得しました。
このページはhttp://font.textar.tv/のウェブフォントを使用してます

不具合報告/要望等はこちらへお願いします。
モバイルやる夫Viewer Ver0.14