というNBER論文が上がっている（ungated版）。原題は「Uncertainty in Empirical Economics」で、著者はFrank Schorfheide（ペンシルベニア大）、Zhiheng You（同）。
以下はその要旨。
Econometricians invest substantial effort in constructing standard errors that yield valid inference under a hypothetical data-generating process. This paper asks a fundamental question: Are the uncertainty statements reported by applied researchers consistent with empirical frequencies? The short answer is no. Drawing on the forecasting literature, we predict estimates from “new” studies using estimates from corresponding baseline studies. By doing this across a large number of study groups and linking parameters through a hierarchical model, we compare stated probabilities to observed empirical frequencies. Alignment occurs only under limited external validity, namely, that the studies estimate different parameters.
（拙訳）
計量経済学者は、仮説上のデータ生成過程の下での妥当な推計をもたらす標準誤差の構築に多大な労力を費やす。本稿は基本的な質問を尋ねる。応用研究者が報告する不確実性の記述は実証的な頻度と整合的か？ 端的な答えは否である。予測に関する研究に基づいて我々は、対応するベースラインの研究の推計を用いて、「新たな」研究の推計を予測する。それを多数の研究グループについて行い、階層モデルを通じてパラメータを結び付けることにより我々は、記述された確率を観測された実証的な頻度と比較した。整合的になるのは限定的な外的妥当性の下でだけだった。即ち、各研究は違うパラメータを推計していた。
本文によると、似たようなパラメータないし因果効果を推計している研究を集め、そのうちの一つを妥当性確認の研究とし、残りをベースライン研究とした、とのこと。これが予測の関する研究から借用したやり方とのことである。即ち、妥当性確認の研究の推計値が従うであろう区間や密度の予測をベースライン研究から構築したという。ただ、集めた研究が同じパラメータを推計しているとは限らない（例えばミクロ計量経済学の応用における処置効果パラメータはその（部分）母集団固有のものかもしれない）。そのため、著者たちは、研究集合におけるパラメータのばらつきを許容するため、メタ分析の研究のやり方に倣って階層ベイズモデルを構築している。そのモデルでは、各研究固有のパラメータは、研究集合において共通の平均と非ゼロの分散νを持つ分布から抽出される。論文ではνをゼロに設定して頻度をνの関数として描画するか、もしくはνをベースライン研究から推計している。
報告されている標準誤差が大き過ぎて、カバレッジ区間が平均的に広すぎれば、各研究でパラメータが同じという仮定の下でも、平均カバレッジ頻度は名目カバレッジ確率を上回る。しかし、実際に3つの実証研究集合について調べたところ、いずれも逆だったという。即ち、ベースライン研究で報告されている標準誤差は、約束された名目カバレッジ確率に達する予測区間を生み出すには小さすぎた。従って、実証的なカバレッジの頻度をカバレッジ確率と整合させるためには、外的妥当性が限られていることを認識し、適切なνの値を通じて研究集合内のパラメータ値の違いを許容しなければならない。そのνが報告されている標準誤差に比べて大きければ、標準誤差が提示する不確実性の定量化はあまり使えない、ということになり、読者が報告された推計値を使いたいのであれば心の中で標準誤差を膨らませる必要がある、とのことである。
