MMMのはなし

「説明」「意思決定」に適したモデルを選ぶ

機械学習系の「予測」を目的としたモデルでは個々の説明変数の意味や操作可能性は気にしなくても問題ないことが多いですが、「説明」を目的とした回帰分析ではケースバイケースであり、特に回帰係数などの値をダイレクトに求めて意思決定に用いることが期待されるMMMでは「全ての説明変数の定義や意味が明確」で尚且つ「可能な限り多くの説明変数が操作（介入）可能」であることが求められる、と言って良いかと思います。

概して、MMMのような大掛かりなマーケティング分析ではとかく「少しでも多くの説明要因をモデルに盛り込みたい」ということでありったけのデータをあれもこれもと説明変数に突っ込んでしまいがちな現場が多いようです。しかし、その結果として得られるMMMが説明・解釈の困難なゲテモノになってしまっては本末転倒ですし、介入不可能な変数ばかりが重要だということになってしまってはマーケティング上の意思決定のしようがなく、元も子もありません。

よって、MMMを実施する際には「全ての定義と意味を把握できる範囲に説明変数を絞る」「可能な限り介入可能な説明変数だけに絞る」ことを個人的には推奨しています。後述するように、そう対処すること自体が既に恣意性を含んでいることは否めませんが、何にも使えないモデルが出来上がるよりはマシでしょう。

なお余談ながら、MMMでは「入れ子モデル」などの複雑なモデルが用いられることがあるようですが、汎化性能の評価が難しかったり、そもそも後述するような系列相関を伴う時系列データにおける適用可能性が曖昧だったり、その分析結果に基づいて考えられた介入施策が過剰に複雑になりがちなので、個人的にはお薦めしていないです。

過学習を避け、汎化性能を意識する

これは以前にもまとめたことがある話で、一般には「過学習は『予測』に害をなす」と思われがちですが、実は「説明」にとっても有害だということを指摘しておきたいと思います。理由は極めて単純で「過学習しているモデルでは回帰係数にもバイアスが乗ってしまい『説明』を誤らせる」からです。以下に簡単な例を示しておきます。

説明変数x1-3が共通する2つのモデルを用意します。1つはオリジナルの説明変数x1-3のみで目的変数に適合させたモデル且つ実際に目的変数の生成に用いた真のモデルで、もう1つは目的変数とは無関係に乱数生成した説明変数x4-9を追加したモデルです。試しに時系列プロットを描いてみると、前者のモデルは学習データにも交差検証データにもほどほどにフィットしている一方で、後者のモデルは学習データにぴったりフィットしながらも交差検証データからは大きく逸脱しています。

で、回帰係数を見てみるとこうなります。前者のモデルは（真のモデルなので）事前に設定した真の値に近い回帰係数をx1-3とも示していますが、後者のモデルでは過学習した結果としてx4-9がデタラメなのに加えてx1-3までもがおかしな結果になっています。

ということで、MMMがいかな「説明」にしか用いられないといえども、一般的な統計的学習モデル同様に過学習を可能な限り避け、交差検証を用いて汎化性能を確保することを意識するべきです。

多重共線性には適切に対処する

これまた前回の記事で論じたばかりなので繰り返しになってしまいますが、「説明」を目的とする回帰分析で尚且つ「個々の回帰係数に興味がある」のが典型的なMMMなので、多重共線性には適切に対処しなければなりません。特にROI/ROASを比較したいメディア変数と多重共線関係にある変数が混じっている場合は尚更です。

特に、MMMで扱う広告・マーケティングデータは「キャンペーンごとに同一カテゴリの全広告を同時出稿＆同時引き上げ」みたいな究極の多重共線関係を抱えていることが少なくなく*2、多重共線性のチェックは欠かせません。

対処法は前回の記事でも述べたように、「相関係数とVIFをベースとして多重共線関係にある変数を特定する」「その上でドメイン知識とMMMの分析目的に即して説明変数を削除orマージする」のが鉄則です。MMMだとspike-and-slab事前分布を用いてLasso的に変数削減する方法もあり得ますが、Lasso同様にドメイン知識や変数の生成過程を無視してアルゴリズミックに削ってしまうので推奨しません。

ちなみに、MMMという分析が一般に広告・マーケティング戦略立案に使われるものであるということを鑑みれば、普段から多重共線性が生じないように全てのメディアや施策を互いの相関が低くなるよう「適度にバラけさせながら打つ」というのがあるべき姿であろうと考えています。

遅延効果と飽和効果

近年のMMMでは、Jin et al. (2017)で提唱された遅延効果(adstock)と飽和効果(response curve)を盛り込むことが、半ばデフォルトの考え方となっています。モデル式で書くと難解そうに見えますが、StanでもNumPyroでもコードで書けばそれほど難しくはない*3ので、OSSの実装ではほぼ全てで使われています。

トレンドや季節調整などの系列相関への対処

MMMで用いるデータは典型的な経済学的・社会学的時系列データなので、系列相関としての長期トレンド（うねり）が回帰で説明できる以外の要因として乗ってくる上に、例えばdaily（日次）データであれば曜日に由来する7日周期の季節調整が必要になります。長期トレンドの推定には様々な方式がありますが、かつては二階差分トレンドや指数トレンドが一般的でした。最近は一般化加法モデルというアプローチもあるようです*4。季節調整も色々な流儀があり、総和をゼロ（平均ゼロの正規分布）でサンプリングするというやり方が簡単ですが、フーリエ近似するケースもあったりします。

なお、これらの系列相関に由来する非線形要因のパラメータ推定が複雑になることから、近年のMMM実装の多くがベイズ構造時系列モデルを採用しているようです。実際、頻度論的なアプローチで山ほどグリッドサーチするよりは、MCMCで一括でパラメータをサンプリングした方が手っ取り早いかと思われます。

交差検証には技術的なチャレンジがある

以前このブログでも何回かコメントしたことがありますが、時系列モデルの交差検証はpast-and-future split即ち「trainデータの未来方向にtestデータを一括して用意する」ことが原則とされます。

理由はシンプルで、random splitするとトレンドや季節調整などの系列相関が前後のサンプルから入り込んでleakageになってしまい、正しくない交差検証結果を返す恐れがあるからです。実際、過去にそれが原因で大炎上した時系列モデル研究論文*5があり、ご記憶の方もいらっしゃるかと思います。

他方で、最近では「MMMのような時系列回帰分析ではpast-and-future splitでholdoutを取るべきではない」という意見もあるようです。理由は幾つかあるようで、主要なものとしては「そもそもトレンドや季節調整の影響の方が強いデータに対して説明変数に基づく『未来予測』型の交差検証をするのは適さない」「MMMだと説明変数が時系列的にスパースであることが多くごく少数の説明変数の値をもって『未来予測』させる交差検証は意義が薄い」といったものがあります。このため、若干奇異に聞こえますが「random splitでtrain/testを分けた上でtrainデータで欠損値補完型*6のモデル学習を行い、素朴に欠損値としてのtestデータへの交差検証（補完性能の検証）を行う」というアプローチも出てきているようです。

しかし、僕も個人的に懇意にさせていただいているマクリン謙一郎さんも指摘されているように*7、「そもそも時系列モデル*8で尚且つ『真のモデルが分からない』のであれば『未来予測性能』で暫定的にモデル比較＆選択を行うの妥当」という考え方もあります。勿論、MMMといえども説明変数がスパースではないケースもあり、そういう時はpast-and-future splitで交差検証する方が適切でしょう。

いずれにせよ、MMMが時系列モデルであり尚且つ回帰分析でもあるという特徴がゆえに、その交差検証の方式には技術的なチャレンジがあるという点は留意しておくべきだというのが、僕の意見です。