https://cowawa34.hatenablog.com/entry/2020/01/25/004054

小問[1]-1

$X_{t}=\phi X_{t-1}+\epsilon_{t} \quad(t=\ldots,-1,0,1, \ldots)$
$\epsilon_{t} \sim N(0, \sigma^{2}) \quad i.i.d$
$|\phi| < 1$

以上の $AR(1)$ モデルにおける $\left(X_{1}, \ldots, X_{n}\right)$ の自己共分散行列 $T=\left\{\tau_{i j}\right\}$ の各成分は

$\begin{aligned} \tau_{i j}=\frac{\sigma^{2}}{1-\phi^{2}} \phi^{|i-j|} \quad(i, j=1, \ldots, n) \end{aligned}$

で与えられることを示す。
$i > j, \quad i = j + k, \quad k \geq 1, \quad k \in 自然数$ のとき、

$\begin{aligned} \tau_{i j} &=COV(X_{i}, X_{i-k}) \\ &={COV}(\phi X_{i-1}+\epsilon_{i}, X_{i-k}) \\ &=\phi \times {COV}(X_{i-1}, X_{i-k})+COV(\epsilon_{i}, X_{i-k}) \\ &=\phi \times COV(X_{i-1}, X_{i-k}) + 0\\ &=\phi^{1} \tau_{i-1, i-k} \\ &=\phi^{2} \tau_{i-2, i-k} \\ &=\quad \ldots \\ &=\phi^{k} \tau_{i-k, i-k} \\ &=\phi^{i-j} \tau_{j j} \end{aligned}$

$\begin{aligned} \tau_{j j} &=V[X_{j}] \\ &=V[\phi X_{j-1}+\epsilon_{j}] \\ &=\phi^{2} \times V[X_{j-1}]+\sigma^{2}\\ &=\phi^{2} \times \tau_{j-1, j-1}+\sigma^{2}\\ \end{aligned}$

である。今 $AR(1)$ モデルは定常なので、自己共分散は時点差のみに依存する。すなわち、

$\begin{aligned} \tau_{j j} = \tau_{j-1, j-1} \end{aligned}$

より、

$\begin{aligned} \tau_{j j}=\frac{\sigma^{2}}{1-\phi^{2}} \quad (i = j) \end{aligned}$

である。よって

$\begin{aligned} \tau_{i j}=\frac{\sigma_{2}}{1-\phi^{2}} \phi^{i-j} \quad (i > j) \end{aligned}$

である。分散共分散は対称行列なので $i < j$ のときは、

$\begin{aligned} \tau_{i j}=\tau_{j i}=\frac{\sigma^{2}}{1-\phi^{2}} \phi^{j-i} \quad (i < j) \end{aligned}$

である。以上より
自己共分散行列 $T=\left\{\tau_{i j}\right\}$ の各成分は

$\begin{aligned} \tau_{i j}=\frac{\sigma^{2}}{1-\phi^{2}} \phi^{|i-j|} \quad(i, j=1, \ldots, n) \end{aligned}$

で与えられる。

小問[1]-2

自己相関行列は

$\begin{aligned} R=\{\rho_{i j}\}=\{\phi^{|i-j|}\} \end{aligned}$

となることを示す。

相関係数の定義と以上のこれまでの結果より、

$\begin{aligned} \rho_{i j}=\frac{\tau_{i j}}{\sqrt{\tau_{i i}\tau_{j j}}}=\frac{\tau_{i j}}{\tau_{i i}}=\phi^{| i - j |} \end{aligned}$

である。

小問[2]-1

$n$ 次対称行列 $A=\{a_{i j}\}$ を

$a_{i j}=\left\{\begin{array}{cc} {1} & {(i=j=1, i=j=n)} \\ {1+\phi^{2}} & {(i=j=2, \ldots, n-1)} \\ {-\phi} & {(|i-j|=1)} \\ {0} & {(|i-j| \geq 2)} \end{array}\right.$

とする。
一般の $n$ および小問[1]の行列 $T$ に対し、 $\frac{1}{\sigma^2}T$ の逆行列は $A$ で与えられることを示す。
$\frac{1}{\sigma^2}TA$ の各成分を以下の5通りに分けて計算する。
① $i = j = 1$ のとき

$\begin{aligned} \frac{1}{\sigma^{2}} \sum_{k=1}^{n}(t_{1 k} a_{k 1}) &=\frac{1}{\sigma^{2}} \sum_{k = 1}^{n}(\frac{\sigma^{2}}{1-\phi^{2}} \phi^{|1- k|} a_{k 1}) \\ &=\frac{1}{1-\phi^{2}}\{\phi^{|1-1|} \times 1 + \phi^{|1-2|} \times (-\phi) + 0 + \cdots + 0\} \\ &=\frac{1-\phi^{2}}{1-\phi^{2}}=1 \end{aligned}$

である。
② $i=j=2, \ldots, n-1$ のとき

$\begin{aligned} \frac{1}{\sigma^{2}} \sum_{k=1}^{n}(t_{i k} a_{k i}) &= \frac{1}{1-\phi^{2}}(0 + \cdots + 0 + t_{i, i - 1}a_{i - 1, i} + t_{i i}a_{i i} + t_{i, i + 1}a_{i + 1, i} + 0 + \cdots + 0) \\ &=\frac{1}{1-\phi^{2}}\{ \phi^{|i - (i - 1)|}(-\phi) + \phi^{|i - i|}(1+p^{2})+\phi^{|i - (i + 1)|}(-\phi)\} \\ &=\frac{1}{1-\phi^{2}}(- \phi^{2} + 1 + \phi^{2} - \phi^{2}) = 1 \end{aligned}$
である。

③ $i=j=n,$ のとき

$\begin{aligned} \frac{1}{\sigma^{2}} \sum_{k=1}^{n}(t_{n k} a_{k n}) &=\frac{1}{1-\phi^{2}}\{ 0 + \cdots + 0 + \phi^{|n - (n -1)|} \times (-\phi) + \phi^{|n -n|} \times 1 \} \\ &=\frac{1-\phi^{2}}{1-\phi^{2}}=1 \end{aligned}$

である。
④ $i > j$ のとき

$\begin{aligned} \frac{1}{\sigma^{2}} \sum_{k=1}^{n}(t_{i k} a_{k j}) &=\frac{1}{1-\phi^{2}} (0+\cdots+0+ t_{i, j-1}a_{j-1, j} + t_{i j}a_{j j} + t_{i, j + 1} a_{j+1, j} + 0 + \cdots + 0) \\ &=\frac{1}{1-\phi^{2}}\{\phi^{|i-(j-1)|}(-\phi) + \phi^{|i-j|}(1 + \phi^{2})+ \phi^{|i-(j+1)|}(-\phi^{2})\} \\ &=\frac{1}{1-\phi^{2}}\{\phi^{i - j+1}(-\phi)+\phi^{i - j}(1+\phi^{2})+\phi^{i - j - 1}(-\phi)\}\\ &=\frac{1}{1-\phi^{2}}(-\phi^{i - j + 2}+\phi^{i - j} + \phi^{i - j + 2} - \phi^{i - j})=0 \end{aligned}$

である。
⑤ $i < j$ のとき

$\begin{aligned} \frac{1}{\sigma^{2}} \sum_{k=1}^{n}(t_{i k} a_{k j}) &=\frac{1}{1-\phi^{2}} (0+\cdots+0+ t_{i, j-1}a_{j-1, j} + t_{i j}a_{j j} + t_{i, j + 1} a_{j+1, j} + 0 + \cdots + 0) \\ &=\frac{1}{1-\phi^{2}}\{\phi^{|i-(j-1)|}(-\phi) + \phi^{|i-j|}(1 + \phi^{2})+ \phi^{|i-(j+1)|}(-\phi^{2})\} \\ &=\frac{1}{1-\phi^{2}}\{\phi^{j - i +1}(-\phi)+\phi^{j - i}(1+\phi^{2})+\phi^{j - i - 1}(-\phi)\}\\ &=\frac{1}{1-\phi^{2}}(-\phi^{j - i + 2}+\phi^{j - i} + \phi^{j - i + 2} - \phi^{j - i})=0 \end{aligned}$

である。
①～⑤より、 $\frac{1}{\sigma^2}TA$ は $n \times n$ の単位行列である。
よって、 $\frac{1}{\sigma^2}T$ の逆行列は $A$ である。

小問[2]-2

$A$ の行列式 $|A|$ と $R$ の行列式 $|R|$ を求める。

行列のある行にある値を掛けて他の行に足した行列の行列式は
もとの行列の行列式と等しく、上三角行列の行列式は対角成分の積に等しい。
$A$ の $1$ 行目に $\phi$ を掛けて $2$ 行目に足す。
そのようにしてできた行列の $2$ 行目に $\phi$ を掛けて $3$ 行目に足す。
これを $(n - 1)$ 行目まで繰り返すと、

$\begin{aligned}|A|&=\left|\begin{array}{ccccccc} {1} & {-\phi} & {0} & {0} & {\cdots} & {0} & {0} \\ {-\phi} & {1+\phi^{2}} & {-\phi} & {0} & {\cdots} & {0} & {0} \\ {0} & {-\phi} & {1 + \phi^{2}} & {-\phi} & {\cdots} & {0} & {0} \\ {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots}\\ {0} & {0} & {\cdots} & {\cdots} & {-\phi} & {1 + \phi^{2}} & {-\phi} \\ {0} & {0} & {\cdots} & {\cdots} & {\cdots} & {-\phi} & {1} \end{array}\right| \\ &=\left|\begin{array}{cccccccc} {1} & {-\phi} & {0} & {0} & {\cdots} & {0} & {0} \\ {0} & {1} & {-\phi} & {0} & {\cdots} & {0} & {0} \\ {0} & {0} & {1} & {-\phi} & {\cdots} & {0} & {0} \\ {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots} & {\vdots} \\ {0} & {0} & {0} & {0} & {\cdots} & {1} & {-\phi}\\ {0} & {0} & {0} & {0} & {\cdots} & {0} & {1-\phi^{2}} \end{array}\right| = 1 - \phi^{2}\end{aligned}$

と求まる。
$I$ を $(n \times n)$ の単位行列とする。

$\begin{aligned} \frac{1}{\sigma^{2}}|T A|=|I| \\ \end{aligned}$

$\begin{aligned} (\frac{1}{\sigma^{2}})^{n}|T||A|=1 \\ \end{aligned}$

$\begin{aligned} \\|T|=\frac{(\sigma^{2})^{n}}{|A|} \end{aligned}$

より、

$\begin{aligned} \\|R| &=\left|\frac{1-\phi^{2}}{\sigma^{2}} T\right| \\ &=\left(\frac{1-\phi^{2}}{\sigma^{2}}\right)^{n}|T| \\ &=\left(\frac{1-\phi^{2}}{\sigma^{2}}\right)^{n} \frac{\left(\sigma^{2}\right)^{n}}{1-\phi^{2}} \\ &=\left(1-\phi^{2}\right)^{n-1} \end{aligned}$

と求まる。

小問[3]

小問[2]の行列 $A$ が正定値行列であることを示す。

$x=\left(x_{1}, \ldots, x_{n}\right)^{\prime}$ を $n$ 次元縦ベクトルとする。
ここで( $\prime$ )は転置を意味し、 $x \neq 0$ とする。
$|\phi| < 1$ に注意すると $A$ の $x$ に関する2次形式 $Q_{A}$ は

$\begin{aligned} Q_{A} &= x^{\prime}Ax \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\left(x_{i} a_{i j}x_{j}\right) \\ &=\sum_{i=1}^{n}\left(x_{i}a_{i i}x_{i}\right) +\sum_{|i - j| = 1}\left(x_{i}a_{i j}x_{j}\right)\\ &=x_{1}^{2}+x_{n}^{2}+\sum_{i=2}^{n-1}\left\{x_{i}^{2}\left(1+\phi^{2}\right)\right\}-\phi\sum_{|i - j| = 1}\left(x_{i} x_{j}\right) \\ &=\left(1-\phi^{2}\right) x_{1}^{2}+\phi^{2} x_{1}^{2}+x_{n}^{2}+\sum_{i=2}^{n-1} \{x_{i}^{2}\left(1+\phi^{2}\right)\} -\phi\sum_{| i-j |=1}\left(x_{i} x_{j}\right)\\ &=\left(1-\phi^{2}\right) x_{1}^{2}+\sum_{i=2}^{n} x_{i}^{2}+\phi^{2} \sum_{i=2}^{n} x_{i-1}^{2}-2 \phi \sum_{i=2}^{n}\left(x_{i} x_{i-1}\right)\\ &=\left(1-\phi^{2}\right) x_{1}^{2}+\sum_{i=2}^{n}\left(x_{i}-\phi x_{i-1}\right)^{2}>0 \end{aligned}$

と常に $0$ より大きい。
従って $A$ は正定値行列である。

小問[4]-1

$A$ の行列の $(1, 1)$ 要素の値 $1$ のみを $\phi$ に変えた行列を $B$ とする。行列 $B$ が非負定値行列であることを示す。

$x=\left(x_{1}, \ldots, x_{n}\right)^{\prime}$ を $n$ 次元縦ベクトルとする。
ここで( $\prime$ )は転置を意味し、 $x \neq 0$ とする。
$B=\{b_{ij}\}$ の $x$ に関する2次形式 $Q_{B}$ は

$\begin{aligned} Q_{B} &= x^{\prime}Bx \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\left(x_{i} b_{i j}x_{j}\right) \\ &=\sum_{i=1}^{n}\left(x_{i}b_{i i}x_{i}\right) +\sum_{|i - j| = 1}\left(x_{i}b_{i j}x_{j}\right)\\ &=\phi^{2}x_{1}^{2}+x_{n}^{2}+\sum_{i=2}^{n-1}\left\{x_{i}^{2}\left(1+\phi^{2}\right)\right\}-\phi\sum_{|i - j| = 1}\left(x_{i} x_{j}\right) \\ &=\sum_{i=2}^{n} x_{i}^{2}+\phi^{2} \sum_{i=2}^{n} x_{i-1}^{2}-2 \phi \sum_{i=2}^{n}\left(x_{i} x_{i-1}\right)\\ &=\sum_{i=2}^{n}\left(x_{i}-\phi{x}_{i-1}\right)^{2} \geq 0 \end{aligned}$

と常に $0$ 以上である。
従って $B$ は非負定値行列である。

小問[4]-2

$Q_{B}=0$ となる $x$ (ただし $x \neq 0$ )はどのようなベクトルであるか？

$Q_{B}=0$ となる $x$ (ただし $x \neq 0$ )は

$x_{i}=\phi x_{i-1} \quad(i=2,3, \cdots, n)$

を満たすベクトルである。

小問[5]

この問の $AR(1)$ モデルにおける自己回帰係数 $\phi$ が既知もしくはきわめて精度よく推定されているが誤差分散 $\sigma^2$ は未知であるとき、 $\sigma^2$ の $95\%$ 信頼区間の構成方法を示す。

$\epsilon_{t} \sim N(0, \sigma^{2}) \quad i.i.d$

より $X_{t}$ は

$\begin{aligned} X_{t}=\sum_{i=0}^{\infty}\left(\phi^{i} \varepsilon_{t-i}\right) \end{aligned}$

と互いに独立に正規分布に従う確率変数の線形和で表せるので、

$\begin{aligned} X \sim N(0, T) \end{aligned}$

である。ここで、

$\begin{aligned} X = \left(\begin{array}{c} {X_{1}} \\ {X_{2}} \\ \vdots \\ {X_{n}} \end{array}\right) \end{aligned}$

とした。
小問[3]の結果より $n$ 次対称行列 $A$ は正定値なので、その逆行列 $\frac{1}{\sigma^2}T$ も正定値である。*1
よって、

$\begin{aligned} C^{\prime} \frac{T}{\sigma^{2}} C=I \end{aligned}$

を満たす非特異行列 $C$ が存在する。*2
ここで

$\begin{aligned} Y = C^{\prime}X \end{aligned}$

と変換される $(n \times 1)$ の確率ベクトルが従う分布を示す。
ここで

$\begin{aligned} Y = \left(\begin{array}{c} {Y_{1}} \\ {Y_{2}} \\ \vdots \\ {Y_{n}} \end{array}\right) \end{aligned}$

である。
$Y$ は多変量正規分布に従う $X$ の線形変換なので $Y$ も多変量正規分布に従う。
また、

$\begin{aligned} E[X] = 0 \end{aligned}$

より

$\begin{aligned} E[Y] = 0 \end{aligned}$

であり、

$\begin{aligned} V[Y] &= E[YY^{\prime}] - E[Y]E[Y] \\ &=E[C^{\prime}XX^{\prime}C] \\ &= C^{\prime} E[XX^{\prime}]C \\ &= C^{\prime}TC = I \end{aligned}$

である。よって

$\begin{aligned} Y \sim N(0, I) \end{aligned}$

である。よって、 $Y_{1}, \ldots, Y_{n}$ は互いに独立に $N(0, 1)$ に従うので $Y^{\prime}Y$ は自由度 $n$ のカイ二乗分布に従う。
即ち、

$\begin{aligned} Y^{\prime}Y \sim \chi^{2}(n) \end{aligned}$

である。さらに

$\begin{aligned} Y^{\prime}Y &=X^{\prime}CC^{\prime}X \\ &=X^{\prime}\{(C^{\prime})^{-1}C^{-1}\}^{-1}X \\ &=X^{\prime}(T)^{-1}X \\ &=\frac{1}{\sigma^{2}}X^{\prime}(\frac{T}{\sigma^{2}})^{-1}X \\ \end{aligned}$

なので、

$\begin{aligned} \frac{1}{\sigma^{2}}X^{\prime}(\frac{T}{\sigma^{2}})^{-1}X \sim \chi^{2}(n) \end{aligned}$

である。
以上の議論より、
この問の $AR(1)$ モデルの実現値 $X_{1}=x_{1}, \ldots, X_{n}=x_{n}$ が得られたとき、

$\begin{aligned} \frac{1}{\sigma^{2}}x^{\prime}(\frac{T}{\sigma^{2}})^{-1}x &= \frac{1}{\sigma^{2}}x^{\prime}Ax \\ & = \frac{Q_{A}}{\sigma^{2}} \end{aligned}$

は自由度 $n$ のカイ二乗分布の実現値である。
ここで、

$\begin{aligned} x = \left(\begin{array}{c} {x_{1}} \\ {x_{2}} \\ \vdots \\ {x_{n}} \end{array}\right) \end{aligned}$

である。
この事実を用いて以下のように $\sigma^{2}$ の $95\%$ 信頼区間を構成できる。

$\begin{aligned} 95\% &= Pr\left(\chi_{0.025}^{2}(n) \leq \frac{1}{\sigma^{2}}X^{\prime}AX \leq \chi_{0.975}^{2}\left(n\right)\right) \\ &=Pr\left(\frac{X^{\prime}AX}{\chi_{0.975}^{2}(n)} \leq \sigma^{2} \leq \frac{X^{\prime}AX}{\chi_{0.025}^{2}(n)}\right) \end{aligned}$

ここで、 $\chi_{\alpha}^{2}(n)$ は自由度 $n$ のカイ二乗分布の下側 $100\alpha\%$ 点である。
$\Box$

誤りなどありましたら、ご指摘いただけるとありがたいです。

*1:線形代数の定理1・・・いずれ証明したい。

*2:線形代数の定理2・・・いずれ証明したい。