PRML勉強会

2.3.7 スチューデントのt分布

2.3.7 スチューデントのt分布

• ガウス分布に対して、ガンマ分布を 精度$\tau =\frac{1}{{\sigma }^2}$ の事前分布とし、精度を積分消去すると、スチューデントのt分布が得られる。

$p(x|\mu ,a,b)$

$={\int }_0^{\infty }N(x|\mu ,{\tau }^{-1})Gam(\tau |a,b)d\tau$

$=\frac{b^a}{\Gamma \left(a\right)}\left(\frac{1}{2\pi }{)}^{1/2}\right[b+\frac{(x-\mu {)}^2}{2}{]}^{-a-1/2}\Gamma (a+1/2)$

スチューデントのt分布

ガンマ分布のパラメータ $a,b$ を、$v=2a$, $\lambda =a/b$と変換すると、

$St(x|\mu ,\lambda ,v)=\frac{\Gamma (v/2+1/2)}{\Gamma \left(v/2\right)}\left(\frac{\lambda }{\pi v}{)}^{1/2}\right[1+\frac{\lambda (x-\mu {)}^2}{v}{]}^{-v/2-1/2}$

という形で得られる。

t分布の特徴

• 平均が同じで精度の異なる正規分布を無限個足し合わせたもの
• 元のガウス分布の分散にはよらない
• ガンマ分布の変数$a$と$b$からなる、自由度$v$と精度$\lambda$による

コーシー分布

• 自由度$v$が1のときの分布をコーシー分布という
  • 極限値がとれないため期待値はない
  • 大数の法則・中心極限定理が成立しない

t分布の特徴

• $v\to \infty$ で $N(x|\mu ,{\lambda }^{-1})$

t分布の頑健性

赤がt分布、緑が正規分布（1枚目は重なっている）

• 最尤推定解を比較すると（t分布については12章EMアルゴリズムで得る）
• 外れ値に影響されづらいことが分かる

t分布の使われ方

• 頑健性
  • ラベル付けのミスのような異常値や、サンプルサイズが小さく外れ値があり、分散が定められない場合
  • 実際にすそが長い分布の場合に有効
• t検定
  • 母集団が正規分布に従うという仮定の下で、検定値がt分布に従うことを利用して有意差の判定などを行う

t分布の使われ方

• 回帰問題にも有効
  • 最小二乗法は誤差が正規分布を取るなどの仮定の下での最尤推定に相当し、頑健でない
  • t分布のような、すその重い分布を使えば、外れ値に強くできる
    • スチューデント化残差

多変量スチューデントt分布

多変量ガウス分布 $N(x|\mu ,\Lambda )$ に対応したものを考えて、同じく積分すると

$St(x|\mu ,\Lambda ,v)=\frac{\Gamma (D/2+v/2)}{\Gamma \left(v/2\right)}\frac{|\Lambda {|}^{1/2}}{(\pi v{)}^{D/2}}[1+\frac{{\Delta }^2}{v}{]}^{-D/2-v/2}$

ただし、$D$は$x$の次元数、$\Delta$はマハラノビス距離で、

${\Delta }^2=(x-\mu {)}^{\top }\Lambda (x-\mu )$

多変量スチューデントt分布の性質

1変数の場合と対応して、以下の性質を持つ

• $v>1$ のとき $E\left[x\right]=\mu$
• $v>2$ のとき $cov\left[x\right]=\frac{v}{v-2}{\Lambda }^{-1}$
• $mode\left[x\right]=\mu$

2.3.8 周期変数

周期を持った量をモデル化したい

• 例： 日付や風向

周期を持った量をモデル化したい

• $\theta 1=1^{\circ }$, $\theta 2={359}^{\circ }$ という例を考えてみる。
• 丸をデータ点として、原点の取り方を考える

周期を持った量をモデル化したい

• 原点を上の線（$0^{\circ }$）にとると、平均${180}^{\circ }$, 標準偏差${179}^{\circ }$
• 原点を下の線（${180}^{\circ }$）にとると、平均$0^{\circ }$, 標準偏差$1^{\circ }$
• 恣意的な原点の決め方に、強く依存
  • 特別な方法が必要

ベクトルの利用

• データ点を単位円上のベクトルとみなす

ベクトルの利用

• 角度ではなく、ベクトルの平均を取る
  • 原点に依存しない

$\overline{x}=\frac{1}{N}\sum _{n=1}^N{x}_n$

$\overline{\theta }=ta{n}^{-1}\frac{{\sum }_{n}sin{\theta }_n}{{\sum }_{n}cos{\theta }_n}$

フォンミーゼス（循環正規）分布

• 満たすべき条件
  • $p\left(\theta \right)\ge 0$
  • ${\int }_0^{2\pi }p\left(\theta \right)d\theta =1$
  • $p(\theta +2\pi )=p\left(\theta \right)$
    • $\forall M\in Z,p(\theta +M2\pi )=p\left(\theta \right)$

フォンミーゼス（循環正規）分布

• 先述の条件を満たすガウス分布を考えてみる
  • 2変数にする, $x=(x_1,x_2)$
  • 平均は $\mu =({\mu }_1,{\mu }_2)$
  • 共分散行列 $\Sigma ={\sigma }^{2}I$

$p(x_1,x_2)=\frac{1}{2\pi {\sigma }^2}\exp -\frac{(x_1-{\mu }_1{)}^2+(x_2-{\mu }_2{)}^2}{2{\sigma }^2}$

• ただし、正規化されていない。

フォンミーゼス（循環正規）分布

単位円で条件付けを行う($r=1$)

フォンミーゼス（循環正規）分布

指数部分（$\exp$の中身）を以下のように変形できる

• 極座標に写して表現
• 展開
• $r=1$で条件付け
• 三角関数を用いる
• $\theta$に依存しない部分を$const$でくくる

$-\frac{1}{2{\sigma }^2}(cos\theta -r_{0}cos{\theta }_0{)}^2+(sin\theta -r_{0}sin{\theta }_0{)}^2$

$=\frac{r_0}{{\sigma }^2}cos(\theta -{\theta }_0)+const$

フォンミーゼス（循環正規）分布

• ここで、正規分布での逆分散・精度に類似する概念として、集中度パラメータ$m=r_0/{\sigma }^2$を導入して整理すると

$p(\theta |{\theta }_0,m)=\frac{1}{2\pi I_0\left(m\right)}\exp cos(\theta -{\theta }_0)m$

ただし、$I_0\left(m\right)=\frac{1}{2\pi }{\int }_0^{2\pi }\exp cos\theta md\theta$

フォンミーゼス（循環正規）分布

$p(\theta |{\theta }_0,m)=\frac{1}{2\pi I_0\left(m\right)}\exp cos(\theta -{\theta }_0)m$

• ${\theta }_0$ は分布の平均
• $I_0\left(m\right)$ は正規化係数で、0次の第1種変形ベッセル関数
• $m$が大きくなると、近似的にガウス分布となる
• 単峰性である
  • 多峰性を得るには、混合分布をつくる

フォンミーゼス（循環正規）分布

• 左は直交座標、右は極座標

$p(\theta |{\theta }_0,m)=\frac{1}{2\pi I_0\left(m\right)}\exp cos(\theta -{\theta }_0)m$

循環正規分布の最尤推定

$\ln p(D|{\theta }_0,m)=$

$-N\ln \left(2\pi \right)-N\ln I_0\left(m\right)+m\sum _{n=1}^{N}cos({\theta }_n-{\theta }_0)$

上記の対数尤度関数に対して、${\theta }_0$についての導関数を0とおくと、周期変数の導入時に得た観測値の平均 $\overline{\theta }$に一致する。

${\theta }_0^{ML}=ta{n}^{-1}\frac{{\sum }_{n}sin{\theta }_n}{{\sum }_{n}cos{\theta }_n}$

循環正規分布の最尤推定

• $I_0^{\prime }\left(m\right)=I_1\left(m\right)$ (Abramowitz and Stegun, 1965)
• ${\theta }_0$を最尤推定解${\theta }_0^{ML}$で置き換え
• $A\left(m\right)=\frac{I_1\left(m\right)}{I_0\left(m\right)}$として$m$についての導関数を0とし、

$A\left(m_{ML}\right)=\frac{1}{N}\sum _{n=1}^{N}cos({\theta }_n-{\theta }_0^{ML})$

• 加法定理による変形で評価を容易にできる他、逆関数は数値的に求められる。

周期変数の他の扱い方

• 極座標を一定幅に分割してヒストグラムで扱う
  • 単純で柔軟なものの
  • 2.5節で扱う問題もある
    • 非連続性
    • 次元の呪い（1.4節）
• ガウス分布の周辺化
  • 複雑
• 実数軸上の分布を周期変数に写像（巻き込む）
  • 複雑