パターン認識と機械学習の勉強ノート【1.1 多項式フィッティング】

こちらの『パターン認識と機械学習』を読んで，勉強したことをまとめていきます．

リンク

今回は，1章1.1節の多項式フィッティングについてです．

また，この記事を読む前にこちらの記事を見ておくことをおすすめします．

導入
多項式フィッティング
1. 評価関数
過少適合と過剰適合
過剰適合を回避する方法
1. 正則化
2. データ数を増やす
まとめ

導入

以下の図のように，データ点（青色）が与えられたときに，その背景にある関数（緑色）を予測したいです（この関数は与えられません）．

データ点に合わせて，それっぽい赤い線を引くことをフィッティングと言います．

我々がしたいことは，赤い線ができるだけ緑の線に近づくようなフィッティングを精度よく行い，新たに $x$ 座標（横軸）の値（入力データ）が与えれたときに，その $t$ （縦軸）の値を予測したいということです．

そして，この章の内容は，「フィッティングパラメータをどうすると，フィッティングはどうなるのか？（良くなるのか？悪くなるのか？）」ということです．

ここで行うのは関数によるフィッティングですが，そのフィッティングパラメータを学習して求めることになります．

多項式フィッティング

入力トレーニングデータとして， $\mathbf x \equiv (x_1, x_2, ..., x_N)^\mathrm{T}$ と，それに対する正解データ（ターゲットデータ） $\mathbf t \equiv (t_1, t_2, ..., t_N)^\mathrm{T}$ が与えられたとします．

それを青色でプロットしたものが以下になります．

さて，このデータ分布は緑のような曲線に従っていそうなので，このような曲線を見つけて，赤い線を引いていきます．

データの分布はサインカーブ（正弦波）っぽいので，サインカーブを選んで，振幅や位相，周波数をパラメータとして調整してフィッティングを行っても良さそうですが，

ここでは，サインカーブよりも色々な曲線が表現できそうな多項式でフィッティングします（サインカーブも多項式で近似できるので，やはり多項式の方が良いでしょう）．

$x$ を変数とした $M$ 次元多項式

$y(x, \mathbf w) = w_0 + w_1x^1 + w_2x^2 + ... + w_Mx^M$

ここで， $\mathbf w$ はフィッティングパラメータです．

このフィッティングパラメータを調節することで，データ点に沿ったそれっぽい関数を表現します．

評価関数

「データにどれくらい従っていそうか」「どれくらいそれっぽい関数か」というのを定量的に判断するには評価基準が必要なので，こういった問題では，以下のような評価関数というものを用意します．評価関数は目的関数や損失関数とも言われたりします．

評価関数にも色々ありますが，今回は二乗誤差関数を評価関数として採用します．

評価関数

$E(\mathbf w) = \frac{1}{2} \sum_{n = 1}^N \{y(x_n, \mathbf w) - t_n\}^2$

$N$ は，訓練データの数です．

フィッティングパラメータ $\mathbf w$ を調節し，この $E(\mathbf w)$ 小さくなるような $y(\mathbf w)$ を見つけてこれば， $y(\mathbf w)$ はそれっぽい関数である（フィッティング関数として適切）ということを意味します．

各点 $x_n$ において，フィッティング関数 $y(x_n, \mathbf w)$ とテストデータ $t_n$ が近ければ評価関数 $E(\mathbf w)$ が小さくなるので，納得いただけるかと思います．

ただし，この章ではパラメータの調整の方法（最適化手法）については述べません．この章で述べるのは，フィッティングパラメータに対してフィッティング関数や評価関数がどうふるまうかということです．

過少適合と過剰適合

下図は，多項式の次元 $M$ を0, 1, 3, 9と変化させ，フィッティングを行った結果です．

$M = 0$ （定数）のときと， $M = 1$ （直線）のときは，多項式はほとんど曲がれないため，うまくフィッティングできていません．これを過少適合と言います．

反対に， $M = 9$ のときは8回曲がれるので，関数としての表現度は高いのですが，訓練データに適応しすぎて，背景にある緑の曲線からは遠ざかってしまっています．これを過剰適合といいます．

評価関数を小さくするように最適化してあるので，訓練データとの差が小さくなっており，最適化としては正しいのですが，我々がもとめるそれっぽい関数（緑の曲線に近いもの）ではないです．

さて，過少適合は多項式の次元を大きくし，フィッティングパラメータ $\mathbf w$ の自由度を増やせば解決できるとして，過剰適合はどうしたら防げるでしょうか？？

上の図をみると， $M = 9$ では過剰適合になるので， $M = 3$ に多項式の次元を下げたら確かに過剰適合は防げていますが， $M = 3$ のときよりも良いフィッティングがしたいし，なにより $M = 3$ を見つけるのは手間がかかります（始めから大きな次元の多項式を用意して，結果的に高次元の項を使わないとなった方が楽）．