95% 信頼区間について

「信頼区間」という単語を聞いたことがあるでしょうか。英語だと Confidence Interval と言います。

「推定しているパラメータが95% くらいの確率で含まれていそうな区間が信頼区間でしょ？」という声が聞こえきそうですが・・・本当にそうなのでしょうか。

95% 信頼区間の本当の意味を理解しましょう。
そのためには「統計量とは何か」から説明していかなければなりません。

統計量とは

「統計量とは何か」について説明する前に「確率変数とは何か」を説明する必要があります。
本当は『測度論』に基づき「確率変数とは何か」を説明するのが筋なのですが、『測度論』は難解なので今回は話題にしないことにします。

「確率変数とは何か」を説明する必要があると述べましたが、実は「確率変数とは何か」を説明するのは別の機会に改めて行いたいと思います。
今日の所は「確率的に値を取る変数」程度に思っておいてください。

X を確率変数とします。
X の関数 T を「X の統計量」と言います。
（正確には、ただの関数ではダメで、可測関数でなくてはいけないのですが、『測度論』のことは今回は触れないことにします。）
したがって、下は全て X の統計量です。

T(X) := 0
T(X) := 1
T(X) := X
T(X) := X + 1
T(X) := 2 * X
T(X) := X * X

X の統計量 T は X の関数なので、T(X) は確率変数の構造を持ちます。
T は関数であり、T(X) は確率変数です。

T は X の関数です。（大切な事なので２度言いました。）

x を X のサンプルとした際に、値 T(x) のことを統計量と表記する文献があるので、注意が必要です。
統計量とは、値 T(x) のことではなくて、関数 T または、確率変数 T(X) のことを指しています。

推定量

次に「推定量とは何か」を説明します。
値 p を X の分布に含まれる未知パラメータとします。
「p は確率変数ではない」ことに注意してください。

X の統計量 T を「p の推定量」と言います。

・・・「！？」・・・

p の推定量なのに「p の推定量」の定義に p が出てこないので、「！？」となっている方もいらっしゃるかもしれませんが、これで何も間違っていません。

したがって、下は全て p の推定量です。

T(X) := 0
T(X) := 1
T(X) := X
T(X) := X + 1
T(X) := 2 * X
T(X) := X * X

もちろん、T が「p の推定量」と言うからには、確率変数 T(X) は値 p の付近に分布していることが期待されます。
この期待は、「p の推定量」の定義には含まれず、「統計量 T がどの程度良い性質を持った p の推定量なのか」という議論と関係します。

例えば、「確率変数 T(X) の期待値は p と一致するか」は「統計量 T が良い p の推定量かどうか」を考える上で重要な意味を持ちます。
確率変数 T(X) の期待値が p と一致する場合、統計量 T は p の不偏推定量と言います。

p は値（定数）で T(X) は確率変数です。p は確率変数ではないです。

95% 信頼区間

値 p を X の分布に含まれる未知パラメータとします。

X の統計量 L と U が、
1. L(X) ≦ U(X) である（任意の X のサンプル x に対して L(x) ≦ U(x) である）
2. 「L(X) ≦ p ≦ U(X)」となる確率が 95% である
を満たす時、区間 (L(X), U(X)) を p の 95% 信頼区間と言います。

L(X) も U(X) も確率変数なので、区間 (L(X), U(X)) も確率的に変動する区間を意味します。

95% 信頼区間に対する誤解

95% 信頼区間について、「x を X のサンプルとした際に、値 p が 区間 (L(x), U(x)) に含まれる確率が 95% である」と誤解している方を散見します。

p は値（定数）なので、「値 p が 区間 (L(x), U(x)) に含まれるかどうか」に対しては、「含まれる」か「含まれない」のいずれかです。
ですから、「値 p が 区間 (L(x), U(x)) に 95% の確率で含まれる」などという事は有りえません。
なぜなら p は止まっているのです。定数なのです。確率変数ではないのです。

確率変数なのは p ではなくて L(X) と U(X) の方です。
今、たまたま X のサンプルとして x を取ったため、区間 (L(x), U(x)) が確率的ではなくなったのです。
だからと言って、定数だった p が急に確率変数になったりはしないのです。

X から 100 個のサンプル x1, x2, … , x100 を取ったとします。
それぞれのサンプルについて、100 個の区間 (L(x1), U(x1)), … , (L(x100), U(x100)) が作れます。
この内 95 個くらいが、「L(x) ≦ p ≦ U(x)」を満たす・・・というのが 95% 信頼区間の意味です。

もう一度まとめておこう！

「X からサンプル x を取った際、p が区間 (L(x), U(x)) に含まれる可能性は 95% である」という主張は間違っています。

1. p は最初から最後まで止まっている
2. 動いているのは区間 (L(X), U(X)) の方である
3. X からサンプル x を取ると (L(x), U(x)) は確率的ではない区間になる
4. 区間 (L(x), U(x)) に p が含まれているかどうかは、「含まれている」か「含まれていないか」の２択であり、決して確率的ではない

「X からサンプル x を取った際、『p は区間 (L(x), U(x)) に含まれます！』と言えば、100 回に 95 回くらいは当たってるだろう」というのが正しい理解です。

ベイズ統計学

しかし、世の中には、「未知のパラメータは確率変数だと考えて処理を行う」統計学が存在します。

このような考え方に沿った統計学をベイズ統計学と言います。

ベイズ統計学についてはまたの機会に説明をしたいと思います。