じゅぎょー内容について，
「帰無仮説が棄却されない」
ときの考えかたについての院生からの質問メイル，
補足説明をこころみてみる
……
じつは他人にぱっと説明できるほどには自分で理解してなかったよーで，
かなり書くのに時間かかった．
以下は，うまい流れの説明になっていませんが，まずは，とりあえず考慮すべ
き点をいくつか列挙しています．
じつは第一種の過誤・第二種の過誤は独立に設定できるわけではありません．
トレードオフ，つまり一方をきびしくすれば他方は甘くなるという関係にある
ります．そしてこれらの値は実験計画の段階で実験者がこれら過誤の確率の有
意水準を設定するのだけど，第一種の過誤については 0.05 より小さいほうが
いいんじゃないといった合意はあるけれど，第二種についてはそういう合意が
ありません．
上述のトレードオフについて整理しておくと，「帰無仮説が正しいのに，誤っ
て棄却する確率」の規準として設定するのが有意水準αですが，これに対応し
て「対立仮説が正しいのに誤って棄却する確率」はβとなります．検定ではα
を事前に決めることになっていて，しかも (逸脱度の差の分布についての図を
描いてもらうとわかるのですが) αが決まると自動的にβも決まるようになっ
ています．これらは独立ではなく，αを小さくするとβは大きくなり，βを小
さくするとαは大きくなります．
さらに抑えておくべきは，ネイマン-ピアソンなわくぐみの検定では P 値の大
小そのものが問題ではなく (P 値が小さいほどよいといったものではない)，有
意水準の領域に入っているか否かが問題になります．つまり P 値がいくら小さ
くても 5% 有意水準のもとでなされた検定は，第一種の過誤をおかす確率はつ
ねに 5% です．
以上の諸点をおさえたうえで，教科書的には正しい (ただし検定濫用者ほど
ないがしろにしがちな?) ネイマン-ピアソンな検定の手順をおってみましょう．
1. 実験前にαを決める
2. そのαのもとでβについてはできるだけ小さくなるように努力する．
具体的には検定の方式を吟味したり，標本数と研究費の関係について
検討したり，1. にもどってαを修正したりしてβができるだけ小さく
なるようにする
3. 実験し，データにもとづいて P 値を得る
4. P < αであれば，十分に小さいβのもと，有意水準αの検定によって
帰無仮説が棄却されたといえる
5. P >= αであれば，第 1, 2種の過誤の確率がそれぞれ α, βのもと
での検定で帰無仮説が棄却できなかったが，第二種の過誤に関しては
対立仮説を棄却するためにβをきめたわけではないので，これによって
対立仮説を棄却できない
つまり，ネイマン-ピアソンの検定のもとでは，
・αは帰無仮説を棄却するために，それっぽい値を設定しておけばよい
・βについては，対立仮説を棄却するためではなく，対立仮説を誤棄却しない
ように (各実験を実施する有限の手間・予算のもとで) 可能なかぎりβを小
さくなるよう努力することになっているので，「βをこれだけ小さくしたん
だから，対立仮説を棄却してもいいだろ」といった合意が作りようがない
(蛇足ながら，実際にβを事前にきちんと見積もる研究者はまれ)
となっていると考えればよさそうです．じつは，教科書内の説明では検定の非
対称性について注意しておきながら，その要点はこういうα・βの決めかたの
ちがいにある，とは明確には理解してませんでした……
