単純モデルが普通の検定では棄却できない，そして複雑モデルから得られる標
本では単純モデルのあてはまりを説明できないので，複雑モデルは棄却する，
というような「相撃ち検定」とでもいうようなアイデアですね．
たしかに面白いです……しかし，同時にこのような素直なアイデアは「検定」
の長い歴史のうえになんどもあらわれてはそのたびに却下されてきたのでは
(それゆえにモデル選択などが考案されて使われている)，という予断というか
偏見もあります．
かかる予断はあるのですが，「相撃ち検定」はよろしくないでしょうという明
解な説明は思いつけない状況です (何か簡単な説明があるようには思うのです
が)．とりあえず，「相撃ち検定」がうまくいかない事例は考えたので，それ
を説明してます．
パラメーターセット theta で定義される何かの連続分布 f(x | theta) を単
純モデル M0 とします．x はたとえばプラスマイナス無限大の範囲にあるとし
ます．M0 から得られた標本を {X} とします．ここでなんらかの推定方法で
{X} から複雑モデル M1 が得られるとします．この M1 は f(x | theta) の
「両端」を切断して規格化した切断分布で f(x | theta, min{X}, max{X}) と
いうように標本 {X} の最小値・最大値を「よけいなパラメーター」として含
む複雑モデルです．
これは「相撃ち検定」がうまくいかない可能性を含む事例です．まず，M0 か
ら生成される標本 {X'} を M1 にあてはめる「順方向」検定を検討します．こ
のときに，min{X} <= X' <= max{X} となる確率 (つまり M1 の下限・上限か
らはみださない確率) を q とします．この q が大きいほど M0 を棄却するの
は難しくなります．
いちばん極端には，f(x | theta) が一様分布 (うう，きしょく悪い) だとす
ると，有意水準 1 - q の検定で M0 は棄却できません．
単純モデル M0 が棄却できなかった場合には，つぎに「逆方向」検定をするこ
とになります．複雑モデル M1 から生成された標本 {Y} を M0 にあてはめて
みます．この標本 {Y} は，いわば M0 である確率分布 f(x | theta) から得
られる標本から「両端」を取り除いた (つまり尤度が高くないところを削除し
た) もので，M0 に対するあてはまりが {X} 以上である確率 r も小さくあり
ません．このときに，有意水準 1 - r の「逆方向」検定で M1 は棄却できま
せん．
極端例である一様分布の事例ですと，M1 から生成された {X''} を M0 にあて
はめると常に同じ尤度になります．これはもとデータ {X} から得られた尤度
に等しい値になります．つまり M1 は有意水準 0% で棄却できません．
つまり，「相撃ち検定」では，もとデータ {X} は M0 から生成されたにもか
かわらず，M0 も棄却できなければ M1 も棄却できない可能性があります．
切断分布などというといびつな事例のようですが，おそらく上のようなもどか
しい状況は，もし複雑モデル推定においていわゆる location parameter はう
まく推定しているのに scale parameter (ばらつき) のほうを実際より過小推
定するならば，いつでも発生しうる状況だろう，と思います．
上の「うまくいかなそうな事例」はとりあえずの思いつきなので，間違ってい
るかもしれません．当方でも再検討してみます．
あるいは粕谷さんの構想としては，M0 が棄却できないかつ M1 が棄却できる
ときだけ，この「相撃ち検定」が正当化されていればそれで十分，ということ
なのかもしれませんが……
nnet()
によるニューラルネットワーク計算まで網羅している．
