ぎょーむ日誌 2005-07-22
2005 年 07 月 22 日 (金)
-
0700 起床.
朝飯.
コーヒー.
0900 自宅発.
曇.
0915 研究室着.
-
原稿修正作業
……
1140 ひとまず終了.
ひどく作業がのろくさい.
-
ネット雑用少々.
ふーむ,
谷地坊主は
tussock
というのか.
-
1250 北大構内走.
曇
……
をネラったつもりなんだけど,
晴れてきてしまった.
1325 もどる.
昼飯.
-
さて,
quasi likelihood (日本語では擬似尤度と呼ばれたりするんだけど,
これって良い訳語なんだろか)
について
……
と書こうとしてツマってしまった.
quasi な方法は何だかキモチ悪い
(その理由らしきものは後述)
んで使うのを完全に避けてるんだけど,
逃げ回ってるうちに「くぇぃざいってそもそも何だっけ?」
状態になっていたのだ.
-
しょうがないので再勉強.
教科書は
-
McCullagh, P. and Nelder, J.A.
1989.
Generalized linear model.
Chapman and Hill.
-
Venables, W.N. and Ripley, B.D.
2002.
Modern applied statistics with S
(いわゆる MASS 本).
Springer.
-
まず昨日
伊藤さん
とこに書いた MASS 本の久保訳はヒドいので原文 (p.209-210)
を引用してみる.
二項分布モデル (logistic 回帰) に関して,
McCullagh and Nelder (1989, pp. 125-6) prefer a variation
of this model, in which the
n
data points are assumed to have been sampled from
k
clusters, and there is independent binomial sampling within
the clusters (whose size now varies with
n),
but the clusters have probabilities drawn independently from
a distribuiton of the same form as before.
Then it is easy to show that
This does provide an explanation for the
ad hoc
adjustment model for variable
n,
but the assumption of the same number of (equally-sized)
clusters for each observation seems rather artificial to us.
φ
ってのは (なにかできゴトの) 生起確率
p
が上述の cluster ごとにばらついるので,
その分散が
n p(1 - p)
ではなく上の variance 定義のごとく (cluster 間の差が入って)
でかくなってる,
というハナシが (引用箇所より) 上のほうに書いてある.
-
で
と
を定義して
(これは指数関数族の一般的な分布の scaling parameter になっている),
問題の「F 検定でいいぢゃん」
なところ.
Asymptotic theory for this model suggests
(McCullagh and Nelder, 1989)
that changes in deviance and resisdual deviances scaled
by
have asymptotic chi-squared distributions with the appropriate
degrees of freedom. Since
must be estimated, this suggests that
F
tests are used in place of chi-squared tests in,
for example, the analysis of deviance and
addterm
and dropterm
.
At the level of the asymptotics there is no difference
between the use of estmators (7.7) and (7.8),
but we have seen that (7.8) has much less bias,
and it is this that is used by
anova.glm
and addterm
and dropterm
.
……
ほら,
どうです,
原文だってちょっとイカれてますよね?
……
どうでもいいんだけど,
推定量 (7.8) ってのは
の推定量 (もーめんと推定量ぢゃん?) で
となるそーです.
n - p
は標本数 - パラメーター数で自由度だとか,
V(μ)
はその分布のなちゅらるな分散関数だと.
-
で,
Poisson 回帰では
が 1 である (overdispersion なし)
として計算してるわけだけど,
これが 1 でなけりゃー overdispersion でも
underdispersion でもいいよね,
というようなことを考えようとしている,
と.
-
そもそも quasi likelihood とは何なのか?
上記 McCullagh & Nelder (1989) の Chapter 9 など読みながらの
私の憶測なのですが
……
指数関数族の対数尤度の漸近的性質とか
overdispersion とかについて考えすぎて
少しオカしくなってしまったヒトたちが
「ほら,
アレぢゃない?
対数尤度関数とかさー
……
ようするに一回微分の平均がゼロでそのまわりのマガりかたが分散になってりゃ,
それでいいんでしょ」
とキレてしまって,
データ
y
があるときに
となる quasi likelihood を提案した,
と (これを最大化するのが quasi likelihood estimation).
これって出自からして確率分布とかそういうふつーの統計学からは
完全に逸脱しちゃってるくせに,
バターに対するマーガリン的な偽物 (ニセ対数尤度)
になってるわけで.
-
まあ一般の quasi likelihood についてはおくとして,
ポアソン分布の場合はどうなるのか?
分散が平均に等しいので
として上の積分を計算するとあーら不思議
となるわけだが,
これはポアソン分布の対数尤度
になんだか似てるじゃありませんか
……
とゆーか,
上記オカしいヒトたちはそうなるように quasi likelihood
を定義していたってこと.
-
が 1 なら qusi likelihood 最大化と
対数尤度最大化は同じ
μ
によってなされるよね
(
y
は定数だから).
-
ここでこの技法のけったいなところは,
が 1 ぢゃないとき
(つまり overdispersion や underdispersion あるとき)
でさえ,
求めたいパラメーター
μ
の推定値は quasi だろーがそうぢゃなかろーが常に同じなのである.
これは他ならぬ
を
μ
とは別個にというか「あとづけ」で
(上の推定量 (7.8) とやらをもちいて)
計算しちゃうためである.
つまり
μ
の推定値を計算するときは,
あたかも
が定数であるかのようにして扱われてしまう,
と.
-
ここでハナシが少しそれるけど,
quasi likelihood 推定とふつーの最尤推定は何がちがうのか,
を整理しておく.
-
(μ
みたいな)
パラメーターの推定値は同じ
-
しかし quasi のほうには
があって,
これの大小で
「あてはまりの良さ」
(あるいはその「差」)
が変化する
となるわけで.
2. については
> 1
つまり overdispersion のときはポアソン分布から逸脱して,
Q
の分子の絶対値が大きくなるんだけど分母も大きいくなってそれを
「補正」してる,
というような状況かな.
逆に
< 1
つまり underdispersion のときは
Q
の分子・分母がともに小さくなる,
と.
-
で,
quasi deviance とやらは
と定義されるそーで.
これで MASS 本引用の
``scaled by
''
とやらはわかった.
で,
消しちゃったらもうまったく対数尤度 (のパラメーター依存部分)
と同じぢゃん,
と思えてしまうわけですが
……
-
だったらその quasi deviance 差
(最尤推定での deviance 差 = 2 ×
対数尤度比に該当するはず)
も chi-squared 分布とやらに漸近するからふつーの尤度比検定,
と憶測したくなるんだけど
……
なぜか MASS 本では上に引用してるがごとく「F 検定」
(``F tests are used in place of chi-squared tests'')
なのである
……
なんでーっ
-
かんけーありそうなコトは
-
自由度だのばらつきパラメーターで「すけいりんぐ」
した quasi deviance は chi-squared 分布に漸近する
-
F 分布は (chi-squared 乱数) / (chi-squared 乱数)
の分布である
なんだけど.
-
……
ダメだ.
これは手もちの文献をいくら調べてもわからん.
いやはや.
すでにとっくにこの高緯度地方ですら日没ですよ.
つねに quasi likelihood なんてキモチわるいと忌避しつづけ
アンチ検定標榜するこの私が半日をこいつらに費してしまってぐったり.
どーして世の中のヒトたちは,
すぐに quasi な方向に走ってみたり,
ゆーい差決戦主義を呼号してみたりするのだろーか
……
-
ところでなぜ quasi が気味悪いかとゆーと,
確率分布と対応がつかないからである.
「そ,
その
で分散を強めてみたポアソン分布って何さー!!」
と絶叫しても,
宇宙のどこからも答えは帰ってこないのである
……
蛇足ながら,
ポアソン分布の平均値にばらつきあると仮定してる
(ばらつきはガンマ分布)
のが「負の二項分布」で
R
では
glm.nb()
による推定計算が安直である
(quasi いらん).
-
いやはや上の MASS 本引用まわりなんかでは beta 二項分布と quasi
を対応づけようとしてはいる
……
だったらそういう複合確率分布のモデルちゃんと使って推定しろよ,
というような.
-
ということで
……
観測データが
overdispersion してるんなら混合モデルとか使いましょう.
underdispersion なら
……
うーむ,
何か複合確率分布を使ったモデル
(つまりやはり混合モデルのたぐい)
を考えてみませう.
quasi は歴史の闇の中に消えてほしい.
-
しかしニセ・贋作・マガいものを好む私が quasi を忌避するとは
……
いやいや,
quasi と pseudo は違うんだよね.
-
2040 研究室発.
2100 帰宅.
体重 74.4kg.
晩飯.
-
[今日の運動]
-
[今日の食卓]
- 朝 (0740):
米麦 0.8 合.
ニンジン・タマネギ・セロリ・豆腐のカレー.
- 昼 (1350):
研究室お茶部屋.
米麦 0.5 合.
ニンジン・タマネギ・セロリ・豆腐のカレー.
- 晩 (2230):
米麦 0.8 合.
ネギ・ニンニク・イカの炒めもの.
乾燥野菜海藻スープ.