ぎょーむ日誌 2010-07-24

2010 年 07 月 24 日 (土)

• 0800 起床． 朝飯の準備． 朝飯． コーヒー． 怠業．
• 1110 自宅発北大構内走． 今日もいーぐあいの曇天． ぱらぱらと雨． 1150 帰宅． 体重 71.4 kg．
• 買いもの． 昼飯． 1350 自宅発． 曇． 1410 研究室着．
• 岩波本作業のつづき．
• 7/20 のぎょーむ日誌で， 第 4 章モデル選択章では， 新しくこーゆー図をつかいまーす， と書いたところ ……

• とうぜんながらといいますか， 伊庭さんが当方の意図をみぬいた上で， こう指摘されていたので ……

• 「じゃあ，モデル選択章の最後にネストの事例ものせますか」 ととりくんでみたのだけど， 当方の理解が浅くて思ったより数値例作成に時間かかってしまった． いやはや．
• もちろん上に引用してる図を作ることで， 「バイアス補正ってのは， 実例を作ってみたら予想外にばらつくもんだな …… 平均対数尤度なる架空概念おそるべし」 とはわかっていたのだが ……
• なンとなくお気楽に， とりあえずは， いつものごとく
  • モデル 1: 平均 = exp(b1)
  • モデル 2: 平均 = exp(b1 + b2 * x)
  • この x なる説明変数は， まったく何の意味もない単なる乱数
  といった設定で， それぞれの最大化対数尤度差みたいなものを見ても， たぶん平均 1 の確率分布になってるだろう， と思っていたのだが ……
• じつは最大化対数尤度の差 (ここではモデル1 - モデル2，これは失敗か?) なるものは， 平均 -1 の確率分布にはならないのであった! 考えてみればあたりまえなんだけど ……

  > summary(m.fit[4,] - m.fit[5,])
       Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
  -3.57e+00 -7.09e-01 -2.48e-01 -4.82e-01 -5.07e-02 -6.13e-06 
  

• えーと， 上は何をあらわしているのかというと， パラメーター数の差が Δk であるときに， 尤度比検定で -2 かける「対数尤度差」 が自由度 Δk のカイ二乗分布で近似できますよ， とゆーハナシだ． つまり， 最大化対数尤度の差の平均は 0.5 Δk となるわけ． 自由度 df のカイ二乗分布の平均は df だから．
• では， AIC を (意味を考えずに) 形式的にながめたときに， それがあたかも「最大化対数尤度の差は Δk ぐらいになるだろう」 と見えるのはなぜだろう?
• これは数値をひねくっていてよーやく理解できたのだけど， 「バイアス補正量の差」 の平均がパラメーター数の差なんでしょう．

  > summary(m.fit[4,] - m.mll[1,] - m.fit[5,] + m.mll[2,])
      Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
  -7.05000 -1.38000 -0.50100 -0.94800 -0.11500  0.00339 
  

  値の範囲がゼロより大きくなっているけど， これは正しい．

• つまり， 最尤推定するパラメーター数をひとつ増やしただけで， バイアス補正量が 1 増加する， と．
• どういうことかというと， モデル 2 のごとくよけーなパラメーターもってるモデルは， 予測の良さである平均対数尤度が下がるということだ． そのオチかたが平均 -0.5 Δk ぐらいなんでしょう …… お， そうなっているな．

  > summary(m.mll[1,] - m.mll[2,])
     Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  -0.0088  0.0533  0.2560  0.4670  0.6650  3.4800 
  

• バイアス補正量の平均は
  • 上にとび出た 0.5 Δk
  • 平均対数尤度がオチる量である 0.5 Δk
  をあわせて Δk．
• うーむ， バイアス補正という考えかたは重要だ． いまさらながら．
• ちなみにこういうネストしたモデルでも， 「バイアス補正量の差」 のばらつきはけっこう大きい …… とはいえ， 上のヒストグラムに示している例の場合だと -1 より小さくなる確率は 0.33 だけど． これはつまり， よけーなパラメーターもってるモデル 2 のほうが AIC が良くなってしまう確率だ．
• さてさて， どうしたもんだか …… 本日は文章追加作業はできないまま， 2020 研究室発． 買いもの． 2040 帰宅． 晩飯の準備． 晩飯．
• [今日の運動]
  • 北大構内走 40 分間．
• [今日の食卓]
  • 朝 (0830): 米 0.6 合． 切り干しダイコン・ニンジン・シイタケの煮物．
  • 昼 (1300): 研究室． 米 0.8 合． 切り干しダイコン・ニンジン・シイタケの煮物． ニラ卵．
  • 晩 (2130): 米 0.8 合． 切り干しダイコン・ニンジン・シイタケの煮物． キャベツ・ニンジン・タマネギ・鶏ササミのスープ．