ぎょーむ日誌 2013-09-26

2013 年 09 月 26 日 (木)

• 0555 起床． コーヒー． 朝飯・弁当の準備． とら坊おきてきたので， とらめし． 朝飯 …… なんだか時間がかかるな …… 0835 自宅発． 0845 保育所着． 0915 研究室着．
• 十勝沖地震から10 年 …… 地震はともかく， このころの「ぎょーむ日誌」はホントに平和で静かな日々が続いているな ……
• また「統計数理」のメイルかき …… 執筆者数， ぢりぢりと増加中．
• 1030 から， 何もかもほうりだして Ustream 視聴 ……
  • 甘利さん講義「情報幾何」 www.ism.ac.jp/shikoin/summer… Ustream チャンネル A www.ustream.tv/channel/ssc-a (甘利さん) と B www.ustream.tv/channel/ssc-b (投影資料) https://pic.twitter.com/mGtv4KA0U1 posted at 10:53:03
  • 
  • 甘利さんの講演 Ustream, チャンネル A で甘利さんと投影資料がいっしょに撮影されるようになりました． www.ustream.tv/channel/ssc-a posted at 11:00:28
  • 甘利さんの講演を聞くのは二度目なんだけど…ハナシがうまい．ハナシのはこびかた，excuse のいれかた，しゃべりかた…すばらしいですね．とても楽しいかんじ． www.ism.ac.jp/shikoin/summer… posted at 11:03:17
  • 甘利さん「情報幾何」の A チャンネル www.ustream.tv/channel/ssc-a 甘利さんと投影資料が同時に見れて便利なんだけど，甘利さんの「表情」が見えにくうくなって，ちょっと残念…「微分幾何ってのは線形代数なんですよ，どこにも書いてなくて困りますね」(久保聞き取り) posted at 11:07:20
  • 甘利さん「情報幾何」の A チャンネル www.ustream.tv/channel/ssc-a 撮影工夫の試行錯誤がなされています．おつかれさまです… 双直交のハナシからリーマン計量へ… posted at 11:27:57
  • (久保聞き取り) (甘利さん楽しそうに) 離散で言えることは連続でも言えるんだ…なあんて言おうものなら数学者たちは怒髪天…ピストーネがダメなもの，うまくいくもの (ピタゴラスの定理とか) を調べあげた…でも，難しいんだよね… posted at 11:45:43
  • (久保聞き取り) flat で invariant (不変) な divergence は alpha-divergence に限られる… → alpha-mean (平均の一般化) → alpha-family (いろいろな確率分布属) posted at 11:54:54
  • (久保聞き取り) 水色で数式を書くと見えにくい? これは今度から変えないとわかりにくいですね…あ，でも，色を変えても数式の意味はわからないから同じです (笑) posted at 11:58:21
  • (久保聞き取り) 凸関数が定義できれば Bregman divergence が定義できる，divergence があればそこから指数関数属が出てくるんです…これは非常に美しい構造を持っている…面白いことはうまくいくんです (病的なことばかり調べてもしょうがない) posted at 12:06:53
  • @ibaibabaibai 実験的にそのようにしてみるのはどうでしょう．A チャンネルの「ソーシャルストリーム」というところに「スライドの PDF ファイルは……でダウンロードできます」と追記して案内してもいいかもしれませんね． posted at 12:26:48
• 昼飯．
• 午後も現実逃避的に Ustream 視聴 ……
  • 甘利さん「情報幾何」 www.ism.ac.jp/shikoin/summer… 午後から B チャンネルが甘利さんアップとなりました! https://pic.twitter.com/QSrZajqPBr posted at 13:11:57
  • 
  • (久保聞き取り) 高次ではなく一次の漸近理論で微分幾何が役に立たねばならない…Cox が Neyman-Scott 問題がまだ解かれてない問題と教えてくれた→原点をとおる直線回帰，x と y に独立誤差あり，傾き theta 推定したい→ Semiparametric model posted at 13:21:05
  • (久保聞き取り) MLE がいいだろうと思われているけれど，Neyman-Scott 問題ではそうではない→難問→微分幾何 (情報幾何) が役にたつだろう posted at 13:26:16
  • (久保聞き取り) (x, y) の直線回帰の問題のつづき…y だけに誤差があるときは MLE で良い，しかし x にも誤差があるとそうではない…回帰線との距離の和? Σy/Σx?…どちらもよくない posted at 13:28:43
  • 撹乱母数がなければ推定関数はスコア関数…しかしあるときにはそうではない…うまい推定関数は存在するのか，その中で一番良いのは何か? 関数空間を考えないといけない posted at 13:37:29
  • Neyman-Scott 問題の別の例: たくさんハカリがあって，その精度が一台ごとに異なる…推定関数であつかえるとわかったけど，かなりたいへんな問題だった (「数理科学」)… posted at 13:46:53
  • ニューロンのパルス間隔，どういう確率分布にしたがうのか? rate が一定ならばポアソン過程，間隔は指数分布…実際には神経細胞がくたびれて不応期がある…近似的にはガンマ分布…2 パラメーターを推定すればよいが，時間とともにその値が変わる→これはセミパラメトリックモデル，情報幾何 posted at 13:52:24
  • (久保聞き取りつづく) この問題，京大の院生にやらせたらうまくいった…推定関数はひとつだけ，Fisher efficient が最良 posted at 13:55:09
  • (久保聞き取り) 独立成分分析…数十人の話し声の中から一人の話し声だけ取り出す…部屋のカベに m 個のマイク，室内に n 人の話者，マイク-話者の距離によって信号強度が異なる，各話者は独立に話している→独立になるように「分解」する，セミパラメトリックモデルの推定になっている posted at 14:01:37
  • (久保聞き取り) この問題は主成分分析ではうまくいかない…独立になるように分解する「うまいアルゴリズム」がある…推定関数を全部列挙してみて，良いものを選ぶ…独立性が高くなるように荷重行列 W の要素を変えていく…最急降下は gradient の場合もあり，そうでない場合もあり… posted at 14:06:48
  • (久保聞き取り) W という行列の作るリーマン計量は何か… この場合の Natural Gradient は gradient に W^T W をかけたもの．ユークリッド空間では gradient だけでよい… posted at 14:11:43
  • (久保聞き取り) 独立成分分析の研究からスパースアナリシス (パラメーターはたくさんあるけどほとんどゼロ) のハナシにも発展 posted at 14:13:42
  • (久保聞き取り) 統計モデルとしての神経回路網 (とりあえず二層)…なめらかと思っていたが特異点をふんだんに含んだ多様体だった…入力 x が何であっても応答 y がゼロになるとか． posted at 14:19:17
  • (久保聞き取り) Gaussian mixture も特異点を含んでいる…こういう特異モデル，統計のヒトたちはいやがって，特異点のない，正則条件を満たすような問題にとりくむ． posted at 14:23:02
  • (久保聞き取り) 学習ってのは，パラメーターがある値から出発して，逐次的に更新してより良いところに移動する…途中に特異点があるとそこで止まる…(ここで Flash がおちる ;_;) posted at 14:26:14
  • (久保聞き取り) 特異点のまわりの漸近解析…"Natural Gradient" (幾何学では当たり前の概念) で「点」を移動していくと，特異点まわりでのひきこみがなくなり学習がうまくいく… posted at 14:30:22
  • チャンネル B では甘利さんの質疑応答が続いていますね…あ，こちらも終わった． posted at 14:31:35
  • 甘利さん「情報幾何学」講義の Ustream 中継 www.ism.ac.jp/shikoin/summer… ，おもしろかった! 自分の研究にすぐに直接に役にたつわけではないけれど…たとえば，岩波の統計科学のフロンティア7「特異モデルの統計学」ぱらぱら見たときの「ぜつぼー」感はかなり減った! posted at 14:43:44
  • しかし，一流の研究者のハナシは刺激になりますね…「** という研究者が ** という問題で困っていたので，ああそれならば ** でうまくいくだろう，とやったら解決した」という逸話が何度かでてきた…私もそういう商売パターンだけど，甘利さんとは「**」の部分がちがいすぎる!! posted at 15:05:56
  • まず「視点の高さ」というか，抽象化のうまさ・深さがぜんぜんちがうように感じた…しかも「距離感」みたいなのが適切なかんじで，「本職の数学者はごちゃごちゃいうけど，自分はここまででヨシとする」とうまいところで深いりをやめる…といったカンのするどさというか，雰囲気が感じられましたねえ… posted at 15:14:30
• Ustream & Twitter づかれ ……
• また「統計数理」なメイルかき ……
• 1720 研究室発． 買いもの． 1750 帰宅． 晩飯の準備． とらめし． 晩飯．
• 今日のおもしろとらちゃん: ふつーの写真たてのガラス面をこすって不思議そうにしている …… とらちゃん， iPad や iPhone じゃない写真は， こすっても動いたり拡大したりしないんだよ ……
• [今日の運動]
  • とらちゃんえくささいず．
• [今日の食卓]
  • 朝 (0730): 米 0.7 合． ナス・シイタケの味噌汁．
  • 昼 (1230): 研究室． 米 0.7 合． あげイカ．　 サケ． ホウレンソウ． ミニトマト．
  • 晩 (1900): 米 0.7 合． ハクサイ・シイタケ・油揚の味噌汁． サンマのオイル焼き． ジャガイモ・ニンジン・タマネギ・豚肉の煮物．