「ぎょーむ日誌」目次に戻る | KuboWeb top に戻る | twilog | atom

ぎょーむ日誌 2006-10-18

苦情・お叱りは，たいへんお手数かけて恐縮ですが，久保 (kubo@ees.hokudai.ac.jp) までお知らせください．

本日 (kubolog20061018) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top

2006 年 10 月 18 日 (水)

0750 起床．朝飯．コーヒー． 0910 自宅発．晴． 0925 研究室着．

昼すぎまでかかって江川さんサロベツゑくせるデータシートを「R とかで解析できる表形式」に変換する作業． CSV …… というか「セル内データ区切り」という江川さん独創による荒ワザの中で ``,'' はすでに使われて閉まっているので， ``;'' 区切ったデータとして export した Phragmites.txt 内で

1;5.5cm;571;ミカヅキ;13;16;0;24;0;23;1;25;0;25;0;25;0;27;0;m0.7;;5.0(1),m3.7;
6.5(4),m5.0;2.0(2),8.0(5),m6.0;9.5(6),m7.0;13.0(1),m11.0;13.0(4),12.5(2),m11.0;

となってる一行を

ALIVE,DID00001,Phragmites,1,571,R,R,2006-06-21,13,NA
ALIVE,DID00002,Phragmites,1,571,R,R,2006-07-03,16,NA
ALIVE,DID00003,Phragmites,1,571,R,R,2006-07-12,24,NA
ALIVE,DID00004,Phragmites,1,571,R,R,2006-07-23,23,NA
ALIVE,DID00005,Phragmites,1,571,R,R,2006-08-03,25,NA
...
HEIGHT,DID00001,Phragmites,1,571,R,R,2006-06-21,0.7,mean
HEIGHT,DID00001,Phragmites,1,571,R,R,2006-06-21,0.7,mean
HEIGHT,DID00001,Phragmites,1,571,R,R,2006-06-21,0.7,mean
...
HEIGHT,DID00002,Phragmites,1,571,R,R,2006-07-03,NA,NA
...
HEIGHT,DID00002,Phragmites,1,571,R,R,2006-07-03,NA,mean
...
HEIGHT,DID00002,Phragmites,1,571,R,R,2006-07-03,NA,NA
HEIGHT,DID00003,Phragmites,1,571,R,R,2006-07-12,5.0,NA
HEIGHT,DID00003,Phragmites,1,571,R,R,2006-07-12,3.7,mean
...

などと変換してみせるわけだ．

なんでこんな形式にするんだよう，と思われるかもしれないけど，第一処理 A1 内の第二処理 B3 内の plot C79 内のクラスター D2 内の日付 E7 における種 F9 の状態 X というような「階層性」あるデータを R の data.frame() に格納してから
- apply() や tapply() で集計する
- plot() などで作図する
- さまざまな統計モデルの推定計算関数にほうりこむ
といった「次の一手」と連携させるには上のように変換するのが最良なのである．
しかしながら，昨日も書いたよーに，ここまで難解なデータシートを「解毒」するというケガれ作業はケガれ言語 Perl でなければとてもやってられない．もちろん R でそういう変換フィルターを書くのは不可能ではないんだけど …… おそらくかなりしんどいと思う．
で，やはりかかる「横に長いゑくせるデータシート」 (なぜか院生たちはこの形式を好む) という破綻をまねきやすい形式かつ「入力値自動チェックいっさいなし」状態でデータ入力すると …… まあ，単純なものから複雑なものでまでありとあらゆる種類のまちがいが発生しうるわけで．そのあたり変換フィルター内で何ヵ所もチェックしている．
たとえば単純な書きまちがいはもとデータファイルを修正するのも面倒なので，みつけたら変換フィルター内で Perl の正規表現で置換している (変換フィルタープログラムそのものが「訂正の記録」になっている)．一例としてはこう．
```
	s/\(!\)/(1)/o; # (!) -> (1)
	s/11\.0\(39/11.0(3)/o; # 11.0(39 -> 11.0(3)
	s/15\.081\)/15.0(1)/o; # 15.081) -> 15.0(1)
	s/\)1/),1/o; # 8.5(3)10.3(1) -> 8.5(3),10.3(1)
	s/旗左）/1)/o; # 3.5(旗左） -> 3.5(1)
```
データ数集計によるまちがい発見も …… たとえば，「第 i 日の個体数」と「第 i 日の個体「高さ」測定値の個数」が一致してないところが 7224 観測回数 (観測日数 × 観測場所) 中に 87 箇所あり，さらにその「エラーの種類のうちわけ報告」によると，わりとどうでもよい単純入力ミスは 31 箇所で …… といったたぐいの「エラー & 疑わしいところ報告」も出力するようにしている．
江川さんデータにとくにたくさんまちがいあるわけではなく，いたってふつーの水準．いままでじつにたくさんのヒトたちのデータシート点検してきたけれど，生態学の観測データセットというのはだいたいこれぐらいまちがいが混入しているものだ (単純な入力まちがいからかなり深刻なものまで)．
前にも書いたけど，ホントに深刻なのは，生態学研究者の何割かはこういうまちがいチェックをいっさいやらず，そのままデータ解析して論文とか書いてる，というあたりか．
(皆さんの大好きな) 「気あいと根性」で「目視データちぇっく」とかやるヒトもいるわけだが …… 今回発見されたようなまちがいのほとんどは「目視」だけで全部発見するのはかなり難しい．
ということで，
- 入力段階のエラーを減らす
- 入力後・解析前にチェックする
といったココロがけが必要だろう．
とはいえ，データ解析は R でやるんだけど，それとは別に Perl ケガれプログラミング技法を修得して解毒フィルター書く，なんて二重手間なことはふつーの生態学研究者はあまりやりたくないだろう．そこで，最初から「R で解析しやすいカタチ」でデータを整理できないだろうか，という可能性を検討してみることをおススめしたい．具体的な書式はヒトそれぞれのデータ構造に依存するんだろうけど．
で，入力したらすぐに R で点検，つまり季節的にとってるデータなんかであっても，とりあえず最新のデータなんかを入力したらすぐに R に読みこませて集計・作図でチェックするとしておけば，まちがいさがしなんかも断ゼン簡単になる．
変換フィルタープログラムひととーりできたので昼飯．またまた CANON LBP-2810 用の再生カラートナーカートリッジ，不良品をつかまされたか …… ほんぢつは Yellow と Blue の同時多発てろ．
そしてツガザクラ作文「すらんぷ」を自称しておられる亀山さんあいてにお茶部屋でツガザクラ雑種雑談．
夕方から江川さんとサロベツデータ & 変換フィルターばぐとり．じつは上で述べてる「検出されたエラー数」などは江川さんのお助けでフィルターがマトモになってからのもので，バグとりする前のフィルターだと 1000 個以上の偽「入力エラー」が報告されてた …… かかるオソろしい事態は私のプログラミング，とくに日本語まわりの正規表現による置換がヘボかったため．
データ構造がかなり複雑なので，ふたりがかりで「バグか? もとデータのまちがいか?」を R & Perl & テキストエディター駆使しつつ特定していく．「これってヘンかしらん?」「(もとファイル点検しつつ) ヘンですよー，ぜったいヘン」「やっぱりヘンなんでしょうね …… (vim エディターでコード & output など点検しつつ) あ，ここはたしかにヘンだ」とヘンを連呼しつつバグとり．
とりあえず「真エラーだけ報告」状態までもっていくことができたので，野帳ともとデータ比較してもらうことにして本日のヘン換作業終了． 1930 研究室発． 1945 帰宅．体重 72.8kg．晩飯．
接着剤による登山靴修理のつづき．本日は細かいところの接着．昨日の強力接着剤べたべた事件でこりたので，今回は古軍手を着用して作業．
[今日の運動]
- 腹筋運動 30 × 3 回．腕立ふせ 5 × 3 回．
[今日の食卓]
- 朝 (0830): 米麦 0.5 合．ゆで塩ザケ．コマツナあえもの．ワカメ・豆腐の味噌汁．
- 昼 (1350): 研究室お茶部屋．食パン．
- 晩 (2100): 米麦 0.7 合．コマツナあえもの．ダイコン・ニンジン・ネギ・アサリの味噌汁．

本日 (kubolog20061018) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top

KuboLog | KuboWeb