実験の再現性 　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　コモンセンスの目次へ


ある植物に対する水の効果を見るための想像上の実験である。土壌水分含量を変えることのできる実験ライシメータを３台用意し、それに植物を植え、生育が確立するまでは十分量の水を与えた。生育が確立し３つのライシメータで生育が同等であることを確認した上で、水分供給量を３段階（ライシメータごとに多、中、少）に変え、生育経過を観察した。

生育経過の観察結果からは、水分量が中の区が収量最大で、多がそれより少し劣り、少はさらに劣ることがうかがわれた。それらの差は、偶然であって本当は水分量に関係ないのか、そうではなく本質的なものなのか、を判断するには微妙なところと思われた。この実験をやり直しても同じ結果が得られるのか、自信が持てない。そこで、この実験の再現性をはっきりさせるため、統計的検定を行うのが良いということになった。収量調査では、ライシメータの縁は植物の生育が明らかに勝っているので縁から50cmの幅は刈り取って捨てた。残った部分を田の字に区切って４つのサンプルを刈り取り、それぞれの乾燥重量を求めた。４つの区切りは、それぞれちょうど1m²であった。３区４反復の実験として分散分析を行った。

その結果、少と中、少と多の間には統計的に有意な差があり、中と多の間の差は有意差ではない、と判定された。すなわち、この植物は、水分が少から中の間では有意に上昇したが中の水準になったところで頭打ちになり多では収量は増えることがないものと考えられた。

さて、この実験は再現性の評価という観点から見た場合正しいかどうか、どこかに何か問題はあるのだろうか。

問題有り、である。田の字に区切って得たサンプルデータを反復と見て、それで再現性を見たつもりであろう。しかし、この実験は、再現性を統計的検定に掛けたのではなく、４つの場所のバラツキに対して水分量の効果を検定していることになる。

再現性とは、サイコロを振るように、試行を繰り返したとき、その現象が再現されるかどうか、それが客観的に保証できるかどうかの問題なのである。上の解析では、ひとつのライシメータ内の場所が変わることによるバラツキに比較してライシメータ間のバラツキが大きいかどうかを評価しているのであって、実験をやり直したとき同じ結果を得るかどうかを試しているのではないのである。この実験の場合、同じ条件で何回か繰り返し実験をするということは、多分、３段階の水分処理を施した３個のライシメータからなるセットを何組か用意して、ライシメータごとの収量を測定し、分散分析の検定に掛けることになるであろう。

繰り返しが困難なフィールド調査などの場合には、場所の違いに対し処理の効果が有意にばらつくかどうかの検定をしてその処理の効果を評価することはしばしばある。土壌の化学分析値などでは、空間的なバラツキが大きいことが多く、そのバラツキの大きさを超えて処理の効果が見えることが、処理の効果の有効性評価には必要なのである。しかし、それは、今回の水分処理の効果の再現性評価とは全く目的が異なるのである。

再現性を実験で評価することに関し、一般的に言えば、例えば、JISZ8402の、実験室における分析・試験に関する定義によると、同一試料から複数個の測定値を得るときの繰り返しに関する条件には、併行条件、室内再現条件、室間再現条件があり、それぞれが明確に定義されている。併行条件とは、同一試料の測定において、人・日時・装置のすべてが同一とみなされる測定条件。室内再現条件とは、同一実験室における同一試料の測定において、人・日時・装置の一部、またはすべてが異なっている測定条件。室間再現条件とは、同一試料の測定において、実験室・人・日時・装置のすべてが異なる測定条件。

これに照らすと、上の水分条件の実験は、併行条件による精度評価をしていることになる。求めたかったのは、多分、室内再現条件下における精度、つまり室内再現精度の評価であろう。その研究者（人）が、その年（日時）に、そのライシメータ（装置）を使って、少なくともそれらの内の一部、例えばライシメータ（装置）を変えたデータをとる必要があったわけである。年（日時）を変えても良いかもしれないが、年が変わると気象条件などが変わるので、実験の目的からすると少しずれるのではないだろうか。また、人を変えても良いかもしれないが、それは事実上装置も変えることになるのではないだろうか。さらに、実験室を変えるとなると、室間再現精度を問題にすることとなり、この水分条件の効果が、他の土地でも同じかどうか、などの問題になってきて、さらなる先の段階に進むことになるのではなかろうか。いずれにせよ、ライシメータの中を４つに区切ったのは目的とする再現性の評価にはなっていなかった、とお分かり頂けたであろう。再現性の評価をするということはしばしばお金と手間がかかることなのである。

再現性を保証することは、実験結果を普遍的なものに近づけるために必須と言って良いであろう。そのような再現性をどのようにすれば評価できるかは、実験を計画するときにあらかじめしっかりと考えておかなければならないことなのである。

コモンセンスの目次へ