仮説検定とp値 — 統計の考え方ガイド

一言でいうと

「本当は差がない」と仮定したとき、いま見えている差がどれくらい起こりやすいかを数えるのが仮説検定。その割合がp値で、差の大きさそのものではない。

科が違えば、体重は違うと言えるか

霊長類の体重は、科によって傾向が違うように見えます。しかし、ある科が別の科より重く見えても、それが科の違いによるものか、たまたまその科に重い種が多く含まれていただけなのかは、見ただけでは区別できません。

ここでは体重が記録されている種のうち、3組の科を比べます。体重は同じ科の中でも数倍の開きがあるので、対数をとって平均し、差を「何倍重いか」で表します。この平均を幾何平均といいます。

比べた科	種数	幾何平均	重い側は	p値
キツネザル科とインドリ科	15 と 8	2,140 g と 3,398 g	1.59 倍	約 0.08
ガラゴ科とロリス科	13 と 8	286 g と 443 g	1.55 倍	約 0.25
オマキザル科とサキ科	39 と 22	590 g と 1,493 g	2.53 倍	0.0001 未満

点は1種。縦の線は科ごとの幾何平均です。p値は、科のラベルを2万回でたらめに入れ替える並べ替え検定（両側）で求めました。

1組目と2組目の差は、どちらも約1.6倍です。それなのにp値は3倍ほど違い、どちらも慣習的な基準の0.05を下回りません。3組目だけが、はっきり「偶然とは言いにくい」結果になりました。この違いがどこから来るのかを、次の体験で確かめます。

科のラベルを入れ替えてみる

比べる科

キツネザル科とインドリ科ガラゴ科とロリス科オマキザル科とサキ科

観察された差: —
入れ替えた回数: —
観察以上の差: —
p値（その割合）: —

入れ替えでは、2科の種をひとまとめにしてから、元と同じ種数ずつでたらめに振り分け直します。「科と体重は無関係」という仮定を、そのまま手で再現する操作です。

下の図の赤い棒が、観察された差と同じか、それより極端な差です。重い側がどちらでも数える両側の検定です。

しくみ：帰無仮説とp値

検定では、まず帰無仮説を立てます。ここでは「科の違いは体重と無関係で、観察された差はどの種がどちらの科に入ったかの偶然で生じた」という仮説です。

帰無仮説が正しいなら、科のラベルを入れ替えても差の出方は変わらないはずです。そこで入れ替えを何度もくり返し、偶然だけで生じる差の分布を作ります。その分布の中で、実際に観察された差がどれほど端にあるかを数えた割合がp値です。

p値＝観察された差以上に極端な差が出た回数 ÷ 入れ替えた回数

p値が小さいほど、「偶然だけでこの差が出る」という説明は苦しくなります。慣習的には0.05を下回ると「統計的に有意」と呼びますが、この基準は約束事で、0.05を境に自然の側で何かが切り替わるわけではありません。

p値は、差の大きさと、データのばらつきや数の両方で決まります。キツネザル科とインドリ科では、インドリ科8種の体重が829 gから8,565 gまで大きく散らばっています。種数が少なく、ばらつきが大きいと、入れ替えだけでも大きな差がしばしば生じます。そのため、1.59倍という差があっても、偶然とはっきり区別できません。

帰無仮説: 「差はない」「関係はない」とする仮説。検定はこれを仮定して計算する。
並べ替え検定: グループのラベルをでたらめに入れ替えて、偶然だけで生じる差の分布を作る検定。
p値: 帰無仮説が正しいとき、観察された差以上に極端な差が出る割合。
有意水準: 「有意」と呼ぶかどうかの基準。慣習的に0.05が使われる。

よくある誤解

「p値は、帰無仮説が正しい確率だ」

違います。p値は帰無仮説が正しいと仮定した上で、観察された差以上が出る割合です。キツネザル科とインドリ科のp≈0.08は、「科と体重が無関係である確率が8%」という意味ではありません。

「有意でなければ、差はない」

有意でないのは「偶然と区別できなかった」ということです。インドリ科はキツネザル科より幾何平均で1.59倍重いのに、8種と15種の比較ではp≈0.08にとどまりました。差がないことを示したわけではありません。

「p値が小さいほど、差が大きい」

ガラゴ科とロリス科の差は1.55倍、キツネザル科とインドリ科は1.59倍で、ほぼ同じです。それでもp値は約0.25と約0.08で、3倍ほど違います。p値を見るときは、何倍の差かという効果の大きさを必ず一緒に見ます。

「たくさんの組を比べて、有意になった組を報告すればよい」

2種以上の記録がある14科のすべての組を比べると、91回の検定になります。仮にどの科にも差がなくても、有意水準0.05で検定すれば、平均して4〜5組は偶然「有意」になります。

授業では、この回で扱っています

授業サイトは誰でも見られます。もう少し踏み込みたい人は、各回のページへどうぞ。

統計学Ⅰ 第8回帰無仮説と背理法の考え方からt検定を実行し、「p値は効果の大きさではない」ことを確かめる。 統計学Ⅰ 第9回3つの科の体重を比べる例で、t検定を繰り返すと偽陽性が増えることと、分散分析での一括判定を扱う。 統計学Ⅱ 第8回検定を重ねると偶然の「有意」が積み上がることを示し、有意になるまで試す分析の危うさと補正の方法を学ぶ。 統計学Ⅱ 第9回標本を大きくすれば無意味な差でも有意になることを示し、効果量とp値を分けて報告する作法を身につける。 行動計量学第10回2群の平均値を比べるt検定をRで実行し、効果量（Cohenのd）とあわせて解釈する。 行動計量学第13回3群以上をt検定の繰り返しではなく一元配置分散分析で比べる理由と、Rでの実行方法を学ぶ。

データ：Jones, K. E. et al. (2009) PanTHERIA: a species-level database of life history, ecology, and geography of extant and recently extinct mammals. Ecology 90: 2648. 変数は成体の体重（g）。体重の記録がある265種のうち、比べた6科の105種（キツネザル科15・インドリ科8・ガラゴ科13・ロリス科8・オマキザル科39・サキ科22）を使用。科の和名は授業「統計学Ⅰ」の教材による。
表のp値は並べ替え2万回で求めた値です。体験パネルのp値は入れ替えごとに乱数が変わるため、表の値と少しずれます。