統計的検定とは（全体像）
統計的検定は、データに見られる差が「たまたま（偶然）」なのか「意味のある（有意な）差」なのかを見分ける手法。たとえば「新ボタンのほうがクリックされやすい」と言えるのか、それとも偶然のばらつきなのかを判定する。
カギになる言葉を押さえる。
- 帰無仮説（H0） … 「差はない」という、まず否定したい仮説。
- 有意水準（α） … 判定の厳しさの基準（ふつう5%や1%）。
- p値 … 「もし差がなかったとしても、偶然これだけの差が出る確率」。
判定はシンプルで、p値が有意水準より小さければ（p<α）、「差はない」を棄却して「差は本物」と結論する。
詳しく：p値と過誤・検定法だけ覚えれば戦える
ここが記事の心臓部。まずはp値と判定。
検定の流れ
| 用語 | 意味 |
|---|---|
| 帰無仮説H0 | 「差はない」という、否定したい仮説 |
| p値 | 差がないのに偶然これだけ差が出る確率 |
| 有意水準α | 基準（5%や1%）。p<αなら差は本物と判定 |
p値は「偶然だけでこんな差が出るのは珍しいか」を表す。p値が小さいほど「偶然では説明しにくい＝本物の差」となる。つまり、p値が小さいほど「これは偶然ではなさそうだ」と言える、というわけだ。なお、p値は「差がない確率」ではなく「差がないと仮定したときのデータの出やすさ」なので、混同に注意だ。
次に、頻出の間違え方2種類（過誤）。
2種類の過誤
| 過誤 | 内容 | たとえ |
|---|---|---|
| 第1種過誤（α） | 本当は差がないのに「差あり」と判定 | 冤罪（誤検出） |
| 第2種過誤（β） | 本当は差があるのに「差なし」と判定 | 見逃し |
「冤罪（第1種）」と「見逃し（第2種）」は反対向きの間違い。両者は別ものなので、取り違えないことが大事だ（検出力＝1−β）。
最後に、代表的な検定法の使い分け。
主な検定法
| 検定 | 何を調べる |
|---|---|
| t検定 | 2つのグループの平均に差があるか |
| カイ二乗検定 | 2つの項目に関連があるか（独立性・適合度） |
| F検定 | 分散（ばらつき）の比 |
「平均の比較ならt検定、関連の有無ならカイ二乗検定」と覚えるのがコツだ。
わかりやすく言い換えると
要するに、検定は「その差は偶然か、本物かを見分ける裁判」だ。
①帰無仮説 … 「差はない（シロ）」という前提から始める
②p値 … 「シロだと仮定したのに、これだけの証拠（差）が偶然出る確率」
③p値が小さい … 偶然では説明しにくいので「差は本物」と判定する
間違え方は2つ。「冤罪（第1種）」＝シロを誤ってクロにする、「見逃し（第2種）」＝クロを誤ってシロにする。検定は、この2つの間違いをにらみながら判定する、というわけだ。
試験のツボ
🔴 一番出る：第1種と第2種の過誤
①第1種＝差がないのに「差あり」（冤罪・誤検出）
②第2種＝差があるのに「差なし」（見逃し）
③検出力＝1−β
🔴 次に出る：p値と有意水準
①p値＝差がないのに偶然これだけ差が出る確率
②p<αなら「差は本物」と判定（棄却）
🟡 押さえると安定：検定法の使い分け
①t検定＝2グループの平均の比較
②カイ二乗検定＝項目どうしの関連（独立性）
よくある間違い
①「第1種過誤と第2種過誤は同じものである」→ ✗ 第1種は冤罪（差なしを差ありに）、第2種は見逃し（差ありを差なしに）。反対向き。
②「p値は『差がない確率』そのものである」→ ✗ p値は「差がないと仮定したとき、偶然これだけ差が出る確率」。意味が違う。
③「2グループの平均を比べるのにカイ二乗検定を使う」→ ✗ 平均の比較はt検定。カイ二乗は項目どうしの関連を調べる。
試験での出題パターン
実際の問題でたしかめてみよう。
オリジナル問題1（p値と判定）
p値と有意水準に関する次の記述のうち、正しいものはどれか。
- p値が有意水準より大きいときに、差は本物だとして帰無仮説を棄却する
- p値は差がない確率そのものを表すので、p値が大きいほど差は本物といえる
- p値は有意水準と無関係で、どんな値でも判定の結果は変わらないものである
- p値が有意水準より小さいときに、差は本物だとして帰無仮説を棄却する
解答は 4 だぜ。
判定ルールは「p値が有意水準より小さい（p<α）なら、差は本物として帰無仮説を棄却する」。偶然では説明しにくいほど、差が有意だと結論するんだ。
選択肢1は「大きいとき棄却」が逆。選択肢2は「p値＝差がない確率」とする誤り。選択肢3は「有意水準と無関係」が誤りだぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 小さいときに棄却する |
| 2 | ✗ | p値は「差がない確率」ではない |
| 3 | ✗ | 有意水準と比べて判定する |
| 4 | ✓ | p<αで棄却（差は本物）が正しい |
オリジナル問題2（過誤）
検定の過誤に関する次の記述のうち、正しいものはどれか。
- 第1種過誤も第2種過誤もまったく同じ間違いで、区別する意味はないとされる
- 第1種過誤は差がないのに差あり、第2種過誤は差があるのに差なしと判定する
- 第1種過誤は差があるのに差なしと判定する、いわゆる見逃しのことをいう
- 過誤は検定では決して起こらず、判定はつねに完全に正しいものとされている
解答は 2 だぜ。
第1種過誤は「差がないのに差あり」（冤罪・誤検出）、第2種過誤は「差があるのに差なし」（見逃し）だ。反対向きの間違いだから、取り違えないようにな。
選択肢1は「同じ間違い」が誤り。選択肢3は第1種と第2種が逆。選択肢4は「過誤は起こらない」が誤りだぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 第1種と第2種は別もの |
| 2 | ✓ | 第1種＝冤罪・第2種＝見逃しで正しい |
| 3 | ✗ | 見逃しは第2種 |
| 4 | ✗ | 過誤は起こりうる |
オリジナル問題3（検定法の使い分け）
検定法の使い分けに関する次の記述のうち、正しいものはどれか。
- t検定は項目どうしの関連を調べ、カイ二乗検定は平均の差を調べる手法である
- t検定もカイ二乗検定も用途はまったく同じで、どちらを使っても変わらない
- t検定は2グループの平均の差を、カイ二乗検定は項目どうしの関連を調べる
- t検定もカイ二乗検定も、データの個数を数えること以外には使えない手法だ
解答は 3 だぜ。
t検定は2グループの平均の差、カイ二乗検定は項目どうしの関連（独立性）を調べる。「平均の差はt・関連はカイ二乗」とセットで覚えとけ。
選択肢1はt検定とカイ二乗が逆。選択肢2は「用途が同じ」が誤り。選択肢4は「個数を数えるだけ」が誤りだぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | tとカイ二乗の役割が逆 |
| 2 | ✗ | 用途が異なる |
| 3 | ✓ | t＝平均の差・カイ二乗＝関連 |
| 4 | ✗ | 平均比較や関連の検定に使う |
まとめ
押さえどころ
- 🔴 過誤 ＝ 第1種は冤罪（差なしを差あり）、第2種は見逃し（差ありを差なし）。検出力＝1−β。
- 🔴 p値と判定 ＝ p値は偶然これだけ差が出る確率。p<αなら差は本物（棄却）。
- 🟡 検定法 ＝ 平均の差はt検定、項目どうしの関連はカイ二乗検定。
次に学ぶ
- 確率分布（二項・正規・ポアソン） ── 検定の土台になる確率の考え方。正規分布などが分かると、p値の意味がすっと入る。
- 記述統計（平均・分散・標準偏差） ── 検定の前に、データの特徴を数値でつかむ基礎。セットで理解すると統計の全体像が見える。
執筆: SikakuQuest編集部