A/Bテストとは（全体像）
A/Bテストとは、AとBという2つのパターンを用意し、見る人にランダム（でたらめ）に振り分けて見せ、どちらの結果が良いかを比べる検証のやり方のこと。
たとえば、Webサイトの「申し込みボタン」を、赤色（A）と青色（B）の2案で試す。来た人を半分ずつ自動で振り分けて、どちらのほうが多く押されたかを数字で比べる。良かったほうを採用すれば、勘ではなくデータで決められるわけだ。
ポイントは、変えるところは1つにしぼること。ボタンの色だけ変えて、ほかは同じにする。そうしないと、結果が良くても「色のおかげ」なのか「別の理由」なのかが分からなくなってしまう。
詳しく：手順と「意味のある差」の考え方
ここが心臓部。A/Bテストの手順を表で押さえよう。
A/Bテストの進め方
| 手順 | やること |
|---|---|
| ① 仮説を立てる | 「青いボタンのほうが押されるのでは？」と予想する |
| ② 2案を用意 | A（今のまま）とB（変えた案）を作る |
| ③ ランダムに配分 | 来た人を、かたよりなく半分ずつに振り分ける |
| ④ データを集める | どちらが多く押されたかを十分な数だけ集める |
| ⑤ 差をたしかめる | その差が「偶然ではなく意味のある差」かを確認する |
| ⑥ 採用を決める | 意味のある差があれば、良かったほうを採用する |
ここで2つの大事な注意点。
ひとつめ。ランダムに振り分けるのは、条件をそろえるため。たとえば「Aは午前の人、Bは夜の人」と分けてしまうと、時間帯のちがいが結果に混ざってしまう。でたらめに振り分ければ、両方の条件がそろう。
ふたつめ。数字が大きいほうが必ず勝ち、ではない。少ない人数で出た小さな差は、たまたま（偶然）かもしれない。だから十分な数を集めて、偶然では説明できない差かを確かめる。これを「意味のある差（統計的に有意な差）」という。
わかりやすく言い換えると
身近なたとえで整理しよう。
A/Bテストは、「2種類の味見をして、好まれたほうを選ぶ」のイメージ。AとBを同じ条件で食べ比べてもらい、人気だったほうを採用する。
ランダムに振り分けるのは、くじ引きで公平にチーム分けするのと同じ。最初からかたよって分けると、勝ち負けが「分け方のせい」になってしまう。要するに、条件をそろえて公平に比べるための工夫だ。
「意味のある差」は、サイコロを2回ふって出た差で実力を決めないのと同じ。つまり、回数が少ないと偶然が混ざるから、十分な数で確かめよう、という考え方だ。
試験のツボ
🔴 一番出る：A/Bテストの基本
①2案（AとB）をランダムに見せて、どちらが良いかを比べる
②変えるところは1つにしぼる
🔴 次に出る：ランダム配分の理由
①来た人をかたよりなく振り分け、条件をそろえる
②そうしないと、別の理由が結果に混ざる
🟡 押さえると安定：意味のある差
①少ない人数の小さな差は偶然かもしれない
②十分な数を集めて、偶然では説明できない差かを確かめる
よくある間違い
①「A/Bテストは、数字が大きいほうが必ず正解だ」→ ✗ 少ない人数の差は偶然かもしれない。十分な数で「意味のある差か」を確かめる。
②「A/Bテストは、サンプル（人数）が少なくても問題ない」→ ✗ 人数が少ないと偶然が混ざる。意味のある差を見るには十分な数が必要。
③「A/Bテストでは、AとBで複数の場所を一度に変えてよい」→ ✗ 基本は変えるところを1つにしぼる。複数変えると、どれが効いたか分からなくなる。
試験での出題パターン
実際の問題でたしかめてみよう。
オリジナル問題1（A/Bテストの基本）
A/Bテストに関する次の記述のうち、最も適切なものはどれか。
- 1つのパターンだけを長く使い続けて、その良し悪しを後から思い出して決める方法である
- 社員にアンケート用紙を配り、その回答を多数決でまとめるだけのやり方のことである
- 2つのパターンをランダムに見せて、どちらが良い結果になるかを比べる検証の方法である
- 商品の在庫の数を毎日数えて、足りない分を発注するためのしくみのことを指している
解答は 3 だよ。
A/Bテストは、2つのパターン（AとB）をランダムに見せて、どちらが良い結果になるかを比べるやり方だよ。勘ではなくデータで決められるのが強みだね。
選択肢1は1案だけで比べていない、選択肢2は多数決のアンケート、選択肢4は在庫管理の話で、どれも違うよ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 2案を比べていない |
| 2 | ✗ | アンケートの多数決の話 |
| 3 | ✓ | 2案をランダムに比べる検証で正しい |
| 4 | ✗ | 在庫管理の話 |
オリジナル問題2（ランダム配分の理由）
A/Bテストでランダムに振り分ける理由として、最も適切なものはどれか。
- ランダムにすると作業がラクになるからで、結果の正しさにはまったく関係がない
- 両方の条件をそろえて、色などの違い以外が結果に混ざらないようにするためである
- ランダムにすると必ず数字が大きく出るので、見栄えのよい結果になるからである
- 振り分け方は結果に関係しないので、好きなように分けてよいということを示すためである
解答は 2 だよ。
ランダムに振り分けるのは、両方の条件をそろえて、調べたい違い以外が結果に混ざらないようにするためだよ。「Aは午前、Bは夜」のように分けると、時間帯のちがいが混ざってしまうんだ。
選択肢1の「関係がない」、選択肢3の「必ず大きく出る」、選択肢4の「好きに分けてよい」は、いずれも誤りだよ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 結果の正しさに関係する |
| 2 | ✓ | 条件をそろえるためで正しい |
| 3 | ✗ | 数字が必ず大きくなるわけではない |
| 4 | ✗ | 分け方は結果に影響する |
オリジナル問題3（意味のある差）
A/Bテストの結果の見方として、最も適切なものはどれか。
- 1人でも多く押したほうを、人数に関係なく必ず採用するのが正しいやり方である
- 結果の数字は見る必要がなく、担当者の勘だけで採用を決めてよいとされている
- パターンが2つあれば、データを集めなくても良し悪しが分かるとされている
- 少ない人数の差は偶然かもしれないので、十分な数で意味のある差かを確かめる
解答は 4 だよ。
A/Bテストでは、少ない人数の差は偶然かもしれないので、十分な数を集めて「意味のある差か」を確かめるよ。数字が大きいほうが必ず勝ち、ではないんだ。
選択肢1の「人数に関係なく必ず」、選択肢2の「勘だけ」、選択肢3の「データを集めなくても」は、いずれも誤りだよ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 人数が少ないと偶然かもしれない |
| 2 | ✗ | データで判断するのが基本 |
| 3 | ✗ | データを集めて比べる必要がある |
| 4 | ✓ | 十分な数で意味のある差を確かめるで正しい |
まとめ
押さえどころ
- 🔴 A/Bテスト ＝ 2案（AとB）をランダムに見せて、どちらが良いかを比べる。変えるところは1つにしぼる。
- 🔴 ランダム配分 ＝ 条件をそろえ、調べたい違い以外が結果に混ざらないようにするため。
- 🟡 意味のある差 ＝ 少ない人数の差は偶然かもしれない。十分な数で確かめる。
次に学ぶ
- デジタルマーケティング ── デジタルの手段を使った販促の総称。A/Bテストは、その改善に使われる代表的な手法。
執筆: SikakuQuest編集部