A/B テスト

A/B テストはスプリットテストとも呼ばれ、ユーザーをランダムに2グループに分け、AとBの異なるバージョンを表示して KPI (CVR、CTR など) で勝者を判定する手法です。Google が2000年代初頭に検索結果ページを A/B テストで日々改善する文化を作り、現在では Booking.com が同時に1,000本以上の A/B テストを走らせる運用で有名です。統計的有意性を担保するため、最低サンプル数 (例: 各グループ1万 PV) と検定 (Z 検定、ベイズ推定) が必要で、期間は通常2-4週間です。Optimizely、VWO、Google Optimize (2023年廃止)、Convert などのツールで実装します。A/B テストの落とし穴は、(1) サンプル数不足での誤判定、(2) 同時に複数要素を変更しての因果の混在、(3) シーズナリティの影響、です。Andrew Chen は「A/B テストは局所最適に陥りがち、ブレイクスルーには大胆な変更が必要」と警鐘を鳴らしています。BtoB の場合、トラフィックが少ないため A/B テストよりベイズ推定や定性インタビューが有効です。