ある企業が、広告接触の増加によって購入意向が高まると考えていたとします。仮説には、これまでの調査にもとづく、それなりの根拠がありました。そこで比較実験を行いました。しかし、統計的に有意な差は確認できませんでした。
この場合、「広告接触を増やしても購入意向は変わらない」と結論づけてよいのでしょうか。必ずしもそうとは限りません。広告の内容や配信先に問題があったのかもしれません。あるいは、施策には一定の効果があったものの、今回の調査では十分に捉えられなかった可能性もあります。
期待した効果が確認できなかったという結果は、どこまでのことを示しているのでしょうか。
今回は、統計的有意性をめぐるアメリカ統計学会の声明と、広告効果の順序をめぐる研究を手がかりに、調査や研究の結果をどう読み、判断に生かせばよいのかを考えます。なお、冒頭の例は、問題を説明するための仮想例です。
統計的に有意でないことは、何を意味するのか
統計的な検定では、得られたデータが特定の統計モデルや仮説とどの程度整合的なのかを検討します。ここで使われることがあるのが、p値です。ただし、p値を、仮説が正しい確率として理解することはできません。また、あらかじめ決めた有意水準を超えたかどうかだけで、効果の有無を断定することも適切ではありません。
アメリカ統計学会（ASA）は2016年に公表した声明で、p値の解釈や統計的有意性に関する誤用について注意を促しました。その中では、統計的有意性が、効果の大きさや実務上の重要性を表しているわけではないことも強調されています。
例えば、対象者数が少なく、推定値の不確実性が大きい調査だったとします。その場合、実際には一定の効果があっても、今回の調査では明確に捉えられなかった可能性があります。一方、十分な規模と精度を持つ研究によって、実務上意味のある大きさの効果は見込みにくいと示される場合もあります。この二つは、同じではありません。
したがって、結果を解釈する際には、有意差の有無だけでなく、効果の推定値や信頼区間、標本数、測定方法などを検討する必要があります。
研究によって、結論が違うのはなぜか
結果をどう読むかという問題は、自社の調査だけでなく、マーケティングで使われる理論にも関わります。例えば、広告やマーケティングで知られる「AIDA」というモデルがあります。Attention（注意）、Interest（関心）、Desire（欲求）、Action（行動）の頭文字を取ったものです。消費者が商品を購入するまでの過程を、段階的に整理するための考え方として紹介されます。
確かに、このモデルはわかりやすいと思います。顧客に商品を知ってもらう。興味を持ってもらう。欲しいと思ってもらう。そして、購入してもらう。しかし、実際の消費者は、必ずこの順番で行動しているのでしょうか。
広告効果の研究が示してきたこと
デメトリオス・ヴァクラツァスとティム・アンブラーは、1999年に『How Advertising Works: What Do We Really Know?』という論文を発表しました。250件以上の論文や書籍を検討し、広告の効果が必ず一定の時間的な順序で生じるという考え方について、十分な支持が得られていないと論じています。
ただし、ここで「AIDAは完全に否定された」と結論づけるのも適切ではありません。例えば、アルバート・ヴァレンティらが2023年に発表した研究では、広告効果に一定の順序が存在することを支持する結果が得られました。ここで面白いのは、1999年の研究と完全に同じ結論ではないことです。ただし、単純に新しい研究が古い研究を否定したわけでもありません。
二つの研究は、
同じ方法で調べたわけではない
広告効果の順序をめぐる、1999年と2023年の研究
Vakratsas & Ambler｜1999幅広い文献のレビュー
250件以上
効果が一定の順序で生じるという考え方に、十分な支持はない
認知・感情・経験の働きは、商品や市場、広告の目的によって異なる可能性がある
Valenti et al.｜2023長期間のデータ分析
178ブランド
一定の順序を支持。最も多いのは「感情 → 認知 → 経験」
18の商品カテゴリー・7年間のデータで複数のモデルを比較。順序はすべてのブランドで同じではない
研究対象も、データも、
検討方法も異なる。
2023年の研究が示した順序も、すべての商品やサービス、市場に当てはまるとは断定できない。
※出典：Vakratsas & Ambler（1999）、Valenti et al.（2023）。
したがって、二つの研究を読む際には、どのような問いに対して、それぞれ何を明らかにしたのかを区別する必要があります。むしろ、広告効果の仕組みが、ブランドやカテゴリーによって異なり得ることが重要なのだと思います。
整理に便利なことと、予測できることは違う
ここまで調べて、マーケティングのモデルには、少なくとも整理する、説明する、予測するという異なる使い方があると感じました。
モデルに何を期待しているのか
同じモデルでも、使い方によって求められる根拠が変わる
- 01 整理する 顧客との接点を順に並べる わかりやすさが役に立つ。厳密な順序の正しさまでは求めない。
- 02 説明する なぜ購入したのかを考える ほかの説明と比べて、より妥当かどうかを確かめる必要がある。
- 03 予測する 投資でどれだけ成果が出るかを見積もる 実際のデータにどこまで適合するかを確かめる必要がある。
※本文の議論をもとに整理した独自の図です。
情報を整理するうえで便利なモデルが、必ずしも現実を正確に予測できるとは限りません。しかし、予測力に限界があるからといって、整理のための道具として価値がなくなるわけでもありません。大切なのは、モデルに何を期待しているのかを明確にすることだと思います。
では、効果がないという結果をいつ受け入れるのか
ここで難しいのは、どこまで調べれば十分なのかという問題です。一度の調査では結論が出ないからといって、調査を際限なく繰り返すわけにはいきません。時間や予算には制約があります。一方で、効果が確認できなかったという理由だけで、十分な根拠もなく施策を中止することにも問題があります。
私は、この判断では、効果が存在するかどうかという問いに加えて、実務上どの程度の効果が必要なのかを考えることが重要だと思います。例えば、一定以上の利益が見込めなければ、投資を継続する意味がない施策もあるでしょう。その場合には、単に統計的な差があるかどうかではなく、投資判断を変えるほどの効果が期待できるのかを評価する必要があります。
逆に、実行費用が小さく、失敗しても容易にやり直せる施策であれば、不確実性が残っていても試す価値があるかもしれません。ここでは、科学的な証拠の評価だけでなく、意思決定の目的や制約も考慮しなければなりません。
期待と異なる結果が出たとき、何を確かめるのか
最後に、私自身が実務で意識したいことを整理してみます。まず、新しい結果が得られたときには、何が事実として確認できたのかを明確にしたいと思います。例えば、広告施策で期待した成果が出なかったとします。そのとき、実際に確認できたのは何でしょうか。
認知度が上がらなかったのでしょうか。
売上が伸びなかったのでしょうか。
それとも、今回の調査では効果を十分な精度で推定できなかったのでしょうか。
これらは、異なる結果です。次に、当初の考え方が、どのような前提に基づいていたのかを確認します。顧客の認知不足が本当の課題だったのか。広告を見た人の行動が、どのように変化すると予想していたのか。その予想を支える根拠は何だったのか。こうしたことを整理すれば、何を見直すべきかを考えやすくなります。
さらに、仮説を修正するのであれば、その修正によって新しく何を予測できるのかを考えたいと思います。例えば、認知度と購入意向の関係について、顧客の購入経験が影響しているのではないかと考えたとします。その仮説に意味があるなら、購入経験のある顧客とない顧客では、広告への反応に違いが見られるかもしれません。その違いを、次の調査で検証できます。
ここで重要なのは、得られた結果を説明するだけで終わらせないことです。新しい仮説が、まだ見ていない結果について何を予測するのかを考える。そうすることで、修正した考え方を、さらに検証できます。これは、科学哲学の議論を学んだうえで、私自身が事業の判断に応用しようとしている考え方です。
知識と科学一度うまくいかなかったら、その考えは間違いなのか？ポパー、クーン、ラカトシュから考える、理論と判断の更新。
おわりに｜結果が示していることと、示していないことを分ける
期待した効果が確認できなかったという結果は、それだけで「効果がない」ことを意味するわけではありません。一方で、「調査の方法が悪かっただけだ」と考え続ければ、どのような結果が出ても当初の考えを維持できてしまいます。
有意差の有無だけでなく、効果の大きさや推定の精度を見ること。研究の結論だけでなく、何を対象に、どの方法で調べたのかを見ること。そして、モデルに何を期待しているのかを明確にすること。どれも、結果が示していることと、示していないことを分けるための手がかりだと思います。
私たちが確かめたいのは、効果があったかどうかだけなのでしょうか。それとも、次の判断を変えるほどの効果が期待できるかどうかなのでしょうか。
参考文献・出典
以下は、本文における学術的な説明の主な根拠です。統計や広告効果の研究を事業判断に接続した箇所には、筆者自身の考察が含まれます。
- Vakratsas, D., & Ambler, T. (1999). How Advertising Works: What Do We Really Know?（新しいタブで開きます） Journal of Marketing, 63(1), 26–43. 250件以上の文献から広告効果のモデルを検討した研究。
- Valenti, A., Yildirim, G., Vanhuele, M., Srinivasan, S., & Pauwels, K. (2023). Advertising's sequence of effects on consumer mindset and sales: A comparison across brands and product categories（新しいタブで開きます）. International Journal of Research in Marketing, 40(2), 435–454. 広告効果の順序とブランド・カテゴリーによる違いを検討した研究。
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose（新しいタブで開きます）. The American Statistician, 70(2), 129–133. p値と統計的有意性についてのアメリカ統計学会の声明と解説。
