読者です 読者をやめる 読者になる 読者になる

MailChimpが蓄積したA/Bテスト7年分の知見をメモる

A/B Testing in MailChimp: 7 Years of Successful Experiments | MailChimp Email Marketing Blog

 メールASPのグローバルリーダーであるMailChimpが7年分の知見をブログで公開してくれています。MailChimpはGithubでメールテンプレートを公開してくれていたりと、有益な外部発信を行っている素晴らしいメーカーです。

 同エントリを読んで気になった点のメモです。なお、数字はMailChimp Annual Report 2013からも拝借しています。

A/Bテスト数

  • MailChimpでは2013年の1年間で228,627件のA/Bテストが実施された。
  • メール送信キャンペーン数は24,323,099件
  • ということでABテスト実施率は0.9%程度?

 これ、思ったより少ないですね。A/Bテスト自体を知らないというユーザーは現在では少数でしょうから、大多数のユーザーは「知っているけどやらない」という状態でしょうね。

テスト結果について

  • A/Bの対象は「メールタイトル」「差出人」「配信時間」「本文」の4つがある。
  • このうち「メールタイトル」のテストが209,824件で91%をしめる。
  • メールタイトルは平均32文字変更している
  • 開封率に一番違いが現れたのは「差出人」の変更で平均12.0%
  • クリック率が一番違うのは「配信時間」で平均22.6%

 ここは想像どおり「タイトルテスト」が大部分。ABでタイトルは「平均32文字変更」しているそうなので、ほぼ別タイトルにしてテストしているパターンが多いのですね。

 個人的には差出人が一番大きな変動要素だと思っています。今まで実施したテストでは「知っている差出人」 > 「info等のグループアドレス」 > 「知らない差出人」 というのが鉄板ネタ。

気をつける事

  • A/Bを始める時は違う所は一箇所にとどめよう。
  • タイトルも差出人もと複数箇所変更すると、結果に対する影響がわからなくなる。
  • リスト件数によるけれどテストセグメントは20%-50%がオススメ。

 気軽に始める。小さく始める。というのは非常に大事ですよね。


 大事なのは他人が実施した結果の知識を蓄えることではなく、A/Bテストプロセスを構築することですよね。