A/B Testing in MailChimp: 7 Years of Successful Experiments | MailChimp Email Marketing Blog
メールASPのグローバルリーダーであるMailChimpが7年分の知見をブログで公開してくれています。MailChimpはGithubでメールテンプレートを公開してくれていたりと、有益な外部発信を行っている素晴らしいメーカーです。
同エントリを読んで気になった点のメモです。なお、数字はMailChimp Annual Report 2013からも拝借しています。
A/Bテスト数
- MailChimpでは2013年の1年間で228,627件のA/Bテストが実施された。
- メール送信キャンペーン数は24,323,099件
- ということでABテスト実施率は0.9%程度？
これ、思ったより少ないですね。A/Bテスト自体を知らないというユーザーは現在では少数でしょうから、大多数のユーザーは「知っているけどやらない」という状態でしょうね。
テスト結果について
- A/Bの対象は「メールタイトル」「差出人」「配信時間」「本文」の4つがある。
- このうち「メールタイトル」のテストが209,824件で91%をしめる。
- メールタイトルは平均32文字変更している
- 開封率に一番違いが現れたのは「差出人」の変更で平均12.0%
- クリック率が一番違うのは「配信時間」で平均22.6%
ここは想像どおり「タイトルテスト」が大部分。ABでタイトルは「平均32文字変更」しているそうなので、ほぼ別タイトルにしてテストしているパターンが多いのですね。
個人的には差出人が一番大きな変動要素だと思っています。今まで実施したテストでは「知っている差出人」 ＞ 「info等のグループアドレス」 ＞ 「知らない差出人」 というのが鉄板ネタ。
気をつける事
- A/Bを始める時は違う所は一箇所にとどめよう。
- タイトルも差出人もと複数箇所変更すると、結果に対する影響がわからなくなる。
- リスト件数によるけれどテストセグメントは20%-50%がオススメ。
気軽に始める。小さく始める。というのは非常に大事ですよね。
大事なのは他人が実施した結果の知識を蓄えることではなく、A/Bテストプロセスを構築することですよね。