マーケティングオートメーションと機械学習をつかった予測スコアリングについて私見

最近マーケティングオートメーション界隈では、「機械学習を使った予測スコアリング」なんてモノをよく聞きます。マーケティングオートメーションというバズワードに機械学習というバスワードを重ねてくるあたりに趣を感じます。

近くでかかわっているいる者からすれば、双方とも実態がなくバズっているわけではないのですが、「機械学習(人工知能)使えば、マーケティングは全て自動化される」なんて事を言う困ったちゃんがいたりして、いやはやなんとも言えない気持ちになります。言葉に罪はないんですよ。

ひじょうに敷居がたかく感じる機械学習ですが、さいきんではかなり気軽に試すことができます。

データサイエンティストではない私も、Amazon Machine Learningを使って予測スコアリングを試しています。そこでいろいろと感じることがありましたので、いちユーザーとして、「機械学習を使った予測スコアリング」を利用する立場からの意見をまとめてみます。

予測スコアリングとは

機械学習を使った「予測スコアリング」は、いろいろ製品も出ており、とてもにぎやかな市場です。ガートナーさんのマルチチャネルキャンペーン管理でも、予測スコア(predict score)はかなり言及されています。

機械学習を使った予測スコアリングを乱暴に説明すると、「ウェブページ閲覧履歴やメール履歴などのマーケティングデータ(説明変数)と、CRM/SFAにある購買情報(目的変数)をツールに渡せば、受注できるかどうかを自動でスコアリングしてくれる」というものです。

「このページを見たら3点で、メールクリックで1点。あ、リクルートページは減点で-3」などと手作業でやっていたスコアリングを、機械学習で自動化してしまおうって寸法。

AMLでカジュアル予測スコアリング

機械学習を使った予測スコアリングは、特別に高価なツールなんて使わなくても、手軽に試すことが可能です。

そう、AWSならね。

aws.amazon.com

AML(Amazon Machine Learning)なら、機械学習を使った予測スコアリングを試すのに必要なコストは数百円です。CSVをつくってアップロードで完結するのでノンプログラミングでオッケー。(まぁ、すぐにpythonが必要になりますけどね)

なんていうか、スゴイ時代になったものです。

気軽にはじめて改善で詰む

気軽には試せるんですが、気軽には成果が出てくれない。改善フェーズでしねます。

データサイエンティストがいれば違うのでしょうが、多くの企業(部門)にはいないですよね。

この状況で「予測スコアリングやりましたが…… 結果ダメでした」ってなると、効果的な改善策が思いつかないという状況がやってきます。

仕方なく改善のために、データソースを変えて、オペレーションを回し続けるという暗く長いトンネルにはいりますが、これが望んでいた未来でしたっけ?

オペレーションを回すためにデータソースを変えようにも、「データが機械学習向きになっていない」問題がやってきます。

メールクリックで考えてみます。うまく機械様に学習してもらうには、「半年以内にメールをクリックした回数」なんて情報では成果をだしてくれません。

機械様に成果をだしてもらうためには、メールクリックに意味を持たせたいです。「これはメルマガのクリック」、「これは属性情報で絞り込んで送ったオファーメールのクリック」、「こっちは履歴情報で絞り込んだフォローメールのクリック」みたいに。

でも、そもそもクリックデータにそんなメタデータなんぞはないんです。

解決するためには、メールクリックなどの履歴情報にメタデータを付与する必要があるんですが、誰がするのでしょうか。それ。

メタデータの整理には、ビジネスドメインの知識と適切な問題設定ができる人がいるんですが…… そんな人どこにいるの? いたとしても、その人を予測スコアリングの準備のために働いてもらうの?

(ディープラーニングであれば、CRM系データのように少ない情報でも自動的に特徴抽出をしてくれるんだろうか? 偉い人に教えてほしい)

費用対効果を考えると……

機械学習に取り組むコストは非常に下がっていますが、運用しようとすると、かなりの労力が必要です。

こうなると「予測スコアとメールA/B、どっちが効果が高いのかな」って遠い目をしだします。予測スコアがそこそこ精度出したとしても、同じ時間をかけるなA/Bテスト繰り返した方がコンバージョン獲得できて会社の収益に貢献できるのでは、と思ってしまうのが人情です。

そもそも、スコアで定量評価しても、コンテンツが糞なら1ミリも課題は解決しないしね。これは予測スコアリングだけでなく、ルールベースのスコアリングについても同様なんですが。

あと、この人は89点とか言われても、その人(たち)に響くコンテンツを作る役にはたたないのも痛い。

DMPのオーディエンス拡張に似ている

現在の予測スコアリングのおかれている状況、なにかに似ているな、とおもったら少し前の「DMPによるオーディエンス拡張」なんですよね。

「あなたのCRMデータに似ている人に広告配信しましょう」って。複雑だけど新しいものって、興奮するんですよ。取り組んでいるだけで頭が良さそうにみえるし…… ごめなさい。

成果が出ているときはいいんですよ。「いやー、やっぱりテクノロジーは偉大だねー」なんておいしくお酒が飲める。

でも、成果がでなくなった途端に詰むんです。「そもそもさー、どうやって似ているって判断しているわけ、間違ってんじゃない。」なんて話が急にくる。でも、よくわかってないからキチンと説明できない。

そうなると「普通のディスプレイで、シンプルにクリエイティブA/Bを繰り返していけば?」って言われてしまって、ぐぅの音もでなくなる。なにより、負けが続くと、理解できずに説明が難しいものよりも、シンプルで素早く繰り返せるもので取り返したくなりますよね。

結論、成果をもとめるなら今じゃない

否定的な事ばかり書いていますが、5〜10年スパンでみれば、予測スコアリングは重要なマーケティングツールになってくると思うんですよ。結構本気で。

なにかアクションするまえに、事前に結果を予測してくれるかもしれない。あなたがこれから打つメールでコンバージョンするスコアは◯点みたいに。

ただ、ユーザーとして予測スコアリングに取り組むなら、今はやめたほうがいい。あと数年は「俺はアーリアダプターなんだ!」という自尊心以外得るものが少ない気がします。

もういちど。成果をもとめるなら今じゃないです。まあ、やれば勉強になるし楽しいですけどね :)

ツールとしてはA/Bテストのように機械学習モデルをつかいたい

分からないなりに取り組んで分かったのは、「機械学習をつかった予測スコアリングで成果を出すためには、説明変数をいろいろ試して運用していく必要がある」ということ。

予測スコアリングツールにいきなり成果がでるモデル構築を期待するのは無理筋だという事です。

それでもナウでちゃんと使いたいと考えると、予測スコアリングツール側にリフトアップの仕組みが欲しいです。A/Bテストツールのように複数モデルを同時に走らせて成果が良い方を選択できるようにする仕組ね。こうなっていると、ディスプレイ広告のクリエイティブのように機械学習のモデルを扱えます。

複数同時モデルを走らしてパフォーマンスが高い方を採用する、というリフトアップを繰り返していく事が可能になり、継続的なオペレーションを組むことが可能になります。

バッチ型の機械学習しか試していないので、このような結論になるのでしょうか。オンライン型の機械学習ならこの辺りは解決するのでしょうか。教えてほしい。

人工知能は人間を超えるか (角川EPUB選書)

人工知能は人間を超えるか (角川EPUB選書)

データサイエンティスト養成読本 機械学習入門編

データサイエンティスト養成読本 機械学習入門編

  • 作者: 比戸将平,馬場雪乃,里洋平,戸嶋龍哉,得居誠也,福島真太朗,加藤公一,関喜史,阿部厳,熊崎宏樹
  • 出版社/メーカー: 技術評論社
  • 発売日: 2015/09/10
  • メディア: Kindle版
  • この商品を含むブログを見る

オンライン機械学習 (機械学習プロフェッショナルシリーズ)

オンライン機械学習 (機械学習プロフェッショナルシリーズ)