2014年10月

2014/10/29

分析には経験と勘が必要な理由

さて。再びブログをなんとしてでも習慣づけるべく、気持ちを奮いたたせて書いてみます。

オプトさんのData Science Labo(DSL)にて開催されているデータ分析のコンペで「ネット広告のクリック予測」というのを発見したのでネタにさせていただきました。

このコンペは、そのインプレッションがクリックされるか否かを分析によって予測するものですが、変数が覆面になっています。おそらく、メディアのIDだとかメディアのカテゴリだとかのIDやフラグだと思うのですが、どの数字が何を示すデータなのかはまったく示されていません。分析を知らない方にとっては「そんなバカな」かもしれないですが、分析はできてしまいます。ただし、こういった覆面データの分析は、"アルゴリズムの評価"という意味では有用なのだけれど、"その人がビジネスで成果を出す能力があるかどうかの評価"は難しいのであるよ、ということを思い出してペンを取った次第です。

分析アルゴリズムを産み出すアカデミック世界では、覆面だろうが同じデータを違うアルゴリズムにかけて、どれだけ正確に予測できたかというのは非常に正しい測定方法です。ただ、ビジネスを生業とするデータサイエンティストにとって最も重要なのは、(業界の)経験と勘から効果的な新しい変数を作って、最終目的を達成させることだと思っています。

以前、米国でNetflixだったと思いますが、映画のレコメンドエンジンのコンペがありました。実際の条件は見ていないのでわからないですが、映画名が明かされているのであれば標準的に振られる変数である「SF」「コメディ」みたいなカテゴリ だけじゃなく、「サブカル系」「小学校低学年向け」みたいな変数を勝手に作ってアルゴリズムにぶっこむことができる。たとえば、『近キョリ恋愛』というタイトルがあればそれをキーにして、山Pが出てて、ジャニーズフラグ立ってて、女子中高生純愛系で、少女漫画が原作で、みたいな情報をどんどん引っ張って突っ込む。最初に貰ったデータを外の世界のデータと繋いで、精度を改善できる。仮に映画のタイトルが『映画xyz』みたいに匿名化されてると、こうしたことができなくなる。

これはネット広告でも一緒で、どのURL/アプリのどの広告枠でといった情報が無いと、外の世界のデータと繋ぐことができない。ここが勝負を分けたりする。ここで暗に言っているのは、SSPからのRTBリクエストとして飛んでくる変数をログにした行列をそのままアルゴリズムにかけても、なかなか難しいということです。アルゴリズムをあれやこれや試すよりも、新しい変数を作って試すほうが有益なことは多々あるわけで。

たぶん今、経営者が"ビッグデータ"をビジネスに繋げる"データサイエンティスト"に求めるものは、目の前にある素材をどう調理するかを考える人じゃなくて、手元に無い素材は仕入れられる人なんじゃないのかなと、漠然と思うわけです。いわば『鉄腕DASH人材』。

最後までお付き合いいただいた方はもうお気づきかと思いますが、オプトさんのコンペの件とは何の関係もないお話でございました。私も以前、コンペを企画しようと考えたのですが、映画などのエンタメとは違ってほとんどの情報を覆面化せざるを得ないので諦めました。本当に分析コンペ運営は難しそうです。同様に、機密性の高いデータ分析を外部に委託する場合にも覆面化せざるを得ない場面があると思いますが、そこで成果を出すというのもなかなかに難しい問題であります。(ユーザーIDの類は匿名化は必須です。変数そのもの覆面化について。)



2014/10/03

マイクロアドを退職しました

2014年10月1日を最終出社日として、株式会社マイクロアドを退職しました。(株式会社サイバーエージェントは8月末日付で退職。)

大企業に染まりたくない一心で新卒2年目のNTTコミュニケーションズを飛び出したのが9年前。インテリジェンスから紹介されたサイバーエージェントという会社は、当時近鉄バッファローズ買収を仕掛けていたホリエモンの文脈で出てくるIT系の胡散臭い会社というくらいの認識でした。当時は今のキラキラ系とはちょっと違う、若手がグイグイやってる感じのイメージだったと思う。

そこで配属されたBlogClickプロジェクトは、ビジネスディベロップメント、システム屋、進行管理さん、そして一ヶ月前に入社した営業という事実上4名しかいない、生まれたての部署でした。ここに二人目の営業として入ったのです。入社早々、東大卒ですと自己紹介しろと強制されたり、理不尽に激ヅメされたり、モラルが無かったりと、あまりの前職との違いに戸惑ってはいたものの、このルールの無さはまさに求めていたものでした。ひどいけど、間違ってない。いや、間違ってるけど、これが求めるものでした。形骸化したルールというものが一番嫌いな人間にとって、無法地帯ではあるものの合目的的であるそこは天国であったわけです。

しかし、営業していてやはり気づくわけですね。他社媒体と比べてBlogClickはCPAが10倍くらい悪いと。そこでコンサルティングと称してデータを細かに見ていくと、今度は運用ではどうしようもない、根本の問題だと気づくわけです。むくむくとプロダクト自体を改善したいという思いが強くなって、俺が作ってやると勝手に思いはじめ、勝手に統計学やデータマイニングを勉強したら、後から職種がついてきた。気づけば、今で言う"データサイエンティスト”になっていました。

コンテンツ連動アルゴリズムの改善に始まり、行動ターゲティングのエンジンをリプレース、アドネットワークの広告選択ロジックをリプレース、そしてBLADEの企画から入札最適化エンジンとターゲティングエンジン構築へと、どんどん大掛かりなものになっていきました。BLADEの数字は毎日伸びていきました。竹の子みたいに。

立派に育った竹林をふんふんと眺めていたある日、一転新規事業をやることになりました。キノコを育てることになったようなものです。2013年の冬以降、半年以上BLADEのソースコードには一切触れていないにも関わらず、日々安定的に収益を上げ続けているのを見て、もう卒業だなと考えるようになりました。

いや、それは綺麗に言い過ぎました。本当は、サラリーマンとしての自分の戦闘能力の低さを痛いほど感じるようになったのが、このタイミングで離れる理由です。薄々気づいてはいたものの、サラリーマンとして出世競争を勝ち抜くDNAを持ってないことに33歳にしてはっきり自覚してしまったわけです。

自分の信じるものを作りたいので、まずは独立してみることにしました。データ分析の環境としては、マイクロアドは日本有数の良い環境だと思います。分析環境だけでなく、それをささえるフロント&ミドル&インフラのエンジニア、理解のある経営陣、さらには営業、バックエンドも優秀なプロフェッショナル揃いで、このチームを一からつくり上げるのは途方も無く大変だなと、真っ白な自分の計画を見て呆然としながら思います。しかし、このまま大企業で(能力として劣っている)サラリーマンとして逃げ切るよりも、独立した方が生涯の累計満足は大きいであろうと、リトル・ノグチのアルゴリズムは算出しました。

この9年間は、今までの人生の中で最も濃密で、エキサイティングなものでした。老人になった時に、この時代を誇らしげに語るのではなく、これから始まる時代を誇らしく語れるよう、頑張っていきます。