カテゴリ:
Data Mining
「ビッグデータ」という言葉を聞かない日はないくらいの馬鹿騒ぎで、データマイナーはすっかり引く手数多の職業になりました。ただ、SI業界がこれまでムーブメントを起こしてきた数々のワードと同様、多くの"ビッグデータプロジェクト"は失敗することになると思います。ERP, BPR, BI, CRMなどなど…

ビッグデータにまつわる職業の中でも、データを分析するデータマイナーに絞っての話をしたいと思います。また、データ分析専門会社にてコンサルティング業をするデータマイナーは今日の話は当てはまりません。さて。データマイニングを知らない方々は、企業においてどのようなデータマイナーがいれば成果を上げられるのかの明確なイメージは持っていないと思います。これだけたくさんのデータがあるんだから、すごい技術を持った人ならなんとかしてくれるに違いない、と。最高学府の修士・博士で、よくわからないけどすごいアルゴリズムを作ったらしい人を採用すれば、きっと何かすごいことが起きるのではないかと。でも多くの場合、成果を上げるデータマイナーは技術や頭脳ではなく、ビジネスを理解しているデータマイナーだなぁと、個人的な少ないサンプルでの検証結果からはそう思います。

天才的な頭脳を持ったデータマイナーと、ビジネスを理解したデータマイナーは別の職種と言うべきで、それぞれ成果を出せるフィールドは全く異なります。特定用途をうまくこなす目的のアルゴリズムを考え出す人と、ビジネスを目的としてアルゴリズムをひとつの手段として使う人の違いと言い換えられるかもしれません。

たとえば、Googleの検索エンジンは前者の賜物です。ユーザーが入力したキーワードに対して、適切なURLをランキングするという、超ピュアな技術。一方、Googleのアドワーズは後者の賜物です。CPC x 品質スコアという仕組み、そして品質スコアの算出式。それによって数多の人間はどう入稿設定し、広告設定DBはどういう状態になり、クエリごとにどう広告ランキングが構成されるのかを想定しながら仕組みを作る。ここではデータマイニングは入力変数なだけであって、ほとんどは制度設計がポイント。

企業で本当に必要とされている職能は、ほとんどの場合はピュアな技術ではなく、データマイニングを活用した制度設計にあるのではないかと思います。（メカニズムデザインという言葉の方が適切なのかしら。）データマイニング技術の小さな差がビジネス上大きな差を生む領域はレアで、データマイニング結果をどうブレンドしてどう使われるかが勝負を分けていることが圧倒的に多いと思う。数字をビジネスに落とし込むためのルール作りとでもいいましょうか。

たとえば、5年くらい前までのアドネットワークというのはコンテンツマッチの精度が云々という議論はあったのだけれど、結局は広告DBがどれだけ充実させられるビジネスの仕組みなのかの勝負だった。そして勝者のみポジティブフィードバックに入る。（ちなみにコンテンツ認識技術と広告とのマッチングというのは全くの別物。前者がピュアな技術。）それが、行動ターゲティングによってルールが根底から覆る。さらに、オーディエンスターゲティング×RTBによってもう一回根底からひっくり返った。あっという間に。オーディエンスが何に興味関心を持っているかを判別するのはピュアな技術だけど、それをどう広告と結びつけていくらで入札するシステムを設計するかはビジネスを知らないとできない。

データマイナーを募集している企業の多くはデータを分析できる人がいないから採用したいのだと思いますが、採用するときにはここを間違えると痛い目に遭うと思います。ビジネス感覚の無い/ビジネスに興味の無いデータマイナーを雇うと苦労するし、逆に天才的頭脳を持っていない僕ら一般のデータマイナーはビジネスをわかってないとブームが去った後に路頭に迷っちゃうから現場に出ましょうねと。