PLAIDEngineer Blog
エンジニア積極採用中

WebDB Forum 2016 で独自解析エンジン「Brook」の技術報告をしてきました

Hideyuki Okada

Posted on

こんにちは。プレイドインターンの岡田です。

2月初めごろからエンジニアのインターンをさせていただいています。
未経験で飛び込んだエンジニアでしたが、優しく面白い社員さん達に技術を教わりながらbugfixや機能追加などのお仕事をさせていただいてます。

さて、今回はプレイドの講演があったので、9月13日(火)に慶應義塾大学 日吉キャンパスで開幕したWebDB Forum 2016に参加してきました。その様子をご紹介します。

WebDB Forumとは

WebDB Forumは情報処理学会データベースシステム研究会、日本データベース学会、電子情報通信学会データ工学研究専門委員会が主催で、WebとDB技術に興味のある研究者、大学院生、学部生、企業やオープンソースコミュニティの技術者が最新研究動向や成果について議論し、交流を行うイベントです。

参加者は例年300から400人で、半数以上はWebとDB技術において最先端の研究を行っている大学院生・学部生のようです。

プレイドはこのイベントのスポンサーをさせてもらっているので、受付後にもらえる紙袋やパンフレットの裏に社名が載っています！Googleや東芝と並んでいるのが嬉しいですね！

WebDB Forumの様子

テーマはビッグデータ、IoT、機械学習、データ分析、データ構造など様々で、テーマごとにいくつかの会場に分かれて同時に複数のセッションが行われていました。


技術報告のほかに招待講演「ビッグデータと秘密計算」と「データ処理基盤」のセッションを聴講しましたが、どちらも質疑応答の時間にアツい議論が交わされていて圧倒されました。

休憩時間には大会議室前で飲み物と軽食が提供され、企業の方と学生が交流している様子や、聴講を終えた人たちがコーヒーを飲みながら意見を交わしている様子などが見受けられ、とてもいい雰囲気が漂っていました。

学生なら無料で参加できますし(学生証提示が必要です)、先生方の研究発表や企業の方の技術報告などが聞けて交流もできるなんて、とても素敵なイベントです。WebやDB技術に興味のある学生は次回、参加してみてはいかがでしょうか。

プレイドの技術報告紹介

「GCP NEXT World Tour in Tokyo」でプレイドのGCP活用事例を紹介した@makinoyが「ビッグデータの高速・分散処理」というテーマでKARTEの解析エンジンについて技術報告をしました。(当ブログでも大規模データを解析するストリーミングアルゴリズムをサクッと見てみるの記事を書いています)

タイトルは 「大規模分散リアルタイム解析エンジン Brook」

私たちが提供している「KARTE」は、Webサイトへの訪問者をリアルタイムに可視化し、会員登録や購買に繋げるためのウェブ接客を可能にするサービスです。

KARTEはリリースから1年半で累計ユーザー数5億UUを解析してきました。

今回は、そのKARTEを支える独自解析エンジン「Brook (ブルック)」の紹介をします。

Webサイト上で現実のようなコミュニケーションをするためには、 「いま」の来訪者がどういう人で、どういう行動をしているのかを知る必要があります。


それを実現するためには最新のユーザーの解析結果を計算し、結果に応じたアクションを決定するための時間を0.x秒にしなければなりません。

通常、データの解析には大きく2つの方法があります。

  • 数時間〜数十秒で大量のデータをMapReduceするバッチ処理
    • BigQuery、 Prest、Spark、Hadoop
  • 1秒以内で直近の短期間少量のデータをMapReduceするストリーミング処理
    • Spark Streaming、Storm

これらの技術では、Web上でリアルのようなおもてなしをするために1秒以内に大規模な蓄積データの解析結果を返すこと、またその結果を使ったアクションの実行を可能にしたいという想いを実現することができませんでした。

そこで、それを可能にするために開発したのが「Brook」です。

Brookではあらかじめ解析軸を一つだけ定義しておくことによって次のことを可能にしています。

  • 実時間(秒以内)で、イベントログ送信と同期的に結果整合性のある解析結果に基づいたアクションができる
  • 解析軸は固定だが、スキーマレスな解析、次元数が多い大きめのデータを扱える
  • 全てが分散化されているので大規模のデータを扱えスケーラブルである

解析軸を複数設けずに1つに制限することで、0.x秒で全データの解析処理を行うことができ、KARTEでのリアルタイム接客が可能になっているのです。

20分の発表でしたが、他にもデータフロー、Hadoopと比較したBrookの特徴、スキーマレス統計処理、解析に用いているアルゴリズムなど、盛りだくさんの内容でした。
学生さんをはじめ、聴講に来ていただいた方々ありがとうございました！

以上、WebDB Forumとプレイドの技術報告の様子をご紹介させていただきました。

KARTEやBrookのことを少しは伝えられたでしょうか。
今回はあまり紹介できませんでしたが、KARTEやBrookの技術をもっと知りたい方は、ぜひプレイドのオフィスに遊びに来てください！

最後に

ウェブ接客プラットフォーム「KARTE」を運営するプレイドでは、 KARTEを支える技術に興味を持つエンジニア（インターンも！）を募集しています。

詳しくはこちら（Wantedly）をご覧ください。 もしくはお気軽に、こちらの「話を聞きに行きたい」ボタンを押してください！