PLAID Engineer Blog

PLAID Engineer Blog


KARTEを提供する株式会社プレイドのエンジニアブログです。プレイドのエンジニアのユニークなパーソナリティを知ってもらうため、エンジニアメンバーたちが各々執筆しています。

PLAID Engineer Blog

streamingalgorithm

ストリーム処理を1からKappa Architectreまで学ぶ

エンジニアの @mkataigi です。ついにエンジニア定年説の定年を迎えましたが、まだまだバリバリのエンジニアをやってくつもりでおります。 KARTEをシステムの側面から見た場合、大量のイベントデータという、いわゆる「ストリームデータ」を処理するシステムになります。今回は、KARTEの成り立ちを理解するために、そもそもストリームデータとは何者なのか、ストリームデータはどのような特性を持っていて何が大変なのかを理解して、ストリーム処理ではその大変さについてどのようにアプローチしてきたのか、そのシステムの発展について解説してみたいと思います。 ストリームデータを理解する まずシステムの説明に入る前に、そもそもストリームデータとは何なのかについて理解していきたいと思います…

Makoto KataigiMakoto Kataigi

WebDB Forum 2016 で独自解析エンジン「Brook」の技術報告をしてきました

こんにちは。プレイドインターンの岡田です。 2月初めごろからエンジニアのインターンをさせていただいています。 未経験で飛び込んだエンジニアでしたが、優しく面白い社員さん達に技術を教わりながらbugfixや機能追加などのお仕事をさせていただいてます。 さて、今回はプレイドの講演があったので、9月13日(火)に慶應義塾大学 日吉キャンパスで開幕したWebDB Forum 2016に参加してきました。その様子をご紹介します。 WebDB Forumとは WebDB Forumは情報処理学会データベースシステム研究会、日本データベース学会、電子情報通信学会データ工学研究専門委員会が主催で、WebとDB技術に興味のある研究者、大学院生、学部生、企業やオープンソースコミュ…

Hideyuki OkadaHideyuki Okada

大規模データを解析するストリーミングアルゴリズムをサクッと見てみる

こんにちは、プレイドの @makinoy といいます。 私たちはKARTEというサービスを提供していますが、解析色が非常に強いサービスなので社内では解析周りのアルゴリズムの利用検討をよく行っています。 その流れで、最近ストリーミングアルゴリズムについて検討したので、代表的なものをちょっとここで書いてみることにします。 この紹介では、”大規模データ解析のためのストリーミングアルゴリズムをサクっと見てみる”をテーマにしようと思います。 ストリーミングアルゴリズムとは、一連のデータの流れであるストリームを処理するアルゴリズムです。 データは次々にやってくるので、基本的にひとつのデータ単位(イベント)に対して1回だけ処理をするのが特徴です。大量なデータを処理するために、…

Yuki MakinoYuki Makino