PLAID Engineer Blog

PLAID Engineer Blog


PLAID Engineer Blog

Bit Matrixを使って超高速にアグリゲーションする

プレイドの @nashibao です。 弊社は大量のログデータを収集し、人軸で解析するサービスを展開しています。収集したデータの利用方法には様々な目的と様々な手法がありますが、そのうちの大きな一つに、中・大規模のデータに対して、アドホックなクエリをインタラクティブにかけアグリゲーション結果を得る というものがあります。 このようなアグリゲーションの問題において、クエリの自由度 x データ規模 x レイテンシーを共存するのはなかなか難しい問題になります。(1) 元ネタは結構有名かと思いますが、Square が開発している、CrossfilterGitHub - crossfilter/crossfilter: Fast n-dimensional filtering and…

Naoki ShibayamaNaoki Shibayama

AWSとGCPのマルチクラウドインフラ検証の進め方

こんにちは!プレイドの@ikemonnです。 前回はAWSとGCPをVPNで接続した話をしました。 今回はGCPでの検証を行った際の進め方について説明していきます。 インフラを作り込みすぎずに検証したことで、早めに想定外のボトルネックに気づくことができ、予定していなかったインフラ構成の変更が必要であることが確認できました。 マルチクラウドインフラを構築する際には「小さく始めて、検証できる環境を作る」ことがポイントになります。 目次 小さく始める 検証する まとめ 小さく始める 最初に検証するサーバの選定 今回は下記の3点を基準にどのサーバをまずGCPへ移行するかを選定しました。 お客様への影響が少ないサーバ GCPへ移行のメリットが大きいサーバ(パフォーマンス向上…

Daiki MatsuiDaiki Matsui

AWSとGCPのマルチクラウドインフラにおけるVPN設計のポイント

みなさん、ごきげんよう。プレイドの@tik-sonと申します。 前回のエントリーでは、 弊社のKARTEで、インフラにはAWSとGCPの2つのクラウドプラットフォームを組み合わせ、マルチクラウドインフラとして利用しているというお話をいたしました。 今回のエントリーではその中から、「AWSとGCPをVPNで接続した」内容についてフォーカスして 各クラウドプラットフォームでのVPNの仕様 KARTEではどのようなVPN設計にしているのか 等をお話したいと思います。 目次 VPNを用いる理由 AWSとGCPのSubnetの違い VPNを接続する 可用性を考える パフォーマンスを考える VPN周りの設計について 悩まされたこと 最後に VPNを用いる理由 前回のエントリーで、マル…

NaohikoTakemuraNaohikoTakemura

AWSとGCPでマルチクラウドインフラを構築した話とそのポイント

ごきげんよう。プレイドの@tik-sonと申します。 みなさんはクラウドプラットフォームを利用していますか? 弊社のKARTEは 秒間3000イベントをリアルタイムで解析 累計解析ユーザがリリースから2年で12.5億 https://karte.io/infographic/2017.html という規模のサービスになっています。 そこで動いているインフラもそれなりに大規模になっており、インフラをいかに改善していくかが事業進捗に大きく関わってきます。 そのインフラを改善する試みとして半年ぐらい前から、AWSとGCPの2つのクラウドプラットフォームを組み合わせ、マルチクラウドインフラとして利用しています。 PLAID Enginner Blogでは複数回に渡ってマルチク…

NaohikoTakemuraNaohikoTakemura

データの可視化に使えるD3.jsでユーザーのページ遷移を表現してみた

こんにちは、プレイドの@wikrshです。 弊社のKARTE では属性データやサイト上での行動情報など様々なデータを元に来訪したユーザーの状況をリアルタイムに可視化しており、どのような情報の見せ方をすればよりユーザーへの理解を深められるのか、社内では日々議論・改良を重ねています。 今回は現在KARTEで行っているものとは異なる表現を実験してみたい + アニメーションを作るのが面白そうという動機で、「各ユーザーがサイト内の各ページを遷移している様子」の可視化に取り組んでみましたので紹介いたします。 作成するアニメーションのイメージ 各ページをノードとして表し、ユーザーを表すノードが各ページのノードを移っていく形で表現することを考えました。 /page1を見ていたあるユーザー…

Wataru IkarashiWataru Ikarashi