PLAID Engineer Blog

PLAID Engineer Blog


KARTEを提供する株式会社プレイドのエンジニアブログです。プレイドのエンジニアのユニークなパーソナリティを知ってもらうため、エンジニアメンバーたちが各々執筆しています。

PLAID Engineer Blog

BigQuery

6,000スロットを使うBigQueryのリソース配分最適化への挑戦

※ 2020-04-09 追記本記事に「スロット消費は実行時のサービスアカウントに紐づく」という内容で一部実際の仕様とは異なる・誤解をまねく内容があったため、一部内容を修正・加筆しました。(修正後は「スロット消費はデータのあるプロジェクトと別にできる」という見出しになっています) こんにちは。エンジニアのg0eです。 今回は、6,000スロットを使うBigQueryのリソース配分最適化への挑戦と題して、Google BigQueryの主にスロット周りの話について書いてみたいと思います。 背景当社ではプロダクトの中でBigQueryをかなりヘビーに活用しています。どのような使い方をしているか、どのような工夫をしているか、については「プレイドのCTOが登壇しました! 〜G…

g0eg0e

BigQueryの監査ログは役に立つ

BigQueryの監査ログは役に立つ PLAID Engineerの 原田(@harada_hi) です。 弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。 今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。 集計を実施する上で確認したい内容 BigQueryはSparkやHadoopを組み合わせて実施していた集計処理を賄うことが可能です。 前述のとおりPLAIDにおいてもユーザーの行動データをBigQueryに収集し、クエリを実行して集計を実施しています。 BigQueryで集計を行う上で次のような点を確認したい場面があります。 各集計クエ…

Hiroto HaradaHiroto Harada

プレイドのCTOが登壇しました! 〜Google Cloud Next '19 in SFレポート〜

こんにちは、tarr & positiveflatです。つい先日サンフランシスコで開かれたGoogle Cloud Next '19にPLAIDメンバー6人で参加してきたので、その時の話を書きたいと思います。 …とは言うものの、実はセッションはほぼ聞かなかった聞けなかったのでセッションの内容のシェアではなく、2つのセッションのスピーカーとして登壇したり、サンフランシスコに様々な関係者が集まるのでそれを利用して、様々な深い会話をすることを目的として参加してきました。 今回は、先週にかけて行われたGoogle Cloud Next '19に「PLAIDのメンバーがどういった動きをしたのか」を中心として、PLAIDがGoogleと深く関わりながらGoogleの技術を生か…

Yohei NodaYohei Noda

Bigqueryの内部処理について徹底解剖してみた

プレイドの @nashibao です。 弊社では結構BigQueryを使い倒させていただいていて、社内向けのバッチ解析やChartIO/ModeAnalytics等を介した社外向けのレポーティングとしての利用だけでなく、ABテストなどの集計系では(Query数のコントロールのためにキャッシュは介していますが)ほぼ直接アプリケーションのバックエンドとして利用しています。 またStreaming Insertが思ったより安定しているので、ニアリアルタイムにイベントを反映することができ、適当なQueryを投げ込んでPBの集計を気軽にやって、数百万使って唖然としてとりあえず寝て忘れる、みたいなことをしています。 先日も"GCP NEXT World Tour in…

Naoki ShibayamaNaoki Shibayama