※ 2020-04-09 追記本記事に「スロット消費は実行時のサービスアカウントに紐づく」という内容で一部実際の仕様とは異なる・誤解をまねく内容があったため、一部内容を修正・加筆しました。（修正後は「スロット消費はデータのあるプロジェクトと別にできる」という見出しになっています） こんにちは。エンジニアのg0eです。 今回は、6,000スロットを使うBigQueryのリソース配分最適化への挑戦と題して、Google BigQueryの主にスロット周りの話について書いてみたいと思います。 背景当社ではプロダクトの中でBigQueryをかなりヘビーに活用しています。どのような使い方をしているか、どのような工夫をしているか、については「プレイドのCTOが登壇しました！ 〜G…
g0e
こんにちは、エンジニアの @kargo @nichimu です。KARTEのDatahubというプロダクトに携わっており、KARTEのデータ及びお客様のデータを活用したプロダクトの開発を行っています。 今回は、KARTEにおいて活用しているコンテナネイティブのワークフロー基盤であるKubeflow Pipelineの組み込みについての概要をご紹介したいと思います。 Kubeflow とはここ数年でMLOpsという言葉が浸透するようになり、機械学習の実運用についての具体例がたくさん見受けられるようになりました。 Kubeflow はそのような機械学習の実運用をスムーズに行うためのオープンソースのプラットフォームです。Kubernetes上で動作することを前提とされているので…
akira.kasuga
こんにちは、エンジニアの @komukomo です。2020/01/30 に行われた Google Cloud Anthos Day に 「GKEにおけるセキュリティ対策と運用」というタイトルで登壇させていただいので、こちらのブログでもその内容を簡単にまとめておきます。（他の登壇者の方の資料も公式サイトにて公開されています） 我々が開発している KARTE ではユーザの行動データを扱っており、その中にはセンシティブなデータも含まれているので KARTE を開発する上ではセキュリティというのは重要なトピックです。ということで今回お話したのはセキュリティに関する内容で、直接プロダクトの KARTE とは関係ないのですが、 GKE でのセキュリティに関する考え方 と、個別機…
Yoshiyuki Komazaki
こんにちは、makinoy & positiveflat & tik-son & nichimuです。 7/30-8/1にかけて開催された Google Cloud Next Tokyo ’19に参加してきたので、その様子をご紹介したいと思います。紹介と言いつつも、Cloud Nextでのセッションの内容のシェアではなく、Cloud Next開催中にPLAID社員がどのような動きをしていたかについてシェアしたいと思います。 Google PM陣とのミーティング ＠PLAIDオフイス PLAIDではCloud BigTableを始め、NoSQLのデータベースを多く使っているということもあり、Cloud BigTable、Memorystoreなど…
Yuta Nishimura
こんにちは、PLAIDのエンジニアのgamiです。趣味はポッドキャスト配信です。 さて、先日2019/6/10(月)に、縁あってDeNAさん、Google Cloud Japanさんと共同でクローズドなGCP勉強会を開催しました。 PLAIDではリアルタイムユーザー解析サービス「KARTE」の開発や提供に、GCPの各種サービスをヘビーに使っています。今回の勉強会では、同じく様々な事業でGCPを早くから採用してきたDeNAさんと、有意義なディスカッションをすることができました。 この記事では、そんなGCP勉強会の様子をご紹介します。 乾杯から始まる勉強会 クローズドでカジュアルな勉強会ということで、集まっていきなり乾杯をしました。PLAIDの人工芝での開催なので、野…
Jumpei Ikegami