こんにちは、エンジニアの @kargo @nichimu です。KARTEのDatahubというプロダクトに携わっており、KARTEのデータ及びお客様のデータを活用したプロダクトの開発を行っています。 今回は、KARTEにおいて活用しているコンテナネイティブのワークフロー基盤であるKubeflow Pipelineの組み込みについての概要をご紹介したいと思います。 Kubeflow とはここ数年でMLOpsという言葉が浸透するようになり、機械学習の実運用についての具体例がたくさん見受けられるようになりました。 Kubeflow はそのような機械学習の実運用をスムーズに行うためのオープンソースのプラットフォームです。Kubernetes上で動作することを前提とされているので…
akira.kasuga
こんにちは、エンジニアの @komukomo です。2020/01/30 に行われた Google Cloud Anthos Day に 「GKEにおけるセキュリティ対策と運用」というタイトルで登壇させていただいので、こちらのブログでもその内容を簡単にまとめておきます。（他の登壇者の方の資料も公式サイトにて公開されています） 我々が開発している KARTE ではユーザの行動データを扱っており、その中にはセンシティブなデータも含まれているので KARTE を開発する上ではセキュリティというのは重要なトピックです。ということで今回お話したのはセキュリティに関する内容で、直接プロダクトの KARTE とは関係ないのですが、 GKE でのセキュリティに関する考え方 と、個別機…
Yoshiyuki Komazaki
こんにちは、makinoy & positiveflat & tik-son & nichimuです。 7/30-8/1にかけて開催された Google Cloud Next Tokyo ’19に参加してきたので、その様子をご紹介したいと思います。紹介と言いつつも、Cloud Nextでのセッションの内容のシェアではなく、Cloud Next開催中にPLAID社員がどのような動きをしていたかについてシェアしたいと思います。 Google PM陣とのミーティング ＠PLAIDオフイス PLAIDではCloud BigTableを始め、NoSQLのデータベースを多く使っているということもあり、Cloud BigTable、Memorystoreなど…
Yuta Nishimura
こんにちは、PLAIDのエンジニアのgamiです。趣味はポッドキャスト配信です。 さて、先日2019/6/10(月)に、縁あってDeNAさん、Google Cloud Japanさんと共同でクローズドなGCP勉強会を開催しました。 PLAIDではリアルタイムユーザー解析サービス「KARTE」の開発や提供に、GCPの各種サービスをヘビーに使っています。今回の勉強会では、同じく様々な事業でGCPを早くから採用してきたDeNAさんと、有意義なディスカッションをすることができました。 この記事では、そんなGCP勉強会の様子をご紹介します。 乾杯から始まる勉強会 クローズドでカジュアルな勉強会ということで、集まっていきなり乾杯をしました。PLAIDの人工芝での開催なので、野…
Jumpei Ikegami
BigQueryの監査ログは役に立つ PLAID Engineerの 原田(@harada_hi) です。 弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。 今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。 集計を実施する上で確認したい内容 BigQueryはSparkやHadoopを組み合わせて実施していた集計処理を賄うことが可能です。 前述のとおりPLAIDにおいてもユーザーの行動データをBigQueryに収集し、クエリを実行して集計を実施しています。 BigQueryで集計を行う上で次のような点を確認したい場面があります。 各集計クエ…
Hiroto Harada