<h2>BigQueryの監査ログは役に立つ</h2>
<p>PLAID Engineerの 原田(@harada_hi) です。</p>
<p>弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。<br>
今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。</p>
<h3>集計を実施する上で確認したい内容</h3>
<p>BigQueryはSparkやHadoopを組み合わせて実施していた集計処理を賄うことが可能です。<br>
前述のとおりPLAIDにおいてもユーザーの行動データをBigQueryに収集し、クエリを実行して集計を実施しています。<br>
BigQueryで集計を行う上で次のような点を確認したい場面があります。</p>
<ol>
<li>各集計クエリの実行時間</li>
<li>時間帯ごとの集計クエリの同時実行数</li>
<li>各集計クエリで使用しているslot</li>
<li>動的に生成される集計クエリそのもの</li>
</ol>
<p>1を確認したい理由はパフォーマンス確認の一つとしてです。<br>
2,3を確認したい理由は、BigQueryの制限によるものです。</p>
<p>Bigquery &gt; Documentation &gt; Quotas &amp; limits<br>
<a href="https://cloud.google.com/bigquery/quotas">https://cloud.google.com/bigquery/quotas</a></p>
<p>この中での<br>
<code>Concurrent rate limit for interactive queries — 100 concurrent queries</code><br>
が理由です。<br>
この制限に掛かっている場合、新規のインタラクティブ クエリを実行しようとすると強制的にエラーとなります。<br>
2は同時実行の数そもそもを確認して、現状で危険な時間帯はないかを確認するために必要です。<br>
3はこの制限にかかる潜在的なリスクを確認するためのものです。<br>
slotを使いすぎている集計が存在するとその集計がボトルネックとなり他の集計が終わらず同時実行数が増えてしまうことがあります。</p>
<p>4を確認したい理由は、何らかのバグを確認した場合やパフォーマンスが悪いことを確認した場合に該当のクエリがわからないと対策が打てないためです。<br>
変更のないクエリであれば問題になりませんが、動的にクエリを変更・生成している場合は重要です。</p>
<h3>BigQueryのデータアクセスログ</h3>
<p>上記で確認したい点はシステムからクエリを実行する以上、自前のログに書き込むことで確認は可能です。<br>
しかしBigQueryの監査ログには自動的に上記の確認したい情報が入るので自前で用意する必要がありません。</p>
<p>BigQueryを含めたGoogle Cloud サービスの監査ログ(Cloud Audit Logging)の詳細は次の公式ドキュメントが存在しています。</p>
<p>Stackdriver &gt; Documentation &gt; Logging &gt; Cloud Audit Logging<br>
<a href="https://cloud.google.com/logging/docs/audit">https://cloud.google.com/logging/docs/audit</a></p>
<p>この監査ログの中には以下の3つが存在しています。</p>
<ul>
<li>管理アクティビティログ</li>
<li>システムイベントログ</li>
<li>データアクセスログ</li>
</ul>
<p>このうちの<code>データアクセスログ</code>が上で記載している確認したいことをカバーしています。<br>
データアクセスログは各CRUD処理が全てログとして残ります。<br>
こうした特徴から出力する対象のサービスは任意で指定する必要がありますが、<br>
BigQueryに関しては標準で出力されています。</p>
<p>Stackdriver &gt; Documentation &gt; Logging &gt; Configuring Data Access Logs<br>
<a href="https://cloud.google.com/logging/docs/audit/configure-data-access">https://cloud.google.com/logging/docs/audit/configure-data-access</a></p>
<p>実際の確認方法は以下の2つです。</p>
<ol>
<li>Google Cloudが提供しているログビューワーからの確認</li>
<li>監査ログをGoogle Cloudサービスにエクスポートして確認</li>
</ol>
<p>推奨は2番目の<code>監査ログをGoogle Cloudサービスにエクスポートして確認</code>で、BigQueryに監査ログをエクスポートして確認することです。<br>
クエリで確認する情報を絞ることで調査を容易にすることにも繋げられる他、調査クエリを残しておくことで誰でも調査しやすい環境を作ることができます。<br>
ただしBigQueryで監査ログを確認していくには次の対応が必要となります。</p>
<p>BigQuery &gt; Overview &gt; Stackdriver Logging exports<br>
<a href="https://cloud.google.com/bigquery/docs/reference/auditlogs/#stackdriver-logging-exports">https://cloud.google.com/bigquery/docs/reference/auditlogs/#stackdriver-logging-exports</a></p>
<p>1のログビューワーでの確認は監査ログのデータ構成を確認するのに利用するのにおすすめです。<br>
これはBigQueryで監査ログを確認するにあたって監査ログのデータ構成を理解する必要があるためです。<br>
ログビューワーは次のURLで移動できます。<br>
<a href="https://console.cloud.google.com/logs/viewer">https://console.cloud.google.com/logs/viewer</a></p>
<h3>実際に活用しているクエリの紹介</h3>
<p>実際弊社で利用しているクエリを簡単にしたものを2つほど紹介します。<br>
{{}}で囲んでいるところを変更していただければ使えるようにしています。</p>
<h4>slotを消費しているクエリを確認する</h4>
<pre><code class="language-sql">WITH
{{project_id}} AS
(
  SELECT 
    '{{project_id}}' project_name,
    protopayload_auditlog.servicedata_v1_bigquery.*,
    protopayload_auditlog.serviceName as serviceName,
    protopayload_auditlog.methodName as methodName,
    protopayload_auditlog.resourceName as resourceName,
    timestamp
  FROM
    `{{project_id}}.{{dataset}}.cloudaudit_googleapis_com_data_access_{{timestamp}}`
),

{{project_id}}_COMPLETED_EVENT AS
(
  SELECT
    project_name,
    jobCompletedEvent.job.jobConfiguration.query.query as query,
    jobCompletedEvent.job.jobStatistics.createTime as jobCreateTime,
    jobCompletedEvent.job.jobStatistics.startTime as jobStartTime,
    jobCompletedEvent.job.jobStatistics.endTime as jobEndTime,
    jobCompletedEvent.job.jobConfiguration.query.queryPriority queryPriority,
    REGEXP_EXTRACT(jobCompletedEvent.job.jobConfiguration.query.query, &quot;\&quot;user\&quot;:\&quot;([^\&quot;]+)\&quot;&quot;) mode_user,
    jobCompletedEvent.job.jobStatistics.totalSlotMs as totalSlotMs,
    timestamp
  FROM
    {{project_id}}
  WHERE
    methodName = 'jobservice.jobcompleted'
)

SELECT
  FORMAT_TIMESTAMP('%Y-%m-%d %H:%M:%S', timestamp, 'Asia/Tokyo') timestamp_jst,
  TIMESTAMP_DIFF(jobEndTime, jobStartTime, MILLISECOND) / (1000 * 60) act_span,
  TIMESTAMP_DIFF(jobEndTime, jobCreateTime, MILLISECOND) / (1000 * 60) job_span,
  project_name,
  queryPriority,
  query,
  totalSlotMs,
  totalSlotMs / (1000 * 60 * 60) totalSlotHour,
  totalSlotMs / (1000 * 60 * 60 * 24) totalSlotDay
FROM
  {{project_id}}_COMPLETED_EVENT
ORDER BY totalSlotMs DESC
</code></pre>
<p>slotを消費した順にクエリを並べています。<br>
このクエリを元にして同時実行数が多くなっている時間帯を確認するなども行なっています。</p>
<h4>エラーを発生させたクエリを確認する</h4>
<pre><code class="language-sql">WITH
{{project_id}} AS
(
  SELECT 
    '{{project_id}}' project_name,
    timestamp,
    severity,
    protopayload_auditlog.servicedata_v1_bigquery.*,
    protopayload_auditlog.serviceName as serviceName,
    protopayload_auditlog.methodName as methodName,
    protopayload_auditlog.resourceName as resourceName
  FROM
    `{{project_id}}.{{dataset}}.cloudaudit_googleapis_com_data_access_{{timestamp}}`
),

{{project_id}}_COMPLETED_EVENT AS
(
  SELECT
    project_name,
    timestamp,
    severity,
    jobCompletedEvent.job.jobConfiguration.query.query as query,
    jobCompletedEvent.job.jobConfiguration.query.queryPriority queryPriority,
    jobCompletedEvent.job.jobStatus.error.message error_message,
    jobCompletedEvent.job.jobStatistics.totalSlotMs as totalSlotMs
  FROM
    {{project_id}}
  WHERE
    methodName = 'jobservice.jobcompleted'
    AND severity = &quot;ERROR&quot;
)

SELECT
  project_name,
  timestamp,
  severity,
  queryPriority,
  error_message,
  query,
  totalSlotMs
FROM
  {{project_id}}_COMPLETED_EVENT 
ORDER BY timestamp DESC
</code></pre>
<p>ユーザーの設定によって動的にクエリが生成される場合は意図していないエラーが発生することがあります。<br>
用意しておくことで調査をスムーズに進めることができています。</p>
<h3>まとめ</h3>
<p>BigQueryでは自動的に出力されている監査ログでも多くのことを調べることができるという紹介でした。<br>
実際に確認いただくと上で紹介した以外のことも確認できるということが見えてくるかと思います。<br>
BigQueryを利用したサービスを開発する上での参考になれば幸いです。</p>
<h3>最後に</h3>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい！ KARTE自体の開発に興味がある！というエンジニア（インターンも！）を募集しています。<br>
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a>または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>


Google Cloudサービスが提供しているBigQuery監査ログの活用方法。
実際に弊社で利用しているクエリも併せて紹介します。

BigQueryの監査ログは役に立つ | PLAID engineer blog

BigQueryの監査ログは役に立つ

<html><head></head><body><p>こんにちは！ エンジニアの@junkusaです。先日、PLAID社内で<a href="http://karte.io/" target="_blank" rel="noreferrer">KARTE</a>のセキュリティをテーマにしたセキュリティハッカソンを実施しました。</p>
<h2 id="セキュリティハッカソンの目的と背景">セキュリティハッカソンの目的と背景</h2>
<p>PLAIDは<a href="http://karte.io/" target="_blank" rel="noreferrer">KARTE</a>という「リアルタイムユーザー解析プラットフォーム」を提供していますが、KARTEではさまざまな種類のデータを扱います。<br>
KARTEのデータを安全に扱うために、PLAIDでは外部のセキュリティの専門家などとも協力して取り組んでいます。<br>
また“セキュリティ組“というセキュリティ強化に取り組むチームもできました。セキュリティ組では開発者自身がより深くセキュリティに取り組むのを手助けしています。</p>
<p>開発者自身で深くセキュリティに取り組むには、セキュリティについて深く理解する必要があります。<br>
そのため、まず自社のサービスであるKARTEにおいて何を防がなくてはいけなくて、どのようなセキュリティホールが生まれる可能性があるかを知る機会が必要と考えました。<br>
そのセキュリティの知識を得る一つの方法として、セキュリティ組が中心となってKARTEを攻撃、防御したりするハッカソンを開いてみることにしました。</p>
<h2 id="セキュリティハッカソンの開催">セキュリティハッカソンの開催</h2>
<p>セキュリティハッカソンでは、Issueに当日のアジェンダや目的などを共有してから実施しました。<br>
セキュリティハッカソンでは、ローカル環境や試験環境などを使い、本番環境には影響がでないようにするという前提を周知しました。<br>
それ以外については基本的に自由にして、各自がKARTEに対して攻撃方法や防御方法を考え試して、成功失敗どちらの結果もハッカソンの終わりに共有することにしました。</p>
<blockquote>
<p>セキュリティハッカソンのIssue<br>
今回のセキュリティハッカソンは試験的なものであっため、短めの時間設定にしました</p>
</blockquote>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/2d87f832-c886-4be3-b9b6-d8e5ec108da2/agenda.png" alt="agenda"></p>
<p>セキュリティハッカソンでは各自が考えていた攻撃方法などを試して、実際に問題があるかや対策されているかを確認していました。<br>
他にも、気になっていたセキュリティツールを試したり、普段開発して気になっていた部分を調べてみたりと攻撃以外のことも試されていました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/b4baa9f6-23f0-47f9-bf16-d2bee76d4fff/image.jpg" alt="セキュリティハッカソンの様子"></p>
<h2 id="セキュリティハッカソンの結果">セキュリティハッカソンの結果</h2>
<p>セキュリティハッカソンの終了後に、各自(各チーム)が試したことなどを共有しました。<br>
ハッカソンの中で見つけた問題についてはその場でIssueを作成し、ハッカソン後に修正や対策などに取り組んでいます。<br>
また、実際の脆弱性にはつながらなかった攻撃についても共有し、その攻撃からどのような問題につながる可能性があるかを議論しました。<br>
最後に、これらの結果を社内のesaにまとめ、ハッカソンに参加できなかった開発者にも共有しました。<br>
開発者からは「成果を共有されることで勉強になった」、「セキュリティに注目を集めるきっかけにもなるので継続的に開催したい」といった声が上がっていました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/799b17d5-ebe1-4407-b92c-bf525c9fb9fc/security_result.png" alt="security_result"></p>
<h2 id="セキュリティハッカソンの後">セキュリティハッカソンの後</h2>
<p>セキュリティハッカソンの目的は、開発者自身がどのようなセキュリティの問題がおきるかの可能性を知る機会を作ることでした。<br>
そのため、セキュリティハッカソンで見つかった問題(既に修正済み)を、発見者が実際にどのように見つけたを学ぶハンズオン形式の社内イベントも実施しました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f47e72c2-e115-413c-b36b-25896f87b371/hands_on.png" alt="hands_on"></p>
<p>脆弱性の見つけ方を学ぶハンズオンでは、<a href="https://portswigger.net/burp" target="_blank" rel="noreferrer">Burp Suite</a>などのツールも使いつつ実際にローカル環境に向けて攻撃を行い、<br>
その攻撃によってどのような仕組みで問題が発生するかを体験できるようにしました。</p>
<p>また、流行した攻撃手法や脆弱性によってどのような被害が想定されるかも交えたデモなども行いました。<br>
たとえば、管理画面などログデータが表示される場所を狙ったBlind XSSでは、どのように効率的にデータを集めているかなどを実際に動かしながら見ていきました。</p>
<ul>
<li><a href="https://medium.com/bugbountywriteup/blind-xss-for-beginners-c88e48083071" target="_blank" rel="noreferrer">Blind XSS for beginners – InfoSec Write-ups – Medium</a></li>
</ul>
<p>自分自身で攻撃を体験してみることで、脆弱性をもっと身近に感じて貰えるようにして、それらを意識して開発するという目的もあります。</p>
<h2 id="まとめ">まとめ</h2>
<p>「セキュリティ」はとても大事ですが、何かできたから「完成」といったゴールがあるわけではありません。<br>
そのため、「セキュリティ」は継続的に改善していき、リスクを軽減や発見できるようにフィードバックループを回していく必要があると思います。<br>
PLAIDではこれからも開発者を巻き込みながら、「セキュリティ」改善へ向けてのアクションを続けていきます。</p>
<h2 id="最後に">最後に</h2>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/" target="_blank" rel="noreferrer">KARTE</a>」を運営するプレイドでは、継続的にセキュリティ改善に取り組んでいきたいというエンジニアを募集しています。<br>
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html" target="_blank" rel="noreferrer">弊社採用ページ</a>または<a href="https://www.wantedly.com/companies/plaid/projects" target="_blank" rel="noreferrer">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
</body></html>

社内セキュリティハッカソンを開催！
見つかった問題の脆弱性体験および修正のハンズオン実施！

社内セキュリティハッカソンと脆弱性体験ハンズオンを開催しました | PLAID engineer blog

社内セキュリティハッカソンと脆弱性体験ハンズオンを開催しました

<p>こんにちは、<a href="https://twitter.com/tarr1124">tarr</a> &amp; <a href="https://twitter.com/positiveflat">positiveflat</a>です。つい先日サンフランシスコで開かれたGoogle Cloud Next '19にPLAIDメンバー6人で参加してきたので、その時の話を書きたいと思います。</p>
<p>…とは言うものの、実はセッションはほぼ聞けなかったのでセッションの内容のシェアではなく、２つのセッションの<strong>スピーカーとして登壇</strong>したり、サンフランシスコに様々な関係者が集まるのでそれを利用して、<strong>様々な深い会話</strong>をすることを目的として参加してきました。</p>
<p>今回は、先週にかけて行われたGoogle Cloud Next '19に「PLAIDのメンバーがどういった動きをしたのか」を中心として、PLAIDがGoogleと深く関わりながらGoogleの技術を生かしてKARTEを実現している理由について説明していきます。</p>
<h2>スケジュール</h2>
<p>実際のスケジュールとしてはこんな感じです。2つのセッションに登壇したこと、GCPのPM達と交流を持ったこと、spotifyなどのBigTableのヘビーユーザー達のmeetupに参加したこと、あたりがハイライトです。</p>
<p>約2ヶ月前〜 ... 日本での事前準備</p>
<ul>
<li>Weekly hangout meeting with a BigQuery PM, Tino</li>
</ul>
<p>4/8(月)</p>
<ul>
<li>ビジネスヒアリング(1), ビジネスヒアリング(2)</li>
<li>Run through in Google SF Office</li>
<li>Dinner with 3 Google Product Managers (Sandy, Chad, Tino), Seth and Jordan Tigani(ペルー料理　ピースコーサワー)</li>
</ul>
<p>4/9(火) イベント開幕</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/6357c27f-379b-4cb8-888d-cc55d546e435/IMG_1358.jpg" alt=""></p>
<ul>
<li>Googleとビジネスミーティング (1)</li>
<li><strong>セッション登壇 “PLAID’s journey to Global large scale real-time analytics with Google BigQuery”</strong></li>
<li>Googleとビジネスミーティング (2)</li>
<li>(ステーキ)</li>
</ul>
<p>4/10 (水)</p>
<ul>
<li>Googleとビジネスミーティング (3)</li>
<li>Google CRE Meeting</li>
<li>ビジネスヒアリング (3), ビジネスヒアリング (4)</li>
<li>Googleとテックミーティング (1)</li>
<li><strong>セッション登壇 “Building What's Next Together: Google Cloud and Technology Partners”</strong></li>
<li>Dinner with Google Cloud Japan team</li>
</ul>
<p>4/11(木)</p>
<ul>
<li>Googleとビジネスミーティング(4)</li>
<li>Meeting with a BigQuery PM, Chad</li>
<li>ビジネスヒアリング(5)</li>
<li>Googleとテックミーティング(2)</li>
<li>Meeting with a BigTable PM, Sandy</li>
</ul>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/33d48bc8-f91a-4c65-8adc-e58e1c617a81/IMG_2579.png" alt=""></p>
<ul>
<li>BigTable user meetup</li>
<li>Twitter訪問</li>
<li>Dinner with Google Japanese Partners / シーフード in fisherman's wharf</li>
<li>夜食 in and out burger</li>
</ul>
<p>帰国後</p>
<ul>
<li>ビジネスヒアリング (6) - NYのとある会社とonline mtg</li>
</ul>
<h2>Google Cloudをさらに”深く”使い倒す</h2>
<p>KARTEのコア機能を下支えしている大部分はGCPによって構築されています。KARTEのシステムはGoogleの技術を最大限に利用しており、そして最近では、システムのみならず、ビジネスなどの多くの場面でGoogleと一緒にKARTEの価値を最大限に高めています。</p>
<p>PLAIDがGCPを利用する一つ目の理由は、Googleの尖った技術を使うことができることです。例えば、KARTEのリアルタイム解析では、ユーザーの行動を、そのユーザーの過去の解析済みデータと突き合わせて、解析をして、1秒以内にレスポンスを返すということをします。これには、低レイテンシー高スループットでアクセスができるデータベースが必要です。我々の要件を高いレベルで実現しているのはGoogleのBigTableです。他にも、BigQueryやML系のサービスなど、他のクラウドプロバイダーでは置き換えられないサービスがGCPには多数存在しています。Webで培われた超大量データをさばく技術を利用できるのがGCPの利用目的です。</p>
<p>その超大量データが処理できるプロダクトの魅力に加えて、組織的な魅力もGCPを活用する理由です。GCPのチームはエンジニアがプロダクトの責任を持っており、内部のエンジニアとの距離が近く感じることができます。各プロダクトの強みを理解して、スピーディーにプロダクトに生かすことができることもGCPを利用する目的の一つです。新しい機能の認知なども、プロダクトマネージャー中心にエンジニアチームがクライアントに直接行っていたり、βの機能などもエンジニアとのコミュニケーションですぐに触れるようになったりします。このような組織はエンジニアドリブンでプロダクトを開発しているPLAIDと非常に相性がよく、お互いに信頼しながら開発をすることができます。</p>
<p>今回のイベント参加の目的は、実は、セッションでヘビーユーザーとして知見を共有することに加え、この辺りのメリットをより深いものにするところにも狙いがありました。</p>
<h2>Google Cloud NextでのCTO牧野の登壇</h2>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/23bd3197-7fd0-495e-89c7-551f126f9231/IMG_1378.jpg" alt=""></p>
<p><a href="https://cloud.withgoogle.com/next">Google Cloud Next'19</a>は4/9-11にUSのSan FranciscoのMoscone Center(Steve JobsがiPhoneを発表した場所、というと分かりやすいかもしれません)で開かれました。今年のGoogle Cloud Nextには、世界中から<a href="https://cloud-ja.googleblog.com/2019/04/google-cloud-next19-welcome-to-the-future-of-digital-transformation.html">3万人以上のGoogle Cloud Platformの顧客とパートナー</a>が参加していたようです。</p>
<p>牧野が登壇したセッションのタイトルは「PLAID's Journey to Global Large-Scale Real-Time Analytics With Google BigQuery」で、BigQueryを使ったサービスを構築する場合のパターンを5つ紹介しました。セッションの開始前から事前予約に間に合わなかった人たちの長い行列ができ、会場は満員となっていました。</p>
<p>発表内容にはBigQueryをサービスの中心に組み込まないと得られない知見も含まれており、聴衆の反応を見ても非常に注目を感じました。セッション終了後も牧野に直接質問を投げかける人たちの輪ができており、GoogleのBigQueryのPM陣からも多くの素晴らしい言葉をいただけました。</p>
<p>このセッションを通じて、PLAIDはBigQueryのユーザー視点での情報提供をすることで、Google主催のイベントを盛り上げる手助けをすることができ、PLAIDとしても世界に我々の技術をアピールすることができました。</p>
<p>セッションの様子は以下の動画をご覧ください。</p>
<iframe width="480" height="270" src="https://www.youtube.com/embed/8UuiJjTW12Y?feature=oembed" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
<h2>GoogleのPM陣との交流</h2>
<p>Google Cloud Nextのセッションの内容はYouTubeで公開されており、情報のキャッチアップのみであればわざわざ現地に足を運ぶメリットは少ないです。それでも我々が現地に足を運ぶ理由は、Google Cloud Nextには多くのGCPユーザーやGoogleの開発者が集まっており、日本では難しいミートアップが簡単に実現するからです。</p>
<p>牧野の登壇の前日には、GoogleのSan FranciscoオフィスのシアタールームでRun throughを行い、その後BigQueryやBigTableのPMや開発者、Google Japanの社員の方々とディナーを共にしました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/236b483c-1aa5-40ba-8607-0aabc9b36115/image-2.png" alt=""></p>
<p>このディナーの場で、BigQueryのPMに対して我々が直接会って話をすると面白そうな人がいないか聞いてみたところ、とあるUSのクライアントにその場でメールを送ってスピーディーに繋いでくれました。翌日にはその企業のCTOとお会いして、我々のビジネスと彼らビジネスの共通点や、市場環境についてディスカッションをしました。</p>
<p>また、上記のディナーとは別に、GoogleのBigQueryのPMや、BigTableのPMとそれぞれディスカッションする時間をとり、我々のプロダクトの説明や、feature request、プロダクトのフィードバックなどを行いました。</p>
<h2>PLAIDとGoogle Cloudのパートナーシップ</h2>
<p>技術面での連携だけでなく、ビジネス面でもPLAIDとGoogleは様々な連携をしています。我々は上記のようにKARTEのコアとしてGCPを大量に使っており、KARTEのクライアント企業は間接的にGCPのサービスを大量に使っているという構造を持っているからです。また、KARTEとGCPはサービスを提供しているレイヤーが異なるため、KARTEを通してGCPが直接リーチできないクライアント企業にアプローチをすることも、もちろんその逆も可能です。その利用規模に関しても決して小さくなく、例えば、今回の登壇の中でも触れていますが、KARTEは秒間65,000イベントをリアルタイムに処理すると共に、1PB/month にもなる全イベントをBigQueryにStreamingInsertしています。これは、KARTEが基本的に日本でしか展開していない、かつまだまだ成長の余地が大いにあるサービスであることを考えると、GCPの間接的なユーザーを今後大量に獲得するチャンスでもあります。</p>
<p>そういった観点に加えて、KARTEが急成長しているサービスであることからも、PLAIDはGoogle CloudにおけるSaaS Sales Alignment Program（SSAP）に認定されていて、KARTEを国内だけでなく国外にも広げる活動もCo-workしています。</p>
<p>その一つの例として、パートナーセッションでは、山田がプレイドとGoogleとの取り組みについての話をしました。アジアからGCPを使い倒しているひとつの事例としてKARTEが注目されていることを再認識できました。また登壇後は他のパートナーの方々と今後の成長を更にドライブさせるためのディスカッションができ、ミートアップなどのネクストアクションに繋げることができました。</p>
<figure><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/74094935-8181-4d86-aeb0-b0d8a4c8bd35/image-3.png" /><figcaption><strong>Building What's Next Together: Google Cloud and Technology Partners</strong></figcaption></figure>
<h2>まとめ</h2>
<p>以上のように、価値観とプロダクトの性質、ビジネス上の双方のメリットから、PLAIDはGoogleと密に連携をして、KARTEとGCPの価値を高めようとしています。その考え方を、Google Cloud Nextというイベントでの我々の動きを通して説明しました。</p>
<h2>最後に</h2>
<p>また、PLAIDではGCPなどのインフラの特性をフルに生かし、魅力的なプロダクトを作るエンジニアを募集しております。もし興味があれば、<a href="https://www.wantedly.com/projects/234957">こちら</a>からカジュアルに話を聞きに来てください！</p>


今回は、先週にかけて行われたGoogle Cloud Next '19に「PLAIDのメンバーがどういった動きをしたのか」を中心として、PLAIDがGoogleと深く関わりながらGoogleの技術を生かしてKARTEを実現している理由について説明していきます。