Engineer Blog

Kota Yatagai

Shuhei Kondo

kenshin tanaka

KARTE Team

Security Team

Tomoya Koike

Haruki Tosa

Daiki Sakuma

Takuma Shibuya

plaidinc

Takami Yamada

Blocks Team

Takanori Koga

Takumi Katayama

Yu Nishimura

Takuya Ogawa

akira.kasuga

Kosuke Oya

Yoshiyuki Komazaki

mizchi

Ryosuke Suzuki

koichi tanaka

Arnaud Avondet

kazupon

daigo.isamatsu

Jun Kusahana

Shinnosuke Ozawa

Rei Ishikawa

Hiroto Harada

Kei Tamiya

Nobuhiro Ito

kazushi oohira

Yohei Meguro

Kazuto Kojima

Tomoki Koga

Kenichi Suzuki

Takaaki Nakama

Takahiro Tokunaga

Kohei Kadowaki

kantetsu

Makoto Kataigi

Tatsuya Monoi

Jumpei Ikegami

Masahiro Yamauchi

Shinji Eto

Yuta Nishimura

Hideyuki Okada

Wataru Ikarashi

Naoto Kato

Yuki Makino

Atsushi Fujikawa

Naohiko Takemura

Daikichi Sasamori

Atsushi Kobayashi

Naoki Shibayama

Daiki Matsui

Yohei Noda

<p>こんにちは、エンジニアの <a href="https://twitter.com/kargo113">@kargo</a> です。</p>
<p>今回は、2023年4月からBigQueryが<strong>Editions</strong>という料金体系の変更を行なったことによる、コスト最適化の挑戦について書いていこうと思います。前回は3年以上前になりますが、<a href="https://tech.plaid.co.jp/bigquery-slot-resource-optmization">6,000スロットを使うBigQueryのリソース配分最適化への挑戦</a> として同様にコストの最適化についてご説明してありますので、Slotとは何？という疑問をお持ちの方はこちらも是非ご参照下さい。</p>
<p>BigQueryは、Google Cloud Platformが提供する、大規模なデータセットを高速に分析できるデータウェアハウスです。BigQueryは、企業のデータ分析基盤として広く利用されており、その利用量は年々増加しています。</p>
<p>しかし、BigQueryのコストは、データの量やクエリの実行回数に応じて増加するため、コスト管理が重要となります。特に、BigQueryは2023年4月から、料金体系が<a href="https://cloud.google.com/bigquery/docs/editions-transition?hl=ja">Editionsに変更</a>され、従来の料金体系が変化しました。弊社におけるインパクトは主に2つあり</p>
<ul>
<li>slot(定額)の単価の増加</li>
<li>storageコストの減少</li>
</ul>
<p>による影響が発生しました。</p>
<p>storageコストに関する<a href="https://cloud.google.com/bigquery/pricing?hl=ja#storage">料金変更</a>としては、Physical StorageとLogical Storageといういずれかの課金体系が選択可能になったという点があります。どちらが最適かはユースケースによって大きく異なるため詳細は省きますが、<strong>Long-Term Physical Storage</strong> という圧縮効率が高く、長期保存されるデータに関しての費用が減少するため、弊社の場合はPhysical Storageへの課金とすることである程度のコスト減となりました。</p>
<p>一方で、slotの単価が <strong>$0.024/slothour</strong> から <strong>$0.048/slothour</strong> へ2倍の増加となるので、こちらのインパクトがより大きいという実情でした。従って、全体では大幅に増加という影響になり、弊社の分析基盤の要でもあるため、7月から9月にかけて集中的に主にSlotを中心としたコストを最適化する流れとなりました。その名も、<strong>Bigquery-Slot-Optimization Team</strong>です！</p>
<p>本記事では、BigQueryのSlotの最適化について主に実行した ① Monitoringの整備によるJobごとのSlot監視と削減、②AutoScaleの導入によるSlotBaseLineの最適化 という2つの観点から解説します。</p>
<h2>① Monitoringの整備によるJobごとのSlot監視と削減</h2>
<p>Slotのコスト削減のためには、まず、BigQueryの利用状況を把握することが重要です。BigQueryの利用状況を把握する第一歩は、BigQueryのConsoleのMonitoringを利用することです。Monitoringでは、BigQueryのジョブの実行状況やリソースの使用状況を時系列で確認することができます。Organization全体ではこのような利用状況であることが確認できます。<br>
<img src="https://ik.imagekit.io/plaid/cba093e9-b2e1-4746-b24f-4f0f99077eb7/bq_console_top_v2.png" alt="bq_console_top_v2.png"></p>
<p>MonitoringでBigQueryの利用状況を把握したら、slotを大きく消費しているJobを特定します。しかし、Monitoringの画面だけでは、ReseravtionやProjectごとでのGroupByしかできないため、クエリレベルでの細かい単位で調査することはできません。また、そもそも画面が非常に重く現実的に使いやすいものとは言えないという背景がありました（こちらはGoogleさん...お願いします...!）。クエリにラベルを適切に付与していれば、そちらで管理することも可能ですが、全てのProductでクエリにラベルを振るのは現実的ではありませんでした。そこで、独自のMonitoringを構築する必要が生じるため、CloudFunction/CloudScheduler/Datadog を用いて実装します。</p>
<p>まず、slotの消費は主にslot_ms (slot millisecond)で調査することになります。100slotを60sec利用するJobであれば、100×60×1000 = 6,000,000 slot millisecond という単位になります。</p>
<p>時系列で把握したいので、<code>INFORMATION_SCHEMA.JOBS_TIMELINE</code> というテーブルを利用します。<br>
単純には</p>
<pre><code class="language-sql">  SELECT
    job_id,
    period_start,
    period_slot_ms
  FROM
    `{YOUR_PROJECT_NAME}.region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE
  WHERE
    period_start BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
    AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
    AND job_creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
    AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
    AND job_type = 'QUERY'
    AND statement_type != 'SCRIPT'
</code></pre>
<p>のようにすれば、簡単に取得できます。</p>
<p><strong>period_slot_ms</strong>とはperiod(=1sec)あたりのslot_msを意味するので、1secあたりのJobごとのスロット消費量が簡単に取得できます。</p>
<p>このテーブルをさらに、<code>INFORMATION_SCHEMA.JOBS</code> というテーブルを用いて、job_idをkeyにjoinすることで、実行されたqueryを取得できます。取得したqueryをさらに、<code>REGEXP_CONTAINS</code> 関数を用いて、正規表現で任意のJobに集約します。例えば、<code>WHEN REGEXP_CONTAINS(query, r'/* JOURNEY') THEN 'journey'</code> という表記により、queryのコメントに<code>/* JOURNEY</code> が含まれているqueryを <a href="https://karte.io/product/journey/">Journey</a> というProductのために使っているQuery Jobという形で集約できます。</p>
<p>集約することで、Productごとに消費したslotのtimelineが得られるので、これをDatadogに送信します。送信するには <a href="https://cloud.google.com/functions?hl=en">CloudFunction (2nd gen)</a> を用いることで簡単にDatadogに送信できます。</p>
<p>Query ResultをBigqueryClientとDatadogClientを用いて送信するだけです。<br>
TypeScriptで書くとこのようになります。（※一部抜粋）</p>
<pre><code class="language-typescript">  const slots: v2.MetricSeries = {
    metric: '${metric_name}',
    type: 2,
    interval: 1,
    points: points,
    tags: [`project:${projectId}`, `task:${task}`],
  };

  const params: v2.MetricsApiSubmitMetricsRequest = {
    body: {
      series: [slots],
    },
  };

  apiInstance
    .submitMetrics(params)
    .then((data: v2.IntakePayloadAccepted) =&gt; {
      console.log('API called successfully. Returned data: ' + JSON.stringify(data));
    })
    .catch((error: any) =&gt; console.error(error));
</code></pre>
<p>この関数をDeployするには</p>
<pre><code class="language-bash">gcloud functions deploy $FUNCTION_NAME \
  --project=$GCP_PROJECT \
  --region=$REGION \
  --runtime nodejs14 \
  --entry-point=index \
  --gen2 \
  --source ./build \
  --trigger-topic=$TOPIC_NAME \
  --trigger-service-account=$TRIGGER_SERVICE_ACCOUNT_ADRESS \
  --service-account=$SERVICE_ACCOUNT_ADRESS \
  --retry \
  --timeout=180s \
  --set-env-vars=DATADOG_APP_KEY=$DATADOG_APP_KEY,DATADOG_API_KEY=$DATADOG_API_KEY
</code></pre>
<p>というgcloudコマンドだけでdeployできます。</p>
<p>さらに、このFunction を Cloud Scheduler で定期的に実行します。<br>
ただし、あまりにも頻度が高いとslotに負荷をかけるため、10分おきに実行しています。</p>
<p>結果として、送信したMetricsを用いて以下のようなDashBoardを構築しました。<br>
<img src="https://ik.imagekit.io/plaid/61cdd26c-0f08-4fbd-b796-63bbce5c8612/datadog_top_v2.png" alt="datadog_top_v2.png"></p>
<p>これにより、どのJobがどの時間に大きなSlotを消費しているのかが、一目瞭然になります。<br>
消費Slotの多い上位のJobをターゲットにして、それぞれ個別に対策を行います。</p>
<h2>② AutoScaleの導入によるSlotBaseLineの最適化</h2>
<p>BigQueryのコスト削減のためには、<a href="https://cloud.google.com/bigquery/docs/slots-autoscaling-intro?hl=ja">AutoScale</a> を利用することも有効です。AutoScaleは、BigQueryの利用状況に応じて、自動的にリソースをスケールアップまたはスケールダウンする機能です。AutoScaleを利用することで、余剰していたBaseLineを最適化し、コストを削減することができます。</p>
<p>弊社はReservationという単位でProductごとに個別のSlotを持っているため、個別に利用状況を判断し調整します。<br>
例えば Datahub というProductではdatahub独自のSlotをReservationとして占有しており、サービス提供に支障がないように余裕をもったBaseLineを敷いていました。<br>
しかし、休日深夜帯などほとんど利用されていないような時間帯でも、BaseLine分の料金は課金されてしまうことになります。<br>
これを最適化するために導入されたのが、AutoScaleです。</p>
<p>そうなるとBaseLineを全部0にしてしまえばいい感じに最適化されるのでは？と疑問に思うかもしれませんが、一方でBaseLineにはCommitという概念があり、<a href="https://cloud.google.com/bigquery/pricing?hl=ja#flat-rate_pricing">年間契約</a>することにより割引価格が適用できます。</p>
<p>そのため、固定分を割引価格で、変動分を定価で、のような使い方をすることができるため、一概に0にするのが正解とはいえません。</p>
<p>これらを考慮した上で、弊社で最適化した結果が以下の通りです。<br>
<img src="https://ik.imagekit.io/plaid/daa0289b-1fe7-4024-9dca-440bebed292d/slot_autoscaling.png" alt="slot_autoscaling.png"></p>
<p>いかがでしょうか。利用量に応じて動的にSlotがAutoScaleしていることがわかると思います。<br>
ただし、BaseLineと違って変動分にどれくらいのコストがかかっているのか？がなかなかConsoleだけだとわかりにくいので、こちらもDatadogに送信すると以下のような画面になります。<br>
これによりBaseLine+AutoScaleの料金の見積もりと監視が容易になります。<br>
<img src="https://ik.imagekit.io/plaid/a741e551-2926-4af0-a77b-1edc77c04a38/datadog_autoscale.png" alt="datadog_autoscale.png"></p>
<p>ただし、AutoScaleも完璧ではなく、Scaleup/downでOverHeadの時間はかかります。<br>
弊社の要件であると、「軽いクエリで必ず1,2sec以内で結果を返して欲しい」という要件も一部存在します。その場合は、interactive用のReservationを別途確保して、BaseLineを100や200で設定することで、この問題を解決することが可能です。</p>
<p>最も大事なのは、<strong>Productごとに要件を把握し適切にReservationを配分する</strong>ことであり、前回同様変わらないです。Product Teamとしてはもちろん余剰にSlotを使えた方が楽なのですが、会社全体としての予算があり、あくまでその配分の中で最適化するというのを理解してもらうことが大事です。</p>
<h2>最終的なコストは...?</h2>
<p><strong>全体で約20%のコスト削減を実現</strong> することができました。<br>
年間にして***円(非公開)の効果で、弊社の基盤としてはかなりのインパクトがありました。</p>
<p>以上のように<br>
① Monitoringの整備によるJobごとのSlot監視と削減<br>
② AutoScaleの導入によるSlotBaseLineの最適化全体</p>
<p>でBigQuery全体として、約20%のコスト削減を実現しました。</p>
<p>BigQueryのUpdateは特に早く、コストの最適方法はその都度変化するため、継続的に検討を行う必要があります。今回の方法は主にEditionsへの移行に伴う最適化でしたが、今後のUpdateに伴ってより良い方法が出る可能性があります。ご自身の環境へ適用する場合は、最新のドキュメントを参照の上、ご検討下さい。</p>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営する<a href="https://plaid.co.jp/">PLAID</a>では、データを活用しプロダクトを改善していくエンジニアを募集しています。<br>
詳しくは、<a href="https://recruit.plaid.co.jp/">弊社採用ページ</a>をご覧ください。</p>


BigQuery Editionsにおけるコスト最適化

BigQueryのコストの最適化への再挑戦〜BigQuery Editionsへの料金体系の移行について〜

社内で脆弱性診断を行なっている理由や、どのように診断から修正までを行なっているか、また社内で脆弱性診断をやることでどのような変化が起きたかについて紹介します。

社内でのプロダクト脆弱性診断の方法、継続することで見つかる脆弱性の傾向の変化

今回のブログではプラットフォームチームにて取り組んだ、異なるデータベース間のリアルタイムレプリケーションについて解説いたします。

MongoDB AtlasからBigQueryへのリアルタイムレプリケーション

<p>初めまして！エンジニアのとさ (@tosa_now)です！</p>
<p>プレイドは、2023/10/28 (土) に開催された<a href="https://vuefes.jp/2023/">Vue Fes Japan 2023</a>にゴールドスポンサーとして協賛しました。</p>
<p>スポンサーブースの運営をする機会をいただき、参加者の皆さんに<a href="https://karte.io/">KARTE</a>のデモや現在作成中の機能についての説明やお話をすることができました。</p>
<p>今回のブログでは、参加したVue Fes Japanの様子をお伝えできればと思います。</p>
<p>今回スポンサーとして参加した理由は、PLAIDが開発しているKARTEというプロダクト内ではなんとVueが0系の時から利用しており、現状でも管理画面の大部分がVueで書かれておりコミュニティに助けられているので少しでも還元したいという思いから参加しました！</p>
<h2>Vue Fes 当日の様子</h2>
<p><img src="https://ik.imagekit.io/plaid/20f62fe9-7a00-4d55-b0bc-8e3702e7b810/1000002289.jpg" alt="1000002289.jpg"><em>スポンサーブースの準備完了後の写真</em></p>
<p>主にブースではKARTEのプロダクト説明をメインで行っていました。<br>
来訪してくださった方とVue2からVue3への移行をどのように進めているのかなどの技術雑談話でもりあがりました。</p>
<p><img src="https://ik.imagekit.io/plaid/bcbfc85c-7535-4087-a132-75fbb2c890cc/IMG_4361.jpg" alt="IMG_4361.jpg"><em>エンジニアのnichimuさんがスポンサーブースに立っている様子</em></p>
<p>プロダクト説明では、<a href="https://blocks.karte.io/">KARTE Blocks</a>と新機能であるエレメントビルダーを開発しているエンジニアのjunjun (@junish_js) さんによるデモで大いに盛り上がりました！！</p>
<p>エレメントビルダーの開発の裏側は<a href="https://cxclip.karte.io/products/developer/action-editor/">こちら</a>の記事で解説しています</p>
<p><img src="https://ik.imagekit.io/plaid/4a62f6c0-d15d-49ff-a81f-cb11fe87f2d6/IMG_4364.jpg" alt="IMG_4364.jpg"><em>エンジニアのjunjunさんがプロダクト説明をしている様子</em></p>
<p>とさの個人的な趣味でVue Fesの開催二日前に発売されたHHKB Professionalのお試し会も開催しました。興味を持ってくださる方が多くて嬉しかったです。<br>
<img src="https://ik.imagekit.io/plaid/00ea3072-8ce7-4ef7-ad70-6a0cfcf0e2a3/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-11-0510.53.04.png" alt="スクリーンショット2023-11-0510.53.04.png"></p>
<p>Vue Fesのスポンサーブース全体が賑やかでどの企業さんも回っていてとても楽しかったです。</p>
<h3>参加した開発メンバーの感想</h3>
<p>デザイナーの今西さん<br>
今回、ブース対応を初めて担当し、KARTEの魅力が少しでも伝わっていれば嬉しいなと思います。ひさしぶりのオフラインカンファレンスということで、当日は大いに盛り上がり、とても楽しい1日を過ごすことができました！</p>
<p>エンジニアのjunjunさん<br>
Vue Fesにスポンサーとして参加したのが新鮮でした。また、イベントは参加者と交流するという楽しみかたがあるんだと気づきました。私はVue Fesがきっかけでプレイドを知って入社したので、皆さんも知っていただけたら嬉しいです。またお会いましょう！</p>
<h3>おわりに</h3>
<p>Vue Fesのスタッフの皆さん、準備及びに当日の運営ありがとうございました！<br>
PLAIDはこれからもVue.jsのコミュニティグループの活動を応援しています。</p>
<p><img src="https://ik.imagekit.io/plaid/a0f082ec-3452-4958-a31d-50c506335c07/1000002292.jpg" alt="1000002292.jpg"><em>ブース撤収直後のサインボードの様子</em></p>


株式会社PLAIDはVue Fes Japan 2023にゴールドスポンサーとして参加して、スポンサーブースの運営を行いました！

Vue Fes Japan 2023にゴールドスポンサーとして参加しました！

KARTE 管理画面のパフォーマンスの監視をするにあたって考えたことや Datadog の活用のポイント、改善で取り組んだことについて紹介します。

Datadog を使った KARTE 管理画面パフォーマンス改善の取り組み

<h2>Introduction</h2>
<p>PLAIDでは9年ほど前から、大規模ストリーミングデータから高速に、Aggregation/Filteringをするモジュールを育ててきて、KARTEというプロダクトの基盤としてきています。Personalizeのようなタスクをツールにガシガシ組み込むために必要なモジュールで、かなりニッチな情報ということもあって外部にあまり発信する機会がありませんでした。（決して面倒だったからではありません。決して。。）</p>
<p>ただ、少し前にそのエンジンの刷新プロジェクトが終わったところで、そのプロジェクトの発信と併せて、初期コンセプト上の面白み（コード上は2度3度と刷新されていますが、初期コンセプトの面白い部分は踏襲されつつ新しいものが加わっています）もそれなりにあるし、発信してみようと思って書き始めました。</p>
<h2>要求されること</h2>
<p>現在は コードネーム “Blitz” と呼ばれる分析モジュールは、Personalizationに特化したもので、スキーマが固定されないJson形式での次のようなイベントストリーム</p>
<pre><code class="language-jsx">{
  $meta: {
    name: &quot;nashibao&quot;,
    isMember: 1
  },
  $buy: {
    items: [{
			sku: &quot;xxx&quot;,
			price: 1000,
    }]
  }
}
</code></pre>
<p>[図1: イベントデータ]</p>
<p>がuserIdに紐づいて飛んできた時に、次のようなフィルタリングを高速に処理することができるものです。</p>
<pre><code class="language-jsx">match(&quot;userId-xxx&quot;,
  DAY.Current('$meta.isMember', 'last') = 1,
  ALL.Current('$buy.items.price', 'avg') &gt;= 10000,
  WEEK.Previous('$buy.items.price', 'sum') &lt;= 100,
  WEEK.Previous('$session', 'count') &gt; 10,
  ...
)
</code></pre>
<p>[図2: ルール定義の疑似コード]</p>
<p>これは “userId-xxx” が “会員” であり、1年間では購買単価が1万円以上で、先週のセッション数が10以上に関わらずほとんど買い物に繋がらなかったユーザー なのかどうかを検証するルールを示した疑似コードです。</p>
<p>この時に、厳しい性能要件をクリアするように作られています。</p>
<table>
<thead>
<tr>
<th>種類</th>
<th>説明</th>
</tr>
</thead>
<tbody>
<tr>
<td>スケーラビリティ</td>
<td>- High Trafficなユーザー数やイベント数に対してスケールする<br>- 時間経過と共に性能が劣化しない<br>- 時間経過と共にストレージコストが爆発しない</td>
</tr>
<tr>
<td>低レイテンシ</td>
<td>- 数百ms以内にレスポンスする</td>
</tr>
<tr>
<td>新鮮性</td>
<td>- 計算にラグが発生しない = 数秒前のイベントも考慮される<br>（初期ver: 結果整合性 → 現在: 強整合性)</td>
</tr>
<tr>
<td>スキーマレス</td>
<td>- 送信されるイベントは、スキーマが固定されない<br>- 多様なデータ型（Nest / Array含む）が送信される</td>
</tr>
<tr>
<td>即時更新性</td>
<td>- 検証ルールの変更は、数分でデプロイされる<br>- 過去データを遡って考慮する</td>
</tr>
<tr>
<td>自由度</td>
<td>- 多種多様なタイムウィンドウ、演算子に対応している</td>
</tr>
</tbody>
</table>
<p>特にルールやイベントの自由度を高く維持する割に、過去データの再集計などでラグが発生せずにルールの変更を反映し、数百ms以内にレスポンスを返せる状態に持っていくことが非常に <s>めんどくさい</s> 難しい要件になります。</p>
<p>既存の基盤やフレームワークをカスタムして作る方針で初期は検討しましたが、なかなか要件に見合わなかったため、ストレージレイヤーより上部に関しては主に自社で構築しています。</p>
<table>
<thead>
<tr>
<th>Name</th>
<th>スケーラビリティ</th>
<th>低レイテンシ</th>
<th>新鮮性</th>
<th>スキーマレス</th>
<th>即時更新性</th>
<th>自由度</th>
</tr>
</thead>
<tbody>
<tr>
<td>Embed (単純に事前に処理を組み込んだもの)</td>
<td>◉</td>
<td>◉</td>
<td>◉</td>
<td>x</td>
<td>◉</td>
<td>x</td>
</tr>
<tr>
<td>Batch Processing (ex: MapReduce)</td>
<td>◉</td>
<td>x</td>
<td>x</td>
<td>◉</td>
<td>-</td>
<td>◉</td>
</tr>
<tr>
<td>Stream Processing (ex: Beam)</td>
<td>- (過去データは捨てられる)</td>
<td>◉</td>
<td>◉</td>
<td>◉</td>
<td>x</td>
<td>◉</td>
</tr>
<tr>
<td>Lambda Architecture</td>
<td>◉</td>
<td>▲ (x 1sec未満)</td>
<td>◉</td>
<td>◉</td>
<td>x</td>
<td>◉</td>
</tr>
<tr>
<td>Blitz</td>
<td>◉</td>
<td>◉</td>
<td>◉</td>
<td>◉</td>
<td>◉</td>
<td>▲</td>
</tr>
</tbody>
</table>
<p>SQLほどの自由度は持たせない代わりに、他の要件を満たすように作られています。考え方としては、Aggregation処理を事前処理と事後処理の2つの処理に分解しているという意味で、Lambda Architectureや一部のOLAPに非常に近く、それらをStream処理向けに実装したものと理解するのが近いかもしれません。</p>
<h2>ストレージ&amp;計算コスト</h2>
<pre><code class="language-jsx">Space Complexity ∝ Time Complexity = O(T)
</code></pre>
<p>通常、ルールを変更した上で過去データも含めて計算し直すためには、時系列データをスキャンする必要があるため、必要なストレージは経過時間(<code>T</code>)に比例して増えていきます。また処理によっては分散も可能ですが、計算コストもそのストレージサイズに比例して増えるので、結果的に時間に比例して増えていきます。</p>
<p>これに対してBlitzでは</p>
<pre><code class="language-jsx">Space Complexity ∝ Time Complexity = O(D)
</code></pre>
<p>時系列でのデータを、後続処理での自由度を減らさないように送信イベントのスキーマのフィールド数(<code>D</code>)ごとに最小単位の統計値の集合に圧縮し（Pre-Aggregation処理）（この最小単位の統計値の計算の種類は実は大きいですが、固定値）、これらを検証ルールへの適合時にもう一度組み合わせる (Post-Aggregation処理) ことで、ストレージコスト、計算コスト共に、時間(<code>T</code>)ではなくイベントスキーマのフィールド数(<code>D</code>)に比例するように変更しています。</p>
<p><img src="https://ik.imagekit.io/plaid/ba74a798-8f73-4a03-8aa6-8199e7c74bf8/image.png" alt="image.png"></p>
<p>様々なタイムウィンドウと演算子を念頭に置き、多様な統計量を用意するために、事前にある程度大きな空間をAggregate軸（この場合ユーザー)ごとに用意して置く必要があります。そのため経過時間に対して、実は初期は過大に空間を食いますが、経過時間と共に処理後の方が空間・計算コスト共に効率的になっていく想定です。</p>
<p><img src="https://ik.imagekit.io/plaid/e56ce33a-4ad3-423d-b408-4d41e655955d/image(1).png" alt="image(1).png"></p>
<h2>Pre-Aggregation処理</h2>
<p>処理のフローやアーキテクチャの考え方には面白いところがたくさんありますが、ここではストレージサイズに話を絞ることにし、Pre-Aggregation処理によるデータ変換をどのように行なっているかを簡単に紹介します。</p>
<p>統計的な圧縮処理（Pre-Aggregation）のデータフローの簡易的な図は以下です。BlitzではMapReduceのReduce処理と同じように、Tree構造で分解可能な処理のみを許しています。そうすることで処理の分散性を保つと共に、下に示すような統計値同士のRollupも可能にするため、さらにストレージサイズを下げることができます（たとえば、日のデータを7つ持っていれば週のデータを作れます）。</p>
<p><img src="https://ik.imagekit.io/plaid/af418988-bcb7-4dfa-a4d7-951c9bfd8d0e/image(2).png" alt="image(2).png"></p>
<p>Aggregationの自由度や新鮮性を達成するために、Reduce処理の実態は非常に複雑で、CAS操作のようにEventそのものと様々なTimewindowの統計値を読み出し結合した上で、上書き(Swap)する操作を含んでいます。</p>
<p>どのようにRollupを計画するのか、競合をどのように排除するかも非常に面白い部分ですが、ここでは紹介しません。</p>
<p>このようにすることでRead時に消費したEventや古くなったSlotはどんどん破棄していくことができます。</p>
<p><img src="https://ik.imagekit.io/plaid/e4456103-e9bb-4305-906a-d9f64810dac8/image(3).png" alt="image(3).png"></p>
<h2>最後に</h2>
<p>さて前編はここまでにします。紹介した通り、この初期コンセプトの考え方は至ってシンプルなものです。しかし、机上ではシンプルですが、実際の実装上においては、Hight Trafficを裁くための技術やHot Spotを避けるための技術、強整合を保つための技術などなど、様々な面白さが詰まっています。</p>
<p><a href="https://tech.plaid.co.jp/blitz_realtime_analytics_architecture">後編</a>ではBlitzの開発メンバーがその実装に入り込んだ面白さを紹介します。</p>


database, analytics, karte, algorithm, aggregation, blitz

Blitz（前編）：自由度と即時更新性を担保したAggregation - PLAID engineer blog

Blitz（前編）: 自由度と即時更新性を担保したAggregation

KARTEサポートサイトの情報を検索し、質問文とともにChatGPTに入力して回答を生成するbotを作成しました。

KARTEの仕様に詳しいChatGPTを作ってみた

PLAIDには2021年の3月からインターンとして開発に携わり、2022年度にソフトウェアエンジニアとして新卒で入社しました。  この記事では、一年間開発インターンとしてどのような開発を行っていたのかについてお話ししていきたいと思います。

PLAIDのインターンシップで解析基盤の移行に携わった話

PLAIDのインターンシップでリアルタイムユーザー解析基盤の移行に携わった話

意図せずログに出てしまった機密情報を検知し、そのログをすぐ修正できる状態を、Datadogのセンシティブデータスキャナーを使い実装します。

機密情報が間違ってログ出力されたことを検知する仕組みを、Datadogのセンシティブデータスキャナーで作る

<p>不正アクセスの中でも、アカウントへの不正ログインはもっとも基本的な攻撃になります。<br>
なぜならログイン画面はどのサービスでも公開されていることが多く、<br>
最近は外部サイトから流出したパスワードリストを使ったCredential Stuffingといった攻撃も行われます。<br>
そのため、アカウントへの不正ログインは、攻撃者にとってはどのサイトでも共通の攻撃ができる比較的安易な攻撃方法となります。</p>
<p>この問題への根本的な対策は難しいですが、KARTEでも実装している多要素認証やアカウントロック機能といった対応が考えられます。<br>
一方で、このような攻撃が実際に行われているかを監視する仕組みは、直接的な対策とは別途必要になります。</p>
<p>なぜなら、対策に抜け道がある可能性や外的要因で攻撃が突発的に発生する可能性があり、それに気付く仕組みと組み合わせることが重要となるためです。</p>
<p>KARTEではログのモニタリングに<a href="https://www.datadoghq.com/ja/">Datadog</a>を使っているため、Datadogを使い不正ログインなどのモニタリングを実装していくことにしました。</p>
<h2>Datadogで不正ログインのモニタリングの実装方針</h2>
<p>元々部分的に不正ログインのモニタリングの仕組みを実装していましたが、網羅性をもっと強化する方法を検討していました。<br>
そこで、Datadogが用意している不正ログインなどのモンタリングテンプレートをベースにして、あらためて不正ログインのモニタリングの仕組みを作り直すことにしました。</p>
<ul>
<li><a href="https://docs.datadoghq.com/ja/security_platform/guide/monitor-authentication-logs-for-security-threats/">モニター認証ログによるセキュリティ対策</a></li>
</ul>
<p>このテンプレートでは、Datadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>と呼ばれるスキーマにあわせたCustom Attributeをログと一緒に送る必要があります。</p>
<p>たとえば、ログに紐づくユーザーIDは<code>usr.id</code>というフィールドに入れて送るといった命名規則がある程度決まっています。<br>
この名前は独自に決めても問題ないですが、先ほども述べたようにテンプレートを利用するには、スキーマに合わせた方が楽になります。</p>
<p>そのため、今回はDatadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>に合わせる形式でログを送り、そのログを使ってアラートやモニタリング用のダッシュボードを作成することにしました。</p>
<h2>ログイン成功/失敗のログを実装</h2>
<p>ログインの成功時と失敗時に、Datadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>のCustom Attributeを含めるように実装します。<br>
具体的には、次のようなAttributeを実装することにしました。</p>
<ul>
<li><a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#user-related-attributes">usr.id</a>: 管理画面にログインするアカウントの一意なID</li>
<li><a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#events">evt.category</a>: &quot;authentication&quot;</li>
<li><a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#events">evt.name</a>: &quot;authentication&quot; or &quot;Google Login&quot;</li>
<li><a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#events">evt.outcome</a>: &quot;success&quot; or &quot;failture&quot;</li>
<li><a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#network">network.client.ip</a>: リクエスト元のIPアドレス</li>
</ul>
<p>詳細は次のドキュメントでも解説されています。</p>
<ul>
<li><a href="https://docs.datadoghq.com/ja/security_platform/guide/monitor-authentication-logs-for-security-threats/">モニター認証ログによるセキュリティ対策</a></li>
</ul>
<p>Datadogへのログの送信方法は色々ありますが、KARTEでは社内で利用する共通のロガーライブラリがあるため、共通のロガー経由で送ることにしました。</p>
<ul>
<li><a href="https://docs.datadoghq.com/ja/logs/log_collection/?tab=%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3">ログの収集とインテグレーション</a></li>
</ul>
<p>たとえば、次のようなイメージでログイン成功と失敗のログをメッセージと一緒にCustom AttributesをDatadogに送っています。</p>
<pre><code class="language-js">// ログイン成功時のログ
logger.info(&quot;_check_and_login: login_successful&quot;, {
  usr: {
    id: user.id
  },
  evt: {
    category: &quot;authentication&quot;,
    name: &quot;authentication&quot;,
    outcome: &quot;success&quot;,
  },
  network: {
    client: {
      ip: req.ip // expressのreq.ip
    }
  }
});
// ログイン失敗時のログ
logger.error(new Error(&quot;_check_and_login: login_failure&quot;), {
  usr: {
    id: user.id
  },
  evt: {
    category: &quot;authentication&quot;,
    name: &quot;authentication&quot;,
    outcome: &quot;failure&quot;,
    reason: &quot;ログイン失敗の理由&quot; // ここはDatadogの標準属性にはないが必要な情報なので入れています
  },
  network: {
    client: {
      ip: req.ip // expressのreq.ip
    }
  }
});
</code></pre>
<p>しかし、社内で利用しているロガーでは、第二引数のCustom Attributesを<code>custom</code>というプロパティにまとめてから送信するという仕組みになっていました。</p>
<p>Datadogに送信されるJSONログは次のようなイメージです。</p>
<pre><code class="language-js">{
  timestamp: &quot;2022-07-22T06:54:48.787Z&quot;,
  status: &quot;info&quot;,
  message: &quot;_check_and_login: login_successful&quot;,
  custom: {
    usr: {
      id: &quot;example@example.com&quot;,
    },
    evt: {
      category: &quot;authentication&quot;,
      name: &quot;authentication&quot;,
      outcome: &quot;success&quot;,
    },
    network: { client: { ip: &quot;127.0.0.1&quot; } },
  }
}
</code></pre>
<p><code>custom</code>プロパティにまとめているのは、DatadogのCustom Attributesには<a href="https://docs.datadoghq.com/logs/log_configuration/attributes_naming_convention/#reserved-attributes">予約語</a>が存在し、名前が衝突してしまうのを避けるためです。<br>
そのため、<code>custom.usr.id</code>として送信したものを<code>usr.id</code>にマッピングする必要があります。</p>
<h3>Datadog PipelineでCustom Attributesのマッピングをする</h3>
<p>Datadogには<a href="https://docs.datadoghq.com/ja/logs/processing/pipelines/">パイプライン</a>という仕組みがあります。<br>
パイプラインでは、ログを取り込む際にCustom Attributesを別の名前にマッピングしたり、不要なログを取り込まないように無視できます。</p>
<p>パイプラインを使い<code>custom</code>プロパティを必要なDatadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>へとマッピングできます。</p>
<p>パイプラインページではStandard Attributesという専用のタブも用意されていて、デフォルトでいくつかのAttributeは登録されています。<br>
今回は、このStandard Attributesに<code>usr.id</code>などを追加し、<code>custom.usr.id</code>を<code>usr.id</code>マップする設定を追加しました。</p>
<p><img src="https://ik.imagekit.io/plaid/df391cce-f710-4680-a58d-d2afaff9d600/datadog-standard-attributes.png" alt="Datadogのstandard-attributesの画面"></p>
<blockquote>
<p>DatadogのStandard Attributesの画面</p>
</blockquote>
<p><img src="https://ik.imagekit.io/plaid/3ada5405-ef68-4b86-a8d3-f653aa51b478/edit-standard-atttribute.png" alt="をにマッピングする設定"></p>
<blockquote>
<p><code>custom.usr.id</code>を<code>usr.id</code>にマッピングする設定]</p>
</blockquote>
<p>これでパイプライン設定後に送られたログに関しては、<code>custom.usr.id</code>を送ったら<code>usr.id</code>へとマッピングされるようになります。</p>
<h2>ログを使った不正ログインのアラートを設定する</h2>
<p>ここまでで、ログインの成功や失敗のログとCustom Attributesが送信されるようになりました。<br>
このログを使い不正ログインに関連するアラートを設定していきます。</p>
<p>Datadogには<a href="https://docs.datadoghq.com/ja/security_platform/explorer/">セキュリティシグナル</a>というセキュリティアラート向けの仕組みが用意されています。<br>
セキュリティシグナルは、複数のログの組み合わせからアラートを設定できたり、ログなどに対してコンテキスト情報を付与(特定のログにSeverity:Highラベルをつけるなど)ができます。</p>
<ul>
<li><a href="https://www.datadoghq.com/ja/blog/announcing-cloud-siem/">Datadog セキュリティモニタリングが新登場 | Datadog</a></li>
</ul>
<p>また、<a href="https://docs.datadoghq.com/ja/security_platform/explorer/">セキュリティシグナル</a>の<a href="https://docs.datadoghq.com/security_platform/default_rules/">検出ルール</a>には、AWSやGCPなどのビルトインのルールが用意されています。<br>
不正ログインに関しても、いくつかのテンプレートとなる検出ルールが用意されています。</p>
<ul>
<li><a href="https://app.datadoghq.com/security/configuration/rules?query=brute%20force%20attack&amp;all=false&amp;sort=rule_name">ブルートフォース攻撃</a>
<ul>
<li>パスワードを総当たり攻撃する手法</li>
</ul>
</li>
<li><a href="https://app.datadoghq.com/security/configuration/rules?query=credential%20stuffing%20attack&amp;sort=rule">クレデンシャルスタッフィング攻撃</a>
<ul>
<li>外部のサービスから流出したアカウント名とパスワードのリストを使って、ログインできるかを試行する攻撃手法</li>
<li>パスワードリスト攻撃とも言われる</li>
</ul>
</li>
</ul>
<p>これらのテンプレートは先ほども紹介していたDatadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>が利用されています。<br>
そのため、送るログもDatadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>の名前に合わせる(マッピングする)ことで、アラートの実装が簡単になります。</p>
<p>これらの用意されたテンプレートなどをベースに、次のようなルールを作成しています。</p>
<ul>
<li>ブルートフォース攻撃(IPアドレス単位)</li>
<li>クレデンシャルスタッフィング攻撃</li>
<li>Annomalyを使った異常検知のアラート
<ul>
<li>Detection methods: Anomaly</li>
<li><code>@evt.category:authentication @evt.outcome:failure</code></li>
<li>普段とはログイン失敗の傾向が異なるなら飛ぶアラート</li>
<li><a href="https://www.datadoghq.com/ja/blog/anomaly-detection-rules-datadog/">Detect Security Threats With Anomaly Detection Rules | Datadog</a></li>
</ul>
</li>
</ul>
<p>たとえば、&quot;ブルートフォース攻撃(IPアドレス単位)&quot;なら次のようなルール設定になります(実際の値とは細かいところは異なります)。</p>
<p><img src="https://ik.imagekit.io/plaid/822eb073-db7f-4366-a9c9-30566cd0f46a/brute-force-attack-grouped-by-user.png" alt="ブルートフォース攻撃(IPアドレス単位)"></p>
<blockquote>
<p>ブルートフォース攻撃(IPアドレス単位) のルール設定</p>
</blockquote>
<p>このルールでは、ログのCustom Attributesを元にログインの成功と失敗を、ログインしようとしたIPアドレスでグルーピングしています。<br>
グルーピングした結果、&quot;5分以内に、特定のIPアドレスからのログイン失敗が5回 かつ ログイン成功1回&quot; を、攻撃の成功として判定し、Severity:Highのラベルをつけてアラートを飛ばしています。<br>
また、攻撃の予兆の検知として &quot;5分以内に、特定のIPアドレスに関するログイン失敗が5回&quot; を検知し、Severity:Infoのラベルをつけています。(成功はしてない)</p>
<p>もちろん、普通に利用しているユーザーがパスワードを何回も入力ミスしてからログインに成功するというケースもあるので、これらの値は実際のアプリケーションに合わせて調整するのが良いです。</p>
<p>どのアラートも目的、対応方法などの何をするべきかという説明を書き、アラートが発生したときに何をするかが明確になっていることが重要です。</p>
<p>これでアラートが設定できましたが、個別のアラートだけ見ても全体でどのような問題が起きてるかは分かりにくいです。<br>
そのため、不正ログインに関連するダッシュボードを作成し、そこで起きているアラート(Signal)を一覧できるようにしています。</p>
<h2>アラートの全体像を掴むダッシュボードを作成する</h2>
<p>Datadogには、今回設定した不正ログインなどのアラートをまとめたダッシュボードのテンプレートが用意されています。</p>
<ul>
<li><a href="https://app.datadoghq.com/dashboard/lists/preset/100">Security and Compliance</a>
<ul>
<li>IP Investigation</li>
</ul>
</li>
</ul>
<p>このダッシュボードのテンプレートを元に、実際に不正ログイン周りの運用をするためのダッシュボードを作成しています。</p>
<p><img src="https://ik.imagekit.io/plaid/1664b19f-ee44-4b15-86bc-eb3f76329ae3/datadog-dashboard.png" alt="Datadog セキュリティダッシュボードのイメージ"></p>
<blockquote>
<p>Datadog セキュリティダッシュボードのイメージ(意図的にアラートを発生させている)</p>
</blockquote>
<p>ダッシュボードでは、発生してるアラートをSeverity別で表示したり、ログイン全体の様子、調査方法などをまとめています。<br>
発生したアラートからログを調査したり、そのアラートが実際に問題なのかを確認できるようにしています。</p>
<p>また、ダッシュボードに関連するアラートのモニターを一覧するには、モニター自体にタグを設定しておくと便利です。<br>
たとえば、<code>category:authentication</code> というタグをつけておけば、<code>tag:&quot;category:authentication&quot;</code> でモニターの一覧を検索できるようになります。</p>
<h2>おわりに</h2>
<p>この記事では、Datadogを使い不正ログインのアラートとダッシュボードといったモニタリング方法について紹介しました。<br>
Datadogの<a href="https://docs.datadoghq.com/ja/logs/log_configuration/attributes_naming_convention/">標準属性</a>に従ったログを出すことで、テンプレートを使ったセットアップが簡単にできるようになっています。<br>
一から仕組みを作ると大変ですが、テンプレートをベースにカスタムしていくことで、ある程度形になったものが簡単に作成できます。</p>
<ul>
<li><a href="https://docs.datadoghq.com/ja/security_platform/guide/monitor-authentication-logs-for-security-threats/">モニター認証ログによるセキュリティ対策</a></li>
</ul>
<p>また、今回はログインの成功と失敗のログを中心にして紹介しましたが、他にもアカウントへの不正アクセスのシグナルとなるものはあります。<br>
たとえば、パスワードリセットや2要素認証などのログも、不正アクセスに関係する攻撃が発生しているかの判断材料として利用できます。<br>
KARTEではこれらのログに対するモニタリングの追加や運用しながらのアラートの調整などを行なっています。</p>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営する<a href="https://plaid.co.jp/">PLAID</a>では、セキュリティのモニタリングの設計から運用までを考えて実装していくエンジニアを募集しています。<br>
詳しくは、<a href="https://recruit.plaid.co.jp/">弊社採用ページ</a>をご覧ください。</p>
<ul>
<li><a href="https://recruit.plaid.co.jp/requisitions/security-engineer">セキュリティエンジニア | 募集ポジション | 株式会社プレイド</a></li>
</ul>


Datadogのセキュリティモニタリングを使った不正ログイン検知の実装方法について

Datadogを使った不正ログインのモニタリングの実装

Datadogを使った不正ログインのモニタリング実装

<p>こんにちは、エンジニアの <a href="https://tech.plaid.co.jp/author/takanori_koga">@koga</a> です。<br>
今回は開発でよく使うGitHubとSlackのスレッドを同期する仕組みの取り組みと実装例を紹介します。プレイドでは、社内開発した Slack App 「<a href="https://issit.plaid.co.jp/">issit</a>」を使って、SlackメッセージからGitHub issueを作成し日々のタスク管理などに活用しています。</p>
<p>「issit」とは、Slack上で流れていってしまうやりとりをGitHub issueにすることで、フロー情報をストック情報に変換するためのアプリです。このアプリにより、SlackからGitHub Issueへストックする流れができました。<br>
<img src="https://ik.imagekit.io/plaid/d00392d8-4759-4a64-867d-00fc66afafaa/issit-1.png" alt="issit-1.png"></p>
<p>2022年8月のPLAIDのデータを確認すると、作成されたissueの約5.8%が「issit」からの作成であることが分かりました。<br>
しかし、やっていくうちに課題も出てきました。</p>
<h2>見えてきた課題</h2>
<p>GitHub issueのコメントに気付けないことがある。ということが見えてきました。</p>
<p>issueはclosedにしているけれど、Slackで終わったか確認している会話を見かけたり、issueにコメントを書いた後、Slackで「issueにコメントしました！」という会話も見かけることがありました。<br>
Slackでコメントしている理由は簡単で、GitHubへのコメントでは気づかれないからです。</p>
<h2>解決した方法</h2>
<p>この課題を解決するために、GitHub issueのコメントやステータスをSlackに反映する仕組みを<a href="https://docs.github.com/ja/get-started/customizing-your-github-workflow/exploring-integrations/about-webhooks">GitHub webhook</a>を使って実装しました。<br>
これによって “新しいissitの図” のように、SlackとGitHubで双方向の流れができ、issueのコメントに気づけるような仕組みにすることができます。<br>
<img src="https://ik.imagekit.io/plaid/1d84ef34-c593-464c-8a11-ee4dd7957a18/issit-2.png" alt="issit-2.png"></p>
<h2>解決した実例紹介</h2>
<p>「issit」はSlackのメッセージショートカットからGitHub issueを作成することができます。<br>
メッセージショートカットを実行するとモーダルが表示され、GitHub webhookの設定もモーダルでおこなえます。</p>
<p>GitHub webhookの設定項目は２つあります。</p>
<ul>
<li>issueのcloseをSlackのスレッドへ通知する設定</li>
<li>issueコメントをSlackスレッドへSyncする設定</li>
</ul>
<p><img src="https://ik.imagekit.io/plaid/0c63f389-b0a8-4098-b0d6-75ad44dba515/issit-example-1.png" alt="issit-example-1.png"></p>
<p>issue作成したあとにGitHub webhook設定を変更することも可能です。<br>
「issit」の投稿で、Slackのメッセージショートカット「issitのGitHub webhook設定」を実行するとモーダルが表示されます。<br>
<img src="https://ik.imagekit.io/plaid/7cdb2bc4-d46d-460e-861b-9f6248a4020b/issit-example-2.png" alt="issit-example-2.png"></p>
<p>そのモーダル内で各項目を変更し保存することでGitHub wobhook設定を変更することができます。<br>
<img src="https://ik.imagekit.io/plaid/e933315f-a74b-4c2f-ab96-3e3c2146a249/issit-example-3.png" alt="issit-example-3.png"></p>
<p>defaultのGitHub webhookを設定しておくことも可能です。<br>
設定したいチャンネルで <code>/issit</code>とコマンドを実行するとチャンネルで設定したリポジトリ一覧が表示されます。<br>
<img src="https://ik.imagekit.io/plaid/816fb676-7717-4995-9d9e-4a4c4e302045/issit-example-4.png" alt="issit-example-4.png"></p>
<p>リポジトリの「Settings」を押すと、issue作成時のdefault値を設定できるモーダルが表示され設定することができます。<br>
<img src="https://ik.imagekit.io/plaid/16f45527-0f48-431e-ab62-bf7ebd74d4fe/issit-example-5.png" alt="issit-example-5.png"></p>
<h2>実装の紹介</h2>
<p>「issit」は<a href="https://github.com/slackapi/bolt-js">slack/bolt</a>を使用して実装しているため、GitHub webhookを受け付ける実装もboltに対応している必要があります。Expressを使用したサンプルはよく見かけますが、slack/boltでのサンプルはなかなかありませんでした。</p>
<p>ただ、slack/boltには <a href="https://slack.dev/bolt-js/reference#app-options">receiver</a> という機能があり、外部からのアクセスを受け取ることができます。このreceiver機能を使用することでGitHub webhookを受け取るようにしました。</p>
<pre><code class="language-typescript">// Bolt.ts
const receiver = new ExpressReceiver({
  signingSecret: credentials.SLACK_SIGNING_SECRET,
})

export const app = new App({
  authorize: SlackInstaller.authorize,
  signingSecret: credentials.SLACK_SIGNING_SECRET,
  endpoints: '/slack/events',
  receiver,
})
</code></pre>
<pre><code class="language-typescript">// index.ts
import { app } from &quot;./Bolt&quot;
// express router
import github from &quot;./routes/GitHub&quot;

// express routerのように使用できます
app.receiver.app.use('/github', github)
</code></pre>
<p>GitHub webhookの実装には、<a href="https://github.com/octokit/webhooks">octokit/webhooks</a>を使用することにしました。<br>
octokit/webhooksは、受け付けるwebhookのイベントとアクションごとに指定できるためとても便利です。<br>
参考: <a href="https://docs.github.com/ja/developers/webhooks-and-events/webhooks/webhook-events-and-payloads">GitHub Webhook のイベントとペイロード</a></p>
<pre><code class="language-typescript">// index.ts
import { createMiddlewareGitHubWebhooks } from './routes/github'

const middlewareGitHubWebhooks = await createMiddlewareGitHubWebhooks()
app.receiver.app.use(middlewareGitHubWebhooks)
</code></pre>
<pre><code class="language-typescript">// routes/github.ts
import { Webhooks, createNodeMiddleware } from '@octokit/webhooks'

import { IssueClosedUseCase } from './IssueClosedUseCase'
import { IssueCommentCreatedUseCase } from './IssueCommentCreatedUseCase'
import { IssueCommentEditdUseCase } from './IssueCommentEditdUseCase'
import { IssueCommentDeletedUseCase } from './IssueCommentDeletedUseCase'

export const createMiddlewareGitHubWebhooks = async () =&gt; {
  const webhooks = new Webhooks({
    secret: credentials.GITHUB_WEBHOOK_SECRET_TOKEN,
  })

  webhooks.on('issues.closed', IssueClosedUseCase)
  webhooks.on('issue_comment.created', IssueCommentCreatedUseCase)
  webhooks.on('issue_comment.edited', IssueCommentEditdUseCase)
  webhooks.on('issue_comment.deleted', IssueCommentDeletedUseCase)

  return createNodeMiddleware(webhooks, { path: '/github-webhooks' })
}
</code></pre>
<h2>GitHub App の設定</h2>
<p>「Issit」のGitHub連携は、<a href="https://docs.github.com/ja/developers/apps/building-github-apps/creating-a-github-app">GitHub App</a> を作成しGitHub Organizationへインストールすることで実現しています。</p>
<p>GitHub webhookを使用するためにはGitHub Appの設定でwebhookを有効にする必要があります。設定する項目は以下の３つです。</p>
<ul>
<li>App settings画面 「General」でWebhookをActiveにし受け付けるURL を指定する。<br>
<img src="https://ik.imagekit.io/plaid/baa5e133-0c24-4823-9c44-e14157b5048f/github-app-setting-1.png" alt="github-app-setting-1.png"></li>
<li>App settings画面 「Permissions &amp; events」にて、webhookで受け取りたいイベントの権限を付与する
<ul>
<li>Issue: Read and write - Issueの作成、Issueのコメントを取得するため</li>
</ul>
</li>
<li>App settings画面 「Permissions &amp; events」の Subscribe to events で、受け取りたいイベントにチェックを入れる
<ul>
<li>Issues: Issueの変更内容やCloseされたことを検知するため</li>
<li>Issues comment: Issueのコメントの作成・変更・削除を検知するため<br>
<img src="https://ik.imagekit.io/plaid/8cb82e50-5293-468a-b0fb-fbfc77decb11/github-app-setting-2.png" alt="github-app-setting-2.png"></li>
</ul>
</li>
</ul>
<p>Permissionsを指定した状態でGitHub Marketplaceへ公開した場合、Subscribe to eventsの変更はリリース申請なしに変更することができました。「issit」の場合も、issueの作成と読み込みの権限を指定しGitHub Marketplaceへ公開していたため、Subscribe to eventsの変更は申請なしに使用することができました。</p>
<h2>「issit」での動作確認</h2>
<p>Slack App「Issit」をSlackワークスペースへインストールし、GitHub Appの「<a href="https://github.com/apps/issit-app">issit-app</a>」をGitHub Organizationへインストールすることで、SlackとGitHub間で相互に連携できるようになりました。</p>
<p><img src="https://ik.imagekit.io/plaid/68f0b2f5-3b39-4837-8e7d-44b83f4881c2/issit-comment-sync-3.png" alt="issit-comment-sync-3.png"></p>
<h2>まとめ</h2>
<p>SlackからGitHubへの一方向ではなく、GitHubからSlackの双方向にすることで、issueの状態をSlackでも確認しやすくすることができました。GitHubやSlackはAPIやwebhookが充実していますので、職場やプロジェクトの運用にあったAppを実装してみるのも良いのではないでしょうか。</p>
<p>実装が難しい場合は、 「<a href="https://issit.plaid.co.jp/">issit</a>」 の導入も検討していただけたら嬉しいです。</p>


GitHub issueとSlackスレッドを同期する仕組みと「issit」での実装例

PLAIDのインターンを通して ~ KARTE接客におけるユーザ体験の向上 ~

<p>こんにちは、エンジニアの @koga です。<br>
2022/06/27から公開されました <a href="https://cloudopsdays.com/">Cloud Operator Days Tokyo 2022</a> の<a href="https://cloudopsdays.com/ondemand/">オンデマンドセッション</a>に参加しましたので、ブログでもその内容を簡単にまとめておきます。</p>
<script async class="speakerdeck-embed" data-id="7a4edd766e4b448db48cbc7651dd9138" data-ratio="1.77725118483412" src="//speakerdeck.com/assets/embed.js"></script>
<p><a href="https://youtu.be/UgcSp-H4eK4">Cloud Operator Days Tokyo 2022 セッション動画</a></p>
<p>セッションでは、PLAIDがすでに取り組んでいるSlackbotを活用した３つの事例を紹介させていただきました。<br>
３つの事例は、あらゆる業務を対象としておりますので、担当しているチームや部署ごとに分けて紹介しています。</p>
<ul>
<li>Dialogflowを使用したお問合せBot</li>
<li>SaaS Admin権限の申請/付与/削除の自動化</li>
<li>Slackメッセージからissueを作成するSlackアプリ</li>
</ul>
<h2>Dialogflowを使用したお問合せBot</h2>
<script async class="speakerdeck-embed" data-slide="8" data-id="7a4edd766e4b448db48cbc7651dd9138" data-ratio="1.77725118483412" src="//speakerdeck.com/assets/embed.js"></script>
<p>情シスや社内ITと呼ばれるメンバーにて活用している「Dialogflowを使用したお問合せBot」についてです。</p>
<h3>開発した背景</h3>
<ul>
<li>同じような内容のお問合せがあること
<ul>
<li>お問い合わせしているユーザーは変わるのですが、受ける側としては同じような内容を頻繁に聞かれることがありました。</li>
<li>例えば、Slackの共有チャンネルの作成方法だったり、Notionのページを社外へ共有する方法だったり。このようなお問い合わせがありました。</li>
</ul>
</li>
<li>使用しているSaaSが多く検索に時間がかかる
<ul>
<li>PLAIDでは多くのSaaSを活用していることもあり、Notionやesa、GitHubやSlackなど多くのSaaSに情報が保存されている</li>
<li>欲しい情報を得るためには、１つ１つのSaaSを検索する必要があり時間がかかる</li>
</ul>
</li>
</ul>
<h3>解決方法</h3>
<ul>
<li>Slackbotからお問い合わせできるBotの開発・導入を行いました。
<ul>
<li>Dialogflowを用いて、自然な会話で検索できるようにした</li>
<li>中の人チャンネルを作成し、botで解決できなかった場合は人が対応できる仕組みにした</li>
</ul>
</li>
</ul>
<h2>SaaS Admin権限の申請/付与/削除の自動化</h2>
<script async class="speakerdeck-embed" data-slide="14" data-id="7a4edd766e4b448db48cbc7651dd9138" data-ratio="1.77725118483412" src="//speakerdeck.com/assets/embed.js"></script>
<p>DevOps・SREと呼ばれるメンバーにて活用している「SaaS Admin権限の申請/付与/削除の自動化」についてです。</p>
<h3>開発した背景</h3>
<ul>
<li>権限に関するお問合せが増えてきた
<ul>
<li>会社が急成長している時期だったため、権限付与の仕組み化が出来ておらず、お問い合わせが増えていました</li>
</ul>
</li>
<li>エンジニアメンバーの自由度をあげるため
<ul>
<li>権限付与のSTEPが、ボトルネックになってしまう可能性がありました</li>
</ul>
</li>
</ul>
<h3>解決方法</h3>
<ul>
<li>Slackbotから申請できる仕組みを開発・導入しました
<ul>
<li>申請・承認・解除のlog専用のチャンネルを作成し見える化も実現</li>
</ul>
</li>
</ul>
<h2>Slackメッセージからissueを作成するSlackアプリ</h2>
<script async class="speakerdeck-embed" data-slide="18" data-id="7a4edd766e4b448db48cbc7651dd9138" data-ratio="1.77725118483412" src="//speakerdeck.com/assets/embed.js"></script>
<p>全てのメンバーにて活用している「Slackメッセージからissueを作成するSlackアプリ」についてです。</p>
<h3>開発した背景</h3>
<ul>
<li>Slackにて活発に議論がされている。</li>
<li>議論した内容が流れてしまい、探すのに時間がかかることがしばしばあった</li>
<li>issueを使ったタスク管理を、全社で行っている</li>
</ul>
<h3>解決方法</h3>
<ul>
<li>SlackからGitHub issueを作成できるSlackApp 「<a href="https://issit.plaid.co.jp/">issit</a>」を開発・導入しました
<ul>
<li>メッセージからissueを作成できるようにした</li>
<li>チャンネルとレポジトリを事前に紐付け、簡単に選択できるようにした</li>
</ul>
</li>
</ul>
<h2>まとめ</h2>
<p>SlackBotであらゆる業務を自動化した事例を３つ紹介させていただきました。</p>
<ul>
<li>Dialogflowを使用したお問合せBot</li>
<li>SaaS Admin権限の申請/付与/削除の自動化</li>
<li>Slackメッセージからissueを作成するSlackアプリ</li>
</ul>
<p>これら３つの事例が、メンバーになぜ使ってもらえるようになったのか。を考えると、コミュニケーションツールとして全員が使っていることが大きな要因ではないかなと思います。</p>
<p>これらを踏まえて、社内コミュニケーションツールであるSlackを活かした 生産性向上の取り組みを継続していきたいと思っています。システムや仕組みが素晴らしいことはもちろん大切なのですが、まず使ってもらえることも同じくらい大切なことではないかなと思います。</p>
<p>最後に、こういった活動をしておりますので、一緒に進める仲間を募集しています。<br>
少しでも興味を持っていただけたら、<a href="https://recruit.plaid.co.jp/">採用ページ</a>もぜひご覧ください。</p>


SlackBotで自動化した事例を紹介。問い合わせ〜DevOpsまで。Dialogflowを使用したお問合せBot・SaaS Admin権限の申請/付与/削除の自動化・Slackメッセージからissueを作成するSlackアプリ

SlackBotであらゆる業務を自動化。問い合わせ〜DevOpsまで

<p>こんにちは、エンジニアの oga  です。</p>
<p>2022/6/7-8 に行われた <a href="https://cloudonair.withgoogle.com/events/solution-data-analytics">Data Analytics/Database OnAir</a> に AlloyDBの分析基盤での活用に関する内容で登壇させて頂きました。</p>
<p>こちらのブログでもその内容を簡単にまとめておきます。</p>
<p>また、AlloyDBのアナウンスに関する各種公式ドキュメントや特徴的な機能のサマリーについて、<a href="https://tech.plaid.co.jp/attended_private_preview_of_alloydb">こちらの記事</a>でもご紹介しているので、良ければ併せてご覧ください。</p>
<h1>「AlloyDB のデータ分析基盤での活用におけるポテンシャルとは？」</h1>
<p>KARTEでは大規模データに対するさまざまな分析機能をご提供しています。<br>
そのデータ基盤としてBigQueryを中心としてGoogle cloudのDB製品を利用していますが、<br>
AlloyDBがさらなる強力なソリューションとなり得るのか、Columnar Engineを中心に特に分析ワークロードに関わる機能に着目し検証・検討を行っています。<br>
パフォーマンス面は非常に優位な結果が得られたことと、運用上の考慮点やアーキテクチャ案、今後特に要望したい機能について発表しています。</p>
<p><a href="https://cloudonair.withgoogle.com/events/solution-data-analytics?talk=0608-3">セッション動画</a></p>
<iframe src="//www.slideshare.net/slideshow/embed_code/key/CHaRm91of4Z30t" width="595" height="485" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe> <div style="margin-bottom:5px"> <strong> <a href="//www.slideshare.net/TakuyaOgawa8/whatisthepotentialofalloydbindataanalysisinfrastructurepdf" title="AlloyDB のデータ分析基盤での活用におけるポテンシャルとは？" target="_blank">AlloyDB のデータ分析基盤での活用におけるポテンシャルとは？</a> </strong> from <strong><a href="//www.slideshare.net/TakuyaOgawa8" target="_blank">Takuya Ogawa</a></strong> </div>
<h1>最後に</h1>
<p>今回AlloyDBに関するセッションとして、Google Cloudの江川さんによる <a href="https://cloudonair.withgoogle.com/events/solution-data-analytics?talk=0608-1">AlloyDB for PostgreSQL 概要とアーキテクチャ</a> は機能特徴やアーキテクチャ、他DBとの棲み分けなど全体像を掴むのに非常に学びになりました。また、NRIさんによる <a href="https://cloudonair.withgoogle.com/events/solution-data-analytics?talk=0608-2">サービス比較検証から探る AlloyDB の真価</a>では踏み込んだ非機能面での比較検証結果を中心に発表されていて、優位な面劣勢な面が見えつつ、検証の過程でGoogleのエンジニアにより日々改善されていることが垣間見得たのも面白かったです。</p>
<p>今後もデータを事業の中心とする弊社では、AlloyDBのみならずデータに関しては様々な取り組みをしていきますのでデータが好きな方は是非、<a href="https://meet.plaid.co.jp/">弊社採用ページ</a> または <a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> からお気軽にご連絡ください！</p>


2022/6/7-8 に行われた Data Analytics/Database OnAir にAlloyDBの分析基盤での活用に関する内容で登壇させて頂きました。こちらのブログでもその内容を簡単にまとめておきます。

Data Analytics OnAir / Database OnAir でAlloyDBの分析基盤での活用について登壇しました

<p>こんにちは、エンジニアの oga です。</p>
<p>5/12(日本時間)にGoogle I/Oで <a href="https://cloud.google.com/alloydb/">AlloyDB</a> と呼ばれる新しいデータベースプロダクトがアナウンスされました。<br>
アナウンスブログ: <a href="https://cloud.google.com/blog/ja/products/databases/introducing-alloydb-for-postgresql">AlloyDB for PostgreSQL を発表：高額なレガシー データベースからの解放 | Google Cloud Blog</a></p>
<p>PLAIDでは、Private previewの段階で紹介をして頂き非常に興味深いものだったのでpreviewに参加して検証を行なっていて、以下の様なコメントを寄稿させて頂きました。<br>
<img src="https://ik.imagekit.io/plaid/3108b9ec-ad62-483a-ab17-f622e7b0522c/1000x1000/alloydb_plaid_quote.png" alt="alloydb_plaid_quote.png"><br>
<a href="https://www.youtube.com/watch?v=o5pKfH0Tonw">Introducing AlloyDB, a PostgreSQL-compatible cloud database service</a>　より引用</p>
<p>以下和訳</p>
<blockquote>
<p>「PLAID では CX (顧客体験) プラットフォーム KARTE を企業向けに開発・提供しています。KARTE は膨大な行動ログから深い洞察を得る先進的なリアルタイム分析機能を持ち、顧客に合わせた最適なコミュニケーションを可能にしています。AlloyDB は PostgreSQL と完全互換であり、透過的に列方向処理を行うことができます。私たちはこれが新しく強力なオプションであると捉えており、OLTP・OLAP・HTAP と分断されたワークロードを統合したシステムデザインを最小限の追加知識で実現する、ユニークな技術的アプローチであると考えています。将来的には Google Cloud の他の強力なデータベース サービスとの連携も強化され、私たちのKARTEが提供する分析機能において、より優れたパフォーマンス、スケーラビリティ、拡張性をもたらすことを期待しています。」</p>
</blockquote>
<p>この記事では、AlloyDBの特徴とPLAIDで今後どの様に使っていきたいかをご紹介します。</p>
<hr>
<section class="widget widget-text">
	<div id="toc"></div>
</section>
<style>
    div#toc ol {
        margin: 0 0 0 25px;
    }
    div#toc ol li {
        margin: 0;
        padding: 1px;
        list-style-type: disc;
    }
</style>
<hr>
<h2>はじめに</h2>
<p>AlloyDBはPreviewフェーズである為、今後の機能追加や仕様変更も多く発生すると思われます。<br>
この記事では、現時点の仕様情報とそれに基づく見解を記載しています。<br>
<strong>最新の情報は必ず<a href="https://cloud.google.com/alloydb/docs/overview">GCPの公式ドキュメント</a>をご確認下さい。</strong></p>
<h2>AlloyDBの特徴</h2>
<ul>
<li>PostgreSQLとの完全互換</li>
<li>高パフォーマンス</li>
<li>columnar engine（高速なOLAP）</li>
<li>柔軟で高い可用性を持った構成</li>
<li>機械学習による自動化されたリソース管理</li>
<li>シンプルな料金体系</li>
</ul>
<h3>PostgreSQLとの完全互換</h3>
<p>文字通り、PostgreSQLを使用するアプリケーションやエコシステムはAlloyDBで変更する必要無くそのまま適用することができます。<br>
弊社ではそういったアプリケーションは無かったものの、検証においてCLI,GUIツールなど今まで培われてきたPostgreSQLのものをそのまま使用でき、<br>
開発や運用に関わるベストプラクティスも大部分は同じ様に適用できそうなので非常に効率良く移行ができると感じました。</p>
<p>サポートされるパラメータや拡張は決まっている為、既存のPostgreSQLインスタンスを移行する場合や実現したい機能に必要な拡張があるかは事前に以下のドキュメントで確認することができます。</p>
<ul>
<li><a href="https://cloud.google.com/alloydb/docs/reference/database-flags">Supported database flags  |  AlloyDB for PostgreSQL  |  Google Cloud</a></li>
<li><a href="https://cloud.google.com/alloydb/docs/reference/extensions">Supported database extensions  |  AlloyDB for PostgreSQL  |  Google Cloud</a></li>
</ul>
<p>マイグレーションに関しては、<a href="https://cloud.google.com/database-migration">Database Migration Service</a>でサポートされることになると思われます。また、異なるDBを使用しているなど複雑で支援が必要な場合では<a href="https://cloud.google.com/resources/database-migration-program">Database Migration Program</a>で移行支援も受ける事ができます。</p>
<h3>高パフォーマンス</h3>
<p>パフォーマンス面は大きく優位性があるとのことで、標準のPostgreSQLと比較してOLTPが4倍、OLAPでは100倍のパフォーマンスであると発表されています。</p>
<table>
<thead>
<tr>
<th>OLTP</th>
<th>OLAP</th>
</tr>
</thead>
<tbody>
<tr>
<td><img src="https://ik.imagekit.io/plaid/f5bcca91-4418-4b25-beb3-5d149f7f47c5/1000x1000/alloydb_4x.png" alt="alloydb_4x.png"></td>
<td><img src="https://ik.imagekit.io/plaid/26e2432e-5fec-4770-8e22-dd65f9599daf/1000x1000/alloydb_100x.png" alt="alloydb_100x.png"></td>
</tr>
</tbody>
</table>
<p><a href="https://www.youtube.com/watch?v=o5pKfH0Tonw">Introducing AlloyDB, a PostgreSQL-compatible cloud database service</a>　より引用</p>
<p>PostgreSQLと互換性を保ちながら、内部のストレージやキャッシュシステム等は独自的なものに変更されている様です。<br>
特にストレージについては別のブログポストで解説されていますが、ストレージを分離することでストレージのスケーラビリティを向上させつつI/Oによるブロック時間を極力低減させる構造を作り、トランザクション処理の高速化やレプリケーションの低遅延などを実現している様です。<br>
<a href="https://cloud.google.com/blog/products/databases/alloydb-for-postgresql-intelligent-scalable-storage">AlloyDB for PostgreSQL intelligent scalable storage | Google Cloud Blog</a></p>
<p>実際にはそれぞれのワークロードの特性やコストバランスに依るところが大きいにしても、<br>
既に運用しているPostgreSQLをそのまま置き換えることを検証する価値はあると感じます。</p>
<h3>columnar engine（高速なOLAP）</h3>
<p><img src="https://ik.imagekit.io/plaid/e6d50050-ec77-42d4-a034-486461dd600d/1000x1000/alloydb_columnar_engine.png" alt="alloydb_columnar_engine.png"><br>
<a href="https://www.youtube.com/watch?v=o5pKfH0Tonw">Introducing AlloyDB, a PostgreSQL-compatible cloud database service</a>　より引用</p>
<p>PLAIDでも最も注目し検証している機能が、この<a href="https://cloud.google.com/alloydb/docs/columnar-engine/about">columnar engine</a>です。<br>
OLAPの100倍高速化、という特徴はこのcolumnar engineにより実現されています。</p>
<p>本来行指向データベースであるPostgreSQLに列指向データベースとしての特性を<strong>透過的</strong>に加えることができ、<a href="https://cloud.google.com/alloydb/docs/columnar-engine/quickstart">セットアップ</a>を行うとインメモリ上でカラムデータを保持する様になり、クエリ側は特殊な記法などは無く列指向のスキャンが行えるかは内部で自動判断されます。<br>
また、完全にcolumnar engineで列指向スキャンされるカラムに対してはindexが不要になる為、削除することで負荷削減に繋がります。</p>
<p>インメモリに対してどのテーブルのどのカラムを保持するべきか、実行されたクエリに基づき判断する<a href="https://cloud.google.com/alloydb/docs/columnar-engine/quickstart#auto-populate">レコメンデーション機能</a>が用意されているので、既存のデータとワークロードを移行しつつ、強く意識せずにOLAP処理を高速化するという導入の仕方も可能かと思います。（弊社では検証の特性上、<a href="https://cloud.google.com/alloydb/docs/columnar-engine/manage-content-manually">手動での管理</a>で行なっていました）</p>
<p>列指向はより巨大なデータを扱うDWHで特に採用されることが多く、大量データの分析処理に適しています。<br>
つまりAlloyDBで従来の行指向データベースとしての適所であるOLTPのワークロードをカバーしつつ、<br>
列指向の特性を加えてOLAPのワークロードも同データベースでカバーできる可能性があるということです。<br>
マスターとして使用するRDBMSから主にデータ分析用途などでDWHにデータをロードするという流れは良くに行われていると思いますが、<br>
統合されたシンプルなアーキテクチャを実現しつつ同時に高速化を狙う選択肢が持てるのは魅力的です。</p>
<h3>柔軟で高い可用性を持った構成</h3>
<p>AlloyDBではClusterという単位毎に1つのPrimaryとオプショナルで複数のRead poolインスタンスを構成することができます。<br>
<img src="https://ik.imagekit.io/plaid/28c94b66-45b9-41c2-b3b0-91a38d0c5593/1000x1000/adb-resource-tree.png" alt="adb-resource-tree.png"><br>
<a href="https://cloud.google.com/alloydb/docs/overview#hierarchical_resource_structure">Hierarchical resource structure</a> より引用</p>
<p>PrimaryはHAを選択すれば自動フェイルオーバーするStand-byが構成されます。<br>
Read poolは読み取り専用のレプリカとして使用でき、特にリソースを多く使う分析クエリはRead pool側に流すという構成を取ることで書き込み処理に影響を与えず処理を載せることができます。複数構成することができるので、例えば負荷特性の異なる機能に応じてRead poolを分け、マシンスペックやノード数、パラメータをそれぞれで調整するといったことも簡単に行えます。<br>
ただし、Read poolは非常に短時間ながらPrimaryに対してラグがある為、完全な一貫性が必要で無い機能で使用することになります。</p>
<h3>機械学習による自動化されたリソース管理</h3>
<p><img src="https://ik.imagekit.io/plaid/df5df673-52a6-4c10-9271-afa9a6eb150e/1000x1000/alloydb_autopilot.png" alt="alloydb_autopilot.png"><br>
<a href="https://www.youtube.com/watch?v=o5pKfH0Tonw">Introducing AlloyDB, a PostgreSQL-compatible cloud database service</a>　より引用</p>
<p>詳細な仕様についてはまだ情報が無い様ですがコストやパフォーマンスに関わるDB管理の自動化が行われる機能があり、経験値と手間が必要なベーシックなチューニング作業は任せることもできそうです。</p>
<h3>シンプルな料金体系</h3>
<p><a href="https://cloud.google.com/alloydb/pricing">https://cloud.google.com/alloydb/pricing</a></p>
<p>現状は非常にシンプルで、CPU・メモリ/ストレージ/NWによりテーブルが決まります。NWはEgressのみが課金です。<br>
プレビュー期間中はFair Usage Limitsに基づき無料で試すことができます。</p>
<h2>PLAIDで行なっていた検証と今後どの様に使っていきたいか</h2>
<p>上記の通りAlloyDBはPostgreSQLとの完全な互換性があり、すでにPostgreSQLを使用しているアプリケーションを変更すること無く移行が可能なことが特徴の一つですが、弊社では既存システムで使っている訳では無いので、分かりやすい検証事例はまだありません。</p>
<p>PLAIDでは OLTP/HTAP/OLAP 様々なデータ処理においてBigtableやSpanner、BigQueryといったGoogle Cloudのデータベースプロダクトを使い倒していますが（<a href="https://tech.plaid.co.jp/google-cloud-day-digital-2022">ご参考</a>）、<br>
その上でもcolumnar engineをはじめとしてして分析機能での活用で大きなパフォーマンス改善につながるポテンシャルを持っていると考え特にOLAPの拡張の観点を中心に検証を行なっています。</p>
<p>その為、上に挙げた様な他のGoogle Cloudのデータベースとのインテグレーション機能の追加にも強く期待しており、今後の機能拡張もウォッチしながら引き続き検証を進めていく予定ですので、また折々でご紹介できればと思います。</p>
<h2>最後に</h2>
<p>弊社では <a href="https://karte.io/">KARTE</a> をはじめ、事業においてデータを中心におき展開しています。<br>
より大量のデータを、より早く、柔軟に処理する為に様々なデータベースを活用しており、今後もよりもっと多くのデータベースを試し導入しながら良いプロダクトを作っていきたいと考えています。<br>
データベースが好きな方にとってはとても楽しい環境だと思うので、ぜひ興味のある方は<a href="https://meet.plaid.co.jp/">弊社採用ページ</a> または <a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> からお気軽にご連絡ください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
<script>
    /**
     * For displaying a table of contents - pass the entire document (DOM) to getTocMarkup
     */

    function getHeaderLevel(header) {
        return Number(header.nodeName.slice(-1));
    }

    function createTocMarkup(headers) {
        var prevLevel = 1;
        var output = "";

        headers.forEach(function(h) {
            var currLevel = getHeaderLevel(h);
            if (currLevel > prevLevel) {
                var ranOnce = false;
                while (currLevel > prevLevel) {
                    if (ranOnce) {
                        output += "&nbsp;";
                    }
                    output += "<ol style=\"margin-bottom:0px\"><li>";
                    prevLevel += 1;
                    ranOnce = true;
                }
            } else if (currLevel == prevLevel) {
                output += "</li><li>";
            } else if (currLevel < prevLevel) {
                while (currLevel < prevLevel) {
                    output += "</li></ol>";
                    prevLevel -= 1;
                }
                output += "<li>";
            }

            output += `<a href="#${h.id}">${h.innerText}</a>`;
        });

        if (output != "") {
            // Change 2 to the max header level you want in the TOC; in my case, H2
            while (prevLevel >= 2) {
                output += "</li></ol>";
                prevLevel -= 1;
            }
            output = `<h2 class="widget-title">目次</h2>${output}`;
        }

        return output;
    }

    function getTocMarkup(document) {
        // I was only interested in the headers within the element that had the .post-content class,
        // which is specific to the Ghost blog. If you're using this elsewhere, or are interested in
        // the entire document, delete this line and use document.querySelectorAll(...) on the next line.
        var body = document.getElementsByClassName('Article_Body_JS')[0];

        // Add or remove header tags you do (or don't) want to include in the TOC
        var headers = body.querySelectorAll('h2, h3, h4, h5, h6');

        // Change the number to 1 if you want headers no matter what.
        // Or if you want at least 3 headers before generating a TOC, change it to 3.
        if (headers.length >= 2) {
            return createTocMarkup(headers);
        } else {
            return "";
        }
    }
</script>
<script type="text/javascript">
    document.getElementById('toc').innerHTML = getTocMarkup(document);
</script>


5/12(日本時間)にGoogle I/Oで AlloyDB と呼ばれる新しいデータベースプロダクトがアナウンスされ、弊社のコメントもイベント内で引用して頂きました。この記事では、AlloyDBの特徴とPLAIDで今後どの様に使っていきたいかをご紹介します。