Engineer Blog

Louis Avondet

Sota Sato

Taira Ouchi

Yuta Azumi

Takahiro Hayashi

Kairi Ueno

Hiroki Tamiya

Yugo Tsuchiya

TomokiIchikawa

Yoshito Ikeda

Haruki Tazoe

Hajime Shiozawa

Kazuki Katsurada

masashi kobayashi

lapla

Takehiko Okayama

Kotaro Ito

Yuhei Yasuda

naoyashiga

Takumi Ishii

Sojiro Nishimura

Katsumi Kobayashi

Kota Momoki

Calloc

Shohei Shiraki

Takaaki Kanetsuki

Yui Taniyama

Kota Yatagai

Shuhei Kondo

kenshin tanaka

KARTE Team

Security Team

Tomoya Koike

Haruki Tosa

Daiki Sakuma

Takuma Shibuya

plaidinc

Takami Yamada

Blocks Team

Takanori Koga

Takumi Katayama

Yu Nishimura

Takuya Ogawa

akira.kasuga

Kosuke Oya

Yoshiyuki Komazaki

mizchi

Ryosuke Suzuki

koichi tanaka

Arnaud Avondet

kazupon

daigo.isamatsu

Jun Kusahana

Shinnosuke Ozawa

Rei Ishikawa

Hiroto Harada

Kei Tamiya

Nobuhiro Ito

kazushi oohira

Yohei Meguro

Kazuto Kojima

Tomoki Koga

Kenichi Suzuki

Takaaki Nakama

Takahiro Tokunaga

Kohei Kadowaki

kantetsu

Makoto Kataigi

Tatsuya Monoi

Jumpei Ikegami

Masahiro Yamauchi

Shinji Eto

Yuta Nishimura

Hideyuki Okada

Wataru Ikarashi

Naoto Kato

Yuki Makino

Atsushi Fujikawa

Naohiko Takemura

Daikichi Sasamori

Atsushi Kobayashi

Naoki Shibayama

Daiki Matsui

Yohei Noda

<p>デザインエンジニアの安田（<a href="https://x.com/_yuheiy">@_yuheiy</a>）です。</p>
<p>プレイドの多くのシステムでは、サーバーサイドの実行環境としてNode.jsを採用しています。そのため、サーバーサイドもクライアントサイドもまとめてnpmを使って依存パッケージ（dependencies）を管理している場合がほとんどです。</p>
<p>システムのメンテナンスにおいては、このような依存パッケージのバージョンを継続的にアップデートし続けることが重要です。そこで今回は、社内向けに実施した、依存パッケージのバージョンアップをテーマにした発表を一部再編集してご紹介します。</p>
<h2>なぜ依存パッケージのアップデートが必要か</h2>
<p>筆者が所属するDeveloper Experience &amp; Performanceチーム（通称: DXチーム）では、その活動の一つとして、さまざまなシステムの依存パッケージのバージョンをアップデートして回るような作業をする機会がよくあります。DXチームでは、現在アクティブに開発が行われていない一部システムのメンテナンスを担当したり、既存のチームの開発をヘルプしたりする場面があり、その一環として併せてこのような作業を行っています。</p>
<p>依存パッケージをアップデートすることには、おもに次のような理由があります。</p>
<p>まず最初は、Node.jsのバージョンアップに対応するためです。Node.jsのバージョンアップにともなって古いバージョンの依存パッケージが動作しなくなることがあるので、Node.jsに追従するために必要な作業です。</p>
<p>次は、一般的なソフトウェア品質や開発効率の向上のためです。多くのパッケージはバージョンアップにともなって、動作上のバグの修正やパフォーマンスの改善、セキュリティ上の問題の解決が行われているほか、便利な新機能が追加されたりしています。これによってソフトウェアの外部品質が改善したり、余計な実装が不要になって設計がシンプルになったりする可能性があります。また、古いバージョンのパッケージを使い続けていることで、それに携わる開発者が古いバージョンの使い方を調べたり覚えたりといった無駄な学習コストを払わなければならないという問題もあります。</p>
<h2>デザインシステムの最新化のために</h2>
<p>もう一つの理由は、利用されているデザインシステムを最新化するためです。社内向けのデザインシステムであるSourが多くのシステムに導入されていますが、Sour自体の内容は日々アップデートされ続けている一方、各システムで利用されているSourのバージョンはアップデートされずに古いものが使い続けられていることが少なくありません。</p>
<p>参考までに、<a href="https://karte.io/">KARTE</a>のリポジトリにおいて使用されているSourのバージョンは次の通りです（件数は発表時のもの）。</p>
<ul>
<li>4.x: 5件（うち3件はDXチームが管理するシステム）</li>
<li>3.x: 5件</li>
<li>2.x: 11件</li>
<li>1.x: 2件</li>
<li>0.x: 1件</li>
</ul>
<p>筆者の本務はSourの開発ですが、ユーザー側でのバージョンアップが行われなければ開発している意味がありません。そのため私自身がそのアップデート作業を担当することもありますが、それに併せてその周辺環境を整備しなければならない場面もあります。というのも、Sour自身が依存しているパッケージのアップデートにともなって、ユーザー側の関連するライブラリのアップデートをしなければならなくなったり、もしくは、そのようなアップデートにともなう問題が発生しないかをテストするための環境が必要になったりすることもあるからです。</p>
<h2>タイミングが遅れるほどアップデート作業が難しくなる</h2>
<p>一般的に、依存パッケージが古くなればなるほど対処が必要な問題が増えて複雑化し、作業が難しくなる傾向にあります。特に古いシステムをメンテナンスしていると、複数の古い依存パッケージ同士が絡み合う問題が発生してデバッグが難しくなったり、古いバージョンで想定されていなかった環境依存の問題が発生して解決のために余計な手間を取られたりすることがよくあります。</p>
<p>また、関連する機能を担当した当時の開発者がチームや会社を離れたりしていることもあります。アップデートにともなう動作確認が必要になることがありますが、そのような場合、期待される正しい仕様や動作確認の方法がわからなくなる可能性もあります。あるいは、当時の担当者にしか意図を理解できないトリッキーな実装が行われているような場合もあります。</p>
<h2>「システムのメンテナンスは天下の回りもの」</h2>
<p>これは昔から個人的に唱えている理論です。システム開発の仕事をしていると、知らない誰かが作ったシステムを回り回って自分が引き継ぐというような場面は珍しくありません。そして、自分が作ったシステムもいずれまた別の誰かに引き継がれていくことになります。</p>
<p>システムの出来の良し悪しにかかわらず、引き継いだ人にはそのすべてを引き受ける責任が生じます。だからこそ、後任の誰かのために、自分が今担当しているシステムはできるだけ良い状態にしておくという心づもりでいることが大事だと思います。</p>
<h2>作業の進め方</h2>
<p>具体的な話に移ります。</p>
<p>まず、これから説明するような作業にあたっては、さまざまな観点でのソースコードの変更をしなければならない場合があります。そのため、必ずしも1つのpull requestで一気に対応しようとするのではなく、適切な粒度に分解しながら作業を進めてください。これについては普段の機能開発と同じです。</p>
<p>次に、CIが不十分だと感じる場合はあらかじめ整備しておくのがよいです。作業を細かく分割するほど、人力ではチェックの抜け漏れが発生しがちです。変更にともなうテストを効率的に行うために、できるかぎり自動化してしまいましょう。</p>
<h3>不要な依存パッケージを削除する</h3>
<p>アップデートの前に、不要な依存パッケージがあればあらかじめ削除しておきます。使わないものをアップデートしても仕方がないからです。</p>
<p><a href="https://knip.dev/">Knip</a>を導入することで、未使用の依存パッケージやデッドコードの検出ができます。これらを削除することで余計な要素を削れます。さらに、KnipをCIに組み込むことで、今後余計なものが追加されないように予防することもできます。</p>
<p>また、そのほかにも不要な機能などが残っていれば削除しておきます。</p>
<h3>言語の標準機能に置き換える</h3>
<p>Node.jsのアップデートにともなって、これまでサードパーティのパッケージが必要だったことが、Node.jsのコアの機能として実現できるようになっていることがあります。「<a href="https://zenn.dev/morinokami/articles/npm-uninstall">Node.js の進化に伴い不要となったかもしれないパッケージたち</a>」などを参考にして置き換えてください。</p>
<p>また、ECMAScriptやDOM仕様のアップデートにともなって、同じくサードパーティのパッケージが不要になることもあります。「<a href="https://github.com/you-dont-need/You-Dont-Need">You-Dont-Need</a>」などが参考になります。</p>
<p>依存パッケージを減らしてコアの機能に置き換えていくことで、将来的なメンテナンスコストを削減できることになります。</p>
<h3>package.jsonのアップデート</h3>
<p><code>package.json</code>に記述されている<code>dependencies</code>や<code>devDependencies</code>のバージョンをアップデートする際には、次のようなコマンドを使用すると一気に書き換えができて便利です。<code>--interactive</code>オプションを指定することで、アップデートする対象をチェックボックス方式で選択できます。</p>
<p>npmの場合:</p>
<pre><code class="language-bash">cd path/to/monorepo-root
npx npm-check-updates --workspaces --root --interactive
</code></pre>
<p><img src="https://ik.imagekit.io/plaid/9266d5fd-ceff-47f0-a94e-7d78bcfe707e/ncu.png" alt="新しいバージョンが存在するdependenciesのうち、必要なものを選択式でアップデートできる。パッケージごとに現在のバージョンとアップデート後のバーションが表示される。"></p>
<p>出典: <a href="https://github.com/raineorshine/npm-check-updates">raineorshine/npm-check-updates: Find newer versions of package dependencies than what your package.json allows</a></p>
<p>pnpmの場合:</p>
<pre><code class="language-bash">cd path/to/monorepo-root
pnpm update --latest --recursive --interactive
</code></pre>
<p>pnpm 10.12以降であれば、catalogsで管理しているバージョンもいっしょにアップデートできます。</p>
<p>またロックファイルは壊れやすいので、インストールに際して問題が発生した場合は再生成してみるとよいです。</p>
<pre><code class="language-bash">rm -rf package-lock.json **/node_modules &amp;&amp; npm install
</code></pre>
<h3>破壊的変更への対応</h3>
<p>セマンティックバージョニングにおいては、メジャーバージョンが上がるか、もしくは1.0.0に満たない場合のバージョンアップでは、常に破壊的変更の可能性があります。そのためアップデートをする前には、ざっとでもいいのでパッケージのCHANGELOGに目を通しておくことをおすすめします。</p>
<p>また、最新版よりもいくつも古いバージョンを使っている場合は、破壊的変更が積み重なって簡単にアップデートできないことがあります。そのような場合、バージョンは一気に上げるのではなく、ある程度の区切りに分けて段階的にアップデートしたほうが作業が簡単になります。</p>
<h3>後継のライブラリに置き換える</h3>
<p>場合によっては、あるパッケージの代わりとなる後継のパッケージ（ライブラリ）が登場しているがあります。既存のパッケージがメンテナンスされなくなったり、アーキテクチャが古くなって根本的な刷新が必要になったりしたときに、それを置き換えるために別のものが開発されて、コミュニティでもそちらが主流になっていくというパターンです。</p>
<p>KARTEでよく使われているところで言えば、次のような後継のパッケージがあります。</p>
<ul>
<li>Jade → <a href="https://pugjs.org/api/getting-started.html">Pug</a>（参考: <a href="https://github.com/pugjs/pug/issues/2184">Renaming jade -&gt; pug · Issue #2184 · pugjs/pug</a>）</li>
<li><a href="https://github.com/TypeStrong/ts-node">ts-node</a> → <a href="https://tsx.is/">tsx</a>（もしくは、<a href="https://nodejs.org/api/typescript.html#type-stripping">Node.jsのtype stripping</a>を使う）</li>
<li><a href="https://jestjs.io/">Jest</a> → <a href="https://vitest.dev/">Vitest</a></li>
<li><a href="https://recoiljs.org/">Recoil</a> → <a href="https://jotai.org/">Jotai</a></li>
<li><a href="https://lodash.com/">Lodash</a> → <a href="https://es-toolkit.dev/">es-toolkit</a></li>
<li><a href="https://github.com/raineorshine/npm-check-updates">npm-check-update</a> + <a href="https://github.com/ds300/patch-package">patch-package</a> + <a href="https://github.com/open-cli-tools/concurrently">concurrently</a> → <a href="https://pnpm.io/">pnpm</a> CLI（同等の機能がpnpmに組み込まれている）</li>
</ul>
<p>既存パッケージのアップデートと併せて、後継のパッケージへの移行も行いましょう。</p>
<h3>気になる部分はついでに改善しながら進める</h3>
<p>パッケージのアップデート作業をしていると、それに関係するほかの部分が気になることもあります。気になった部分についても、そのままにしておかず、せっかくなのでついでに改善してしまうのがよいです。たとえば次のようなものです。</p>
<ul>
<li>CIの構成をきれいにする</li>
<li>いらないnpm scriptsを消す</li>
<li>冗長な設定ファイルをクリーンアップする</li>
<li>deprecatedなメソッドの使用箇所を直す</li>
<li>破壊的変更がある箇所の周辺のコードをリファクタリングする</li>
</ul>
<p>このようなメンテナンス作業は普段は軽視されがちで、ともすれば老朽化した仕組みがそのまま何年も動き続けていることになりがちです。だからこそ、みなさんにはぜひ<a href="https://www.oreilly.com/library/view/97-things-every/9780596809515/ch08.html">ボーイスカウト・ルール</a>を意識してもらいたいです。</p>
<blockquote>
<p>ボーイスカウトには大切なルールがあります。それは、「来た時よりも美しく」です。たとえ自分が来た時にキャンプ場が汚くなっていたとしても、そしてたとえ汚したのが自分でなかったとしても、綺麗にしてからその場を去る、というルールです。そうやって、次にキャンプに来る人達が気持ちよく過ごせるようにするのです（このルールは元々、ボーイスカウトの父と呼ばれるロバート・スティーブンソン・スミス・ベーデン=パウエルの「自分が最初に見た時よりも、世界をいい場所にすべく努力しよう」という言葉から来ています）。</p>
<p>これに倣ってコーディングに関しても同じルールを定めるとしたら「モジュールをチェックインする際には、必ずチェックアウト時よりも美しくする」となります。最初にそのモジュールを書いたのが誰であるかに関係なく、皆がそうやって、たとえ少しずつでもモジュールを改善する努力を続けたとしたら、その結果どういうことが起きると思いますか?</p>
</blockquote>
<p>出典: Kevlin Henney編、和田卓人監修『プログラマが知るべき97のこと』、オライリージャパン、2010年</p>
<h2>こまめなアップデートを習慣化する</h2>
<p>アップデート作業は後回しにするほど面倒な問題を引き起こしがちです。善は急げと思って、まずは今日からやってみましょう。</p>
<p>いったんひと通りのアップデートができたら、それ以降も定期的にアップデートを続けられるように、次に作業する日を決めてしまいましょう。月に1回程度が目安です。もしくは、<a href="https://docs.github.com/ja/code-security/dependabot/working-with-dependabot">Dependabot</a>などの自動化ツールを使って作業を自動化するのもよいと思います。</p>


Node.jsやフロントエンドのプロジェクトにおけるdependenciesをアップデートするうえでのよくある問題やうまく進めるためのコツなど。

package.jsonのdependenciesをアップデートする技術

Tailwind CSSのバージョンをアップグレードしてTailwind CSS 4に対応する際に作成した、Figmaのstylesをもとにして各種設定ファイルを自動生成する仕組みについての紹介。

Figmaのstylesをもとにして「Tailwind CSSのテーマ」「tailwind-mergeの設定」「Storybookのドキュメント」などの各種ファイルを自動生成する

<h2>はじめに</h2>
<p>こんにちは！</p>
<p>プレイドで６月から７月末までEngineerインターンとして働いていたアボンデットルイです。現在はアメリカのマサチューセッツ工科大学（MIT）でコンピューターサイエンスを専攻している大学生です。</p>
<p>高校でエンジニアリングに興味を持ち、知識を活かして価値のあるものを作り出せることに魅力を感じました。そこからプログラミングを始め、今ではコンピューターサイエンスのさまざまな分野を幅広く探求しています。</p>
<p>同じくCSを学んだ<a href="https://tech.plaid.co.jp/intern-at-plaid-avondet">兄が以前プレイドでインターンをした</a>ことがあり、とてもいい経験だったと聞いたので、僕も挑戦したいと思い今回応募しました。</p>
<p>今回が初めての日本の企業での実務経験で、エンジニアとして働くことの楽しさや難しさを実感しながら、たくさんのことを学ぶことができました。このブログでは、インターンでの経験を振り返りながら、自分が学んだことについて共有したいと思います。</p>
<h2>① UI基礎の習得</h2>
<p>インターンに参加する前から、個人でWebアプリをいくつか作っていたこともあり、特にフロントエンド開発にはある程度慣れていました。その経験を活かして、最初は<a href="https://karte.io/">KARTE</a>のフロントエンドに関わる開発に取り組みました。</p>
<p>インターン開始直後は、Vue.jsやKARTEのコードベースに慣れるため、比較的シンプルなUI改善のIssueをいくつか対応しました。たとえば、検索機能の追加、ツールチップによって長いタイトルを全文表示する対応、ユーザーの入力形式に応じて表示を変えるフォーマット処理など、ユーザー体験を少しずつ向上させるような細かい変更です。</p>
<p>このようなタスクは、一見すると単純で地味に思えるかもしれませんが、実際には多くの工夫が必要でした。どのように既存のコードと整合性を保ちながら変更を加えるか、パフォーマンスに影響がないように注意すること、そしてUIコンポーネントの再利用性を損なわないように設計することなど、意外と奥が深い作業でした。</p>
<p>また、Vue.jsを本格的に使うのは今回が初めてだったため、最初はコンポーネントの設計思想やReactとの違いに戸惑うことが多くありました。特にKARTEのコードベースは大規模で、どこに何が定義されているかを見つけるだけでも最初は時間がかかりました。</p>
<p>とはいえ、こういった小さなIssueを積み重ねる中で、だんだんとVue.jsの書き方にも慣れ、大規模なコードベースのスタイルや構造にも自然に馴染めるようになっていきました。レビューで指摘された内容を意識して、自分なりにルールやベストプラクティスを積み重ねていったことで、次第に自信を持ってコードを書けるようになりました。</p>
<p>この時期は、「まずは手を動かして学ぶ」ことの重要さを実感した期間でもありました。コードを書くこと自体は目的ではなく、ユーザー体験をより良くするための手段であるということを、タスクを通して実感できたと思います。</p>
<h2>② UI刷新の経験</h2>
<p>Vue.jsに慣れてきたころ、管理画面のあるページを新しいデザインに全面的に改修する、大きなUIの仕事を任されました。この仕事は、Figmaで用意されたデザインをもとに、今あるUIを最新の仕様に合わせて見た目を新しくするものでした。</p>
<p>この作業は、画面をゼロから作るのではなく、既存の構造をできるだけ活かしながら新しい条件を満たすという、バランスの難しいものでした。全てを作り直すか、一部だけ変えるか、既存のスタイルや使いやすさを考えて、自分で最適な方法を考えながら進めました。</p>
<p>特に苦労したのは、コードの中でどこにどんな処理やデザインが書かれているのかを見つけることでした。画面は複数のパーツに分かれていて、データのやりとりも複雑だったため、「どこをどう変えれば見た目も動きも正しくなるか」を理解するのに時間がかかりました。</p>
<p>最初は難しさを感じましたが、コードの中にある意図を理解する力が少しずつつき、「なぜこう書かれているのか」「どのパーツが何を担当すべきか」といった視点で実装の方針を決められるようになりました。自分なりに工夫した実装方法を考えながら進める中で、コードの理解が深まり、自信にもつながりました。</p>
<p>最終的にFigmaのデザインとぴったり合う画面が完成したときは、とても達成感がありました。そして何より、自分が作ったものが実際にユーザーに使われるという実感が、エンジニアとしてのやる気をさらに高めてくれました。</p>
<p>具体的なタスクとしては、<a href="https://support.karte.io/post/2lRnr05R5uTA0K8D5fDzBc">行動チェーン(β)</a>のフォルダ機能における改善と、<a href="https://support.karte.io/post/4MxyAWLgEopohX27lnCFjZ">ユーザー構成比</a>の画面改善でした。<br>
<img src="https://ik.imagekit.io/plaid/c59fea1b-53dc-4889-b32c-be2f20d3bdd1/2025-08-0616.49%E3%81%AE%E7%94%BB%E5%83%8F.jpeg" alt="2025-08-0616.49の画像.jpeg"></p>
<p><img src="https://ik.imagekit.io/plaid/075047ba-3bf1-410a-8726-09fa987a7e9a/2025-08-0617.05%E3%81%AE%E7%94%BB%E5%83%8F.jpeg" alt="2025-08-0617.05の画像.jpeg"></p>
<h2>③ バックエンドへの挑戦</h2>
<p>インターン後半では、「バックエンドにも挑戦してみたい」と相談し、データ周りのIssueを対応させていただきました。タスクの内容は、ある管理画面の既存のフィルター機能に新しい条件を追加するため、SQLクエリの生成ロジックを修正し、BigQueryを用いた集計処理に新しいフィルター条件を組み込むというものでした。</p>
<p>このタスクは、技術的にも認知的にも非常に難易度が高かったです。まず、BigQueryもSQLも初めて触る技術であり、構文や最適なクエリの書き方に慣れるまでにかなりの時間がかかりました。また、複数のイベントテーブルをJOINしたり、ユーザー単位で集約したりといった処理が必要で、そもそも「このデータがどうやって構成されているのか」を理解するところからのスタートでした。</p>
<p>特に苦労したのは、巨大なコードベースの中で「どこがボトルネックなのか」「この値はどこからきて、どこで使われているのか」といった、データの流れを追いかける作業です。関数が分散していたり、抽象化されているレイヤーが多かったりと、全体像を把握するには時間と根気が必要でした。</p>
<p>ただ、その分だけ得られる学びも大きく、「なぜデータ処理をこのように設計しているのか」「フィルター条件が一つ増えるだけでも、どのような設計的配慮が必要か」といった、普段の個人開発では触れない視点を身につけることができました。</p>
<p>最初は不安でしたが、バックエンド開発に興味を持てるようになったのは、自分にとって大きな成長の一歩でした。</p>
<h2>プレイドの文化</h2>
<p>今回のインターンで一番印象に残ったのは、プレイドの働きやすさとカルチャーでした。初めての実務経験だったので、最初はもっと簡単な作業ばかり担当するのかと思っていたのですが、実際には自分が関わったタスクはどれもプロダクトにしっかりと関係していて、やりがいのある内容でした。常にメンターの方がサポートしてくださり、困った時には丁寧に説明してくれたので、安心して新しいことに挑戦できました。最初はうまくいかないことも多く、戸惑うこともありましたが、その経験が逆に自分の成長につながったと感じています。</p>
<p>2ヶ月という短い期間だったので、自分が関われた範囲は限られていましたが、それでも多くの方が自分に声をかけてくれて、新しいツールや機能の開発に参加するチャンスを与えてくれました。タスクを進める中でも、自分の興味や学びたいことを考慮してくれる雰囲気があり、インターンとしてとても充実した経験ができたと感じています。</p>
<p>インターンに参加してから、一緒に機能開発を行うチームの定例ミーティングに参加し、他のメンバーがどのような仕事をしているのかを聞くことで、プロダクト全体の流れやチーム間の連携の重要性を学ぶことができました。日々のやりとりを通じて、インターンであっても一人のメンバーとして扱ってもらえる環境にとても感謝しています。</p>
<h2>最後に</h2>
<p>今回のインターンを通して、エンジニアとして働くことの楽しさや難しさをたくさん学びました。最初は不安もありましたが、周りの方がいつも助けてくれて、新しいことにも安心して挑戦できました。</p>
<p>実際にプロダクト開発に関わる中で、自分の書いたコードがプロダクトの一部になる経験はとてもやりがいがありました。うまくいかないこともありましたが、そのたびにサポートしてもらい、少しずつ自信を持てるようになりました。</p>
<p>2ヶ月という短い期間でしたが、いろいろな技術に触れ、チームの一員として働くことができたのはとても貴重な経験でした。今回の経験を通して、エンジニアとしてもっと成長したいという気持ちが強くなりました。これからもプレイドの成長を楽しみにしつつ、自分もこの経験を活かして努力を続けていきたいと思います！</p>
<hr>
<p>プレイドはエンジニアインターンを募集しています！　興味を持った方は是非応募してみてください！</p>
<p><strong>サマーインターン</strong></p>
<div class="iframely-embed" data-embedded-url="https://open.talentio.com/r/1/c/plaid/pages/106581"><div class="iframely-responsive" style="padding-bottom: 56.25%; padding-top: 120px;"><a href="https://open.talentio.com/r/1/c/plaid/pages/106581" data-iframely-url="https://cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fopen.talentio.com%2Fr%2F1%2Fc%2Fplaid%2Fpages%2F106581&key=878c5bef402f0b2911bf6d4ce6261abd">【26卒/27卒】エンジニアサマーインターン / 株式会社プレイド</a></div></div><script async src="https://cdn.iframe.ly/embed.js" charset="utf-8"></script>
<p><strong>通期インターン</strong></p>
<div class="iframely-embed" data-embedded-url="https://open.talentio.com/r/1/c/plaid/pages/90783"><div class="iframely-responsive" style="padding-bottom: 30.2778%; padding-top: 120px;"><a href="https://open.talentio.com/r/1/c/plaid/pages/90783" data-iframely-url="https://cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fopen.talentio.com%2Fr%2F1%2Fc%2Fplaid%2Fpages%2F90783&key=878c5bef402f0b2911bf6d4ce6261abd">新卒採用 & インターン (Engineer) / 株式会社プレイド</a></div></div><script async src="https://cdn.iframe.ly/embed.js" charset="utf-8"></script>


プレイドで2ヶ月間エンジニアインターンに挑戦した学生の体験記。Vue.jsでのUI改善・刷新からBigQueryを活用したバックエンド開発まで、幅広い技術領域で学んだ実務経験と成長の記録を詳しく紹介します。

プレイドインターン体験記：フロントエンドからバックエンドまで挑戦した2ヶ月

<h2>はじめに</h2>
<p>こんにちは、今年4月に新卒でプレイドに入社しエンジニアをしている佐藤と申します！普段は、社内で利用する<a href="https://open.talentio.com/r/1/c/plaid/pages/106299">内製のOLAPデータベースを開発するチーム</a>でお仕事をしています。</p>
<p>この度、プレイドは「<a href="https://sre-next.dev/2025/">SRE NEXT 2025</a>」にゴールドスポンサーとして協賛いたしました。当日はブース出展に加え、エンジニアの土谷が<a href="https://sre-next.dev/2025/schedule/#slot084">「大量配信システムにおけるSLOの実践 ：「見えない」信頼性をSLOで可視化」</a>というテーマでスポンサーセッションに登壇しました。</p>
<p>私自身もイベントに参加し、ブースの運営と多くのセッションを聴講しました。本記事では、当日のプレイドブースの様子や、個人的に特に印象に残ったセッションについてレポートします！</p>
<h2>ブースの紹介</h2>
<p>まずは、プレイドブースの様子からご紹介します。ブースでは、来場者の皆様と多岐にわたる技術的な議論ができるよう、以下の5つのトピックを用意しました。</p>
<ol>
<li>Production Readiness Reviewとは</li>
<li>リアルタイムユーザー解析エンジンのリアーキテクチャ</li>
<li>監査ログとは - なぜ重要なのか</li>
<li>KARTE BlocksのSLO</li>
<li>AIエージェントを用いたセキュリティレビュー</li>
</ol>
<p><img src="https://ik.imagekit.io/plaid/472905ef-0548-4eab-8787-fdf6eaf1ce62/IMG_4624.jpg" alt="IMG_4624.jpg"></p>
<p>ブースでは、来場者の方に興味のあるトピックへシールを貼っていただく企画を実施し、特にAI関連のテーマに多くの関心が集まっているようでした。</p>
<p>私はリアルタイムユーザー解析エンジンについて会話することが多かったので、そちらについて紹介します。プレイドでは、「KARTE」を通じて取得した膨大なデータを処理するために内製のリアルタイムの解析エンジン(「Blitz」と呼んでいます)を置いています。(<a href="https://tech.plaid.co.jp/deim_2025">このエンジンはデータ工学系のフォーラムであるDEIMに論文を投稿して</a>いたりします)。主にその内部の仕組みとリアーキテクチャについて議論させてもらいました。例えば、リアーキテクチャによってレイテンシが1500ms（結果整合性）からp95で200ms（強整合性）へと改善したことをお話しすると、プレイドの技術への投資姿勢とエンジニアの技術力について良い反応をもらうことができて嬉しかったです。</p>
<p>Blitzの詳細に関しては、論文以外にも以下のブログで紹介していますので、よろしければご覧ください。</p>
<ul>
<li><a href="https://tech.plaid.co.jp/blits_pre_aggregation"><strong>Blitz（前編）: 自由度と即時更新性を担保したAggregation</strong></a></li>
<li><a href="https://tech.plaid.co.jp/blitz_realtime_analytics_architecture"><strong>Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術 - 強整合な解析 -</strong></a></li>
<li><a href="https://tech.plaid.co.jp/blitz_performance_user_cache"><strong>Blitz: リアルタイムユーザー解析エンジンのボトルネックを解消したキャッシュ設計</strong></a></li>
</ul>
<p>また、現在私が開発に携わっているユーザー行動分析に特化した内製のOLAPデータベースについても、Kubernetesやコンテナランタイムといった技術を交えながらお話しでき、そちらに対する議論も大変盛り上がりました。</p>
<p>これらの技術的なコンテンツに加え、様々なノベルティ(カフェオレ、ラムネ、うちわ、歯ブラシなど)やSRE NEXT 2025のために作成したパンフレットも大変好評でした！</p>
<p><img src="https://ik.imagekit.io/plaid/47ac9bd5-c960-48a2-b847-6d4c5ec76de1/IMG_4578.jpg" alt="IMG_4578.jpg"></p>
<h2>参加セッションの感想</h2>
<h3><a href="https://sre-next.dev/2025/schedule/#slot044"><strong>Fast by Friday: Making performance analysis fast and easy(Brendan Gregg)</strong></a></h3>
<p>Brendan Gregg氏はフレームグラフを始めとした多くの可視化ツールの発案者であり、<a href="https://www.usenix.org/">USENIX</a>などの著名カンファレンスで基調講演をされており、私自身本セッションをとても楽しみしておりました。</p>
<p>このセッションでは、「Fast by Friday」——つまり、月曜日に発生したパフォーマンス問題をその週の金曜日までに解決するというコンセプトに基づき、システムパフォーマンスを迅速に分析・改善するための方法論が紹介されました。</p>
<p>例えば、「月曜日にはまず問題を定量的に分析する」「水曜日にはフレームグラフやeBPFを用いてプロファイリングを行う」といったように、1週間の各曜日で何をすべきかが具体的に語られました。第一線で活躍するエンジニアのパフォーマンスチューニングの過程を体系的に知ることができ今後の業務に大変活かせると感じました。</p>
<p>(SRE NEXT 2025での発表資料は見つけることができませんでしたが、<a href="https://www.brendangregg.com/Slides/eBPFSummit2023_FastByFriday/">こちらの資料</a>に内容は近いと感じましたので、ご興味ありましたら是非ご覧ください。)</p>
<p>セッション後のAsk the Speakerでは、私たちが開発しているOLAPデータベースのパフォーマンスについて少し相談してきました。特に印象的だったこととして、メモリ使用量の改善についてのアドバイスです。「プロダクション環境でメモリダンプを取得するとJVMのレイテンシが悪化してしまう」という課題に対し、「CPUのフレームグラフを分析してメモリ割り当てが多いコードパスを特定すれば、より低コストで問題の原因を突き止められるかもしれない」という助言をいただきました。また、データベースのような巨大で複雑なシステムのパフォーマンスを改善するためには、まずマイクロベンチマークを整備することが重要であると勧められました。実装には工数がかかりそうですが、コードを大量に生産することにはAIの活用も期待できるため、チームで検討し、整備を進めていこうと思います。</p>
<h3><a href="https://sre-next.dev/2025/schedule/#slot087">Intel SGXをAzureで本番運用するための構成事例と実践知見(株式会社Datachain SRE/テックリード 大久保 俊彦)</a></h3>
<p>TEE（Trusted Execution Environment）は、ハードウェア上の保護された領域でコードやデータを処理し、安全性を確保する技術です。例えば、メモリ上にデータを暗号化して保持し、CPU内部で復号化と処理を行うなどがあり、これにより、メモリを抜かれたとしても暗号が解読されない限りは、データを覗き見ることができなくなります。多くのCPU(ARM, AMD, etc.)がTEEをサポートしていますが、中でも強力なTEEの一つとして、Intel SGXがあります。</p>
<p>その仕組みの複雑さや具体的なユースケースのイメージが湧きづらい点から、私自身これまで深く学習できていませんでしたが、本講演では動作原理とユースケースに対する興味深い話を伺うことができました。(講演の後、大久保さんと2時間ほどお話しする機会をいただき、Intel SGXについてさらに深く学ぶことができ大変良い経験になりました。ありがとうございました。)</p>
<p>Datachain社では、異なるブロックチェーン間で資産やデータを安全に移動させるための「ブリッジ」という仕組みにIntel SGXを活用されています。このブリッジですが、暗号化が施されていない場合、内部の人間が直接メモリを盗み見ると仮想通貨の情報が見れてしまい、ユーザーの暗号資産を不正に操作できてしまうリスクがあります。(実際にブリッジの運用者の内部犯行によってユーザーの仮想通貨が<a href="https://www.chainalysis.com/blog/multichain-exploit-july-2023/">$120M抜き取られたという事件</a>が起きていたりします)。</p>
<p>Datachain社は、Intel SGXを用いることで運用者ですらアクセスできないセキュアな環境を構築し、ユーザーが安心して資産を移動できるサービスを提供しているとのことでした。</p>
<p>秘密計算という先進的な技術が、実社会の課題解決に貢献している様子を知ることができて、大変刺激を受けました。</p>
<h2>プレイドのセッションの紹介</h2>
<h3><a href="https://sre-next.dev/2025/schedule/#slot084">大量配信システムにおけるSLOの実践 ：「見えない」信頼性をSLOで可視化（プレイド 土谷）</a></h3>
<p>弊社エンジニアの土谷からは、「KARTE Message」をテーマに、月間10億通を超える大規模配信の信頼性をどのようにSLOに落とし込み、運用・改善してきたかについてお話ししました。</p>
<p>セッション後、弊社ブースにお立ち寄りいただいた方の中には、これからSLI/SLOを設定するという方も多くいらっしゃいました。技術的な側面に加え、「ビジネスメンバーへの理解をどのように促進したか」といった具体的な実践方法まで踏み込んで質問される方も多く、皆様との対話を通じて、私たち自身も多くの学びを得ることができました。</p>
<p>よろしければ登壇資料もご覧ください。</p>
<div style="left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.1972%;"><iframe title="大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化" src="https://speakerdeck.com/player/6e64b50718624605960a8f215fce51e7" style="top: 0; left: 0; width: 100%; height: 100%; position: absolute; border: 0;" allowfullscreen scrolling="no"></iframe></div>
<h2>おわりに</h2>
<p>SRE NEXT 2025には、SREやインフラ分野に深い知見をお持ちの方が数多く参加されており、弊社の取り組みに興味を持っていただき、活発な議論ができたことを大変嬉しく思います。私たちが知見を提供するだけでなく、皆様からも多くのことを学ばせていただき、非常に貴重な交流をすることができました！</p>
<p>今回、初めてカンファレンスのブース担当を経験しましたが、多様なバックグラウンドを持つ方々と直接技術的なお話しができ、とても楽しかったです。普段チームの中で開発している時には中々得られない刺激と知見を得ることができました。今後もこのような場に参加させていただきたいと思います！</p>
<p>最後に、このような素晴らしいカンファレンスを主催・運営してくださった皆様、本当にありがとうございました！ブース出展では、スタンプラリーなど来場者と話すきっかけを運営の皆様にご用意いただけたおかげで、非常に多くの方々とお話できました。そして、盛り上げていただいた参加者のみなさま、様々な知見をご共有いただいたスピーカー、スポンサー企業の皆様、ありがとうございました！</p>
<p>SRE NEXT 2026も楽しみにしております！</p>


新卒のエンジニアがSRE NEXTに参加しました。プレイドのブースの紹介や聴講したセッションレポートをお伝えします。

新卒エンジニアによるSRE NEXT 2025 イベントレポート　

<p>この記事は、社内の生成AI LT会（<a href="https://tech.plaid.co.jp/plaid-generative-ai-lt-report">LT会に関するブログ</a>）で「誰でもできるvibe-coding」と題した発表内容を基に、AIに執筆させています。</p>
<h2>はじめに</h2>
<p>こんにちは、プレイドのKARTE Messageチームでエンジニアをしている大内です。</p>
<p><a href="https://karte.io/package/message/">KARTE Message</a>は、メール・アプリプッシュ・LINEなどのチャネルからエンドユーザーにパーソナライズした配信を効率化したMAツールです。</p>
<p><a href="https://tech.plaid.co.jp/karte_message_mass_delivery_architecture">メール配信の運用について紹介した記事</a>や、<a href="https://tech.plaid.co.jp/complex_logic_to_dynamically_generate_sql">機能改善により開発スピードが向上したことを紹介した記事</a>がありますので、そちらも併せてご覧ください。</p>
<p>私たちMessageチームでは、開発の生産性をさらに高めるために、エンジニア以外のメンバーもAIを活用して開発を行う取り組みを進めています。この試みは多くの可能性を秘めている一方で、「レビュワーの負担が増えすぎる」という課題も明らかになりました。</p>
<p>この記事では、その課題にどのように取り組み、改善を進めているかご紹介します。</p>
<h2><strong>AI開発の幕開けと、見えてきた課題</strong></h2>
<p>チームのプロダクトマネージャー（以下、PMとします）が生成AIを使い、次々と実装を始めたのがことの始まりでした。AIによってコードが効率的に生み出され、ローカル環境で動作確認ができれば、機能が形になるという事実は、開発のスピード感に大きなインパクトを与えました。</p>
<p>その結果、PMは多くのPRを作成。この1ヶ月だけでも、<strong>レポート機能の改善、AI連携機能の強化、リスト表示のUI刷新、多岐にわたる機能改善</strong>に関するPRがマージされました。</p>
<p>一方で、この新しい開発スタイルは、いくつかの運用上の課題も浮き彫りにしました。</p>
<ul>
<li><strong>エンジニアのレビュー負荷増大</strong>：エンジニアから見ると、「開発の意図や目的が必ずしも明確でない大量のコード」をレビューする必要が生じた。</li>
<li><strong>AI生成コードの品質</strong>：AIは既存のコードベースを完全に理解しているわけではないため、「動作はするものの、品質面では改善の余地がある」コードを生成してしまうことがあった。例えば、既存コードの再利用が不十分であったり、実装方針の変更時に古いコードが残ってしまったりするケースがある。</li>
</ul>
<p>レビュワーからは、特に以下の点が負担増の原因として挙げられました。</p>
<ul>
<li>PRにおける差分量の増加があった。</li>
<li>「まず実装してみる」という進め方だったため、設計やセキュリティリスクに関する検討がコードレビュー段階に集中し、レビューの負担が増した。</li>
<li>AIが生成したコードの意図を読み解くのに時間がかかることがあった。</li>
</ul>
<h2><strong>課題解決への道のり：プロセスの見直しと改善</strong></h2>
<p>これらの課題に対応するため、私たちは以下の改善策に取り組んでいます。</p>
<ol>
<li><strong>「仕様ドキュメント」の事前作成とレビュー</strong>：開発着手前に「仕様ドキュメント」を作成し、エンジニアがレビューするフローを導入。これにより、設計段階で問題点を洗い出し、セキュリティ懸念を事前に検討できるため、コードレビュー時には実装そのものに集中できるようになった。</li>
<li><strong>AIによる実装意図のコメント記載</strong>：AIが生成したコードには、可能な限り実装意図をコメントとして記述。これにより、レビュワーがコードの意図を理解しやすくなることが狙い。</li>
<li><strong>PRの適切な分割</strong>：AIによる大量のコード生成に対応するため、PRを機能単位や意味のある変更単位で細かく分割するルールを設けた。仕様ドキュメントで事前に粒度を決めておくことで、レビューの負荷軽減を図っている。</li>
</ol>
<h2><strong>レビュワーから見たAI開発：評価と今後の期待</strong></h2>
<p>AIが生成したコードをレビューする中で、その可能性と課題の両方が見えてきました。</p>
<p><strong>評価できる点</strong></p>
<ul>
<li>既存の複雑な実装がある中でも、動作するコードを生成できる点は注目に値する。特にテストコードの生成精度は高く、品質向上に貢献する可能性がある。</li>
<li>既存の制約がない新規開発の場合、AIが生成するコードは比較的標準的で読みやすい傾向にある。</li>
<li>コードを記述する速度は非常に速く、人間によるレビューがボトルネックになる場合もあるほどである。</li>
</ul>
<p><strong>今後の改善に期待する点</strong></p>
<ul>
<li>既存実装が複雑な場合や、多くの背景情報を理解する必要がある場合、生成されるコードの質がまだ高くないことがある。これは事前の設計ドキュメント作成である程度カバーできると考える。</li>
<li>PRの粒度調整や補足コメントの追加など、実装以外の部分では、まだ人間によるコントロールが必要である。</li>
<li>既存のコードアーキテクチャが一般的でない場合、AIの知識外となり精度が低下する可能性がある。AIを有効活用するには、既存コードも一般的なアーキテクチャに準拠している方が望ましいかもしれない。</li>
</ul>
<p>総じて、AIに開発を完全に任せるのはまだ難しい点が多いものの、工夫次第で品質を向上させることは十分に可能だと感じています。チームとしてこの新しい取り組みに前向きに関わり、改善を続けていくことが重要だと考えています。</p>
<h2><strong>現在の取り組みと、そこから得られた学び</strong></h2>
<p>現在、私たちは以下の対策を中心に進めています。</p>
<p>それは、<strong>「仕様ドキュメント」を事前に作成し、エンジニアのレビューを経たうえで開発に進むフローを確立すること</strong>です。</p>
<p><strong>具体的なフローのイメージ</strong></p>
<ol>
<li>PMが仕様ドキュメントに「背景」「期待する機能」「懸念点」を記述し、「実装方針」についてはAIの支援も受けつつ草案を作成。
<ul>
<li>この時点で、PM自身も実装の概要を把握。</li>
</ul>
</li>
<li>エンジニアが「仕様ドキュメント」をレビュー。
<ul>
<li>これにより、コードレビュー時に仕様の全体像が共有され、手戻りを削減。既存コードの活用など、エンジニアの知見を早期に反映する。</li>
</ul>
</li>
<li>レビュー結果を元に「仕様ドキュメント」を修正し、関係者間で合意。</li>
<li>修正された「仕様ドキュメント」を設計書としてAIに入力し実装。
<ul>
<li>より正確な仕様に基づいてAIがコードを書くことで、誤りを減らす。</li>
</ul>
</li>
</ol>
<p><strong>AI運用の工夫</strong></p>
<ul>
<li>作成した仕様ドキュメントをCursorやCopilotに一時的にルールとして登録し、開発中の参照を容易にしている。</li>
<li>PR作成前に必須のチェックリストを作成し、レビューの負担軽減に努めている。</li>
</ul>
<p>これらの取り組みにより、エンジニアからは「レビューの負担が軽減された」という声も聞かれるようになってきました。（もちろん、まだ改善の余地はあります。）</p>
<p><strong>得られた学び</strong></p>
<p>この経験から、ビジネスサイドとエンジニアが共同で仕様を定義し、開発を進めていくプロセスが、AIの登場によって大きく変わる可能性を感じています。</p>
<p>現在のAIの進化を見ると、いずれ「仕様書＝実装」という未来も現実のものとなるかもしれません。私たちMessageチームは、今後もこの新しい開発スタイルに積極的に取り組み、知見を深めていきたいと考えています。</p>


生成AIで書いたコードをどうレビューしていくか。AIと共存しながら開発しているMessageチームの取り組みを紹介します。

「生成AIで書いたコード、どうレビューする？」Vibe codingと共存する開発プロセス

<p>こんにちは、エンジニアの <a href="https://twitter.com/kargo113">@kargo</a> です。</p>
<p>今回は、2023年4月からBigQueryが<strong>Editions</strong>という料金体系の変更を行なったことによる、コスト最適化の挑戦について書いていこうと思います。前回は3年以上前になりますが、<a href="https://tech.plaid.co.jp/bigquery-slot-resource-optmization">6,000スロットを使うBigQueryのリソース配分最適化への挑戦</a> として同様にコストの最適化についてご説明してありますので、Slotとは何？という疑問をお持ちの方はこちらも是非ご参照下さい。</p>
<p>BigQueryは、Google Cloud Platformが提供する、大規模なデータセットを高速に分析できるデータウェアハウスです。BigQueryは、企業のデータ分析基盤として広く利用されており、その利用量は年々増加しています。</p>
<p>しかし、BigQueryのコストは、データの量やクエリの実行回数に応じて増加するため、コスト管理が重要となります。特に、BigQueryは2023年4月から、料金体系が<a href="https://cloud.google.com/bigquery/docs/editions-transition?hl=ja">Editionsに変更</a>され、従来の料金体系が変化しました。弊社におけるインパクトは主に2つあり</p>
<ul>
<li>slot(定額)の単価の増加</li>
<li>storageコストの減少</li>
</ul>
<p>による影響が発生しました。</p>
<p>storageコストに関する<a href="https://cloud.google.com/bigquery/pricing?hl=ja#storage">料金変更</a>としては、Physical StorageとLogical Storageといういずれかの課金体系が選択可能になったという点があります。どちらが最適かはユースケースによって大きく異なるため詳細は省きますが、<strong>Long-Term Physical Storage</strong> という圧縮効率が高く、長期保存されるデータに関しての費用が減少するため、弊社の場合はPhysical Storageへの課金とすることである程度のコスト減となりました。</p>
<p>一方で、slotの単価が <strong>$0.024/slothour</strong> から <strong>$0.048/slothour</strong> へ2倍の増加となるので、こちらのインパクトがより大きいという実情でした。従って、全体では大幅に増加という影響になり、弊社の分析基盤の要でもあるため、7月から9月にかけて集中的に主にSlotを中心としたコストを最適化する流れとなりました。その名も、<strong>Bigquery-Slot-Optimization Team</strong>です！</p>
<p>本記事では、BigQueryのSlotの最適化について主に実行した ① Monitoringの整備によるJobごとのSlot監視と削減、②AutoScaleの導入によるSlotBaseLineの最適化 という2つの観点から解説します。</p>
<h2>① Monitoringの整備によるJobごとのSlot監視と削減</h2>
<p>Slotのコスト削減のためには、まず、BigQueryの利用状況を把握することが重要です。BigQueryの利用状況を把握する第一歩は、BigQueryのConsoleのMonitoringを利用することです。Monitoringでは、BigQueryのジョブの実行状況やリソースの使用状況を時系列で確認することができます。Organization全体ではこのような利用状況であることが確認できます。<br>
<img src="https://ik.imagekit.io/plaid/cba093e9-b2e1-4746-b24f-4f0f99077eb7/bq_console_top_v2.png" alt="bq_console_top_v2.png"></p>
<p>MonitoringでBigQueryの利用状況を把握したら、slotを大きく消費しているJobを特定します。しかし、Monitoringの画面だけでは、ReseravtionやProjectごとでのGroupByしかできないため、クエリレベルでの細かい単位で調査することはできません。また、そもそも画面が非常に重く現実的に使いやすいものとは言えないという背景がありました（こちらはGoogleさん...お願いします...!）。クエリにラベルを適切に付与していれば、そちらで管理することも可能ですが、全てのProductでクエリにラベルを振るのは現実的ではありませんでした。そこで、独自のMonitoringを構築する必要が生じるため、CloudFunction/CloudScheduler/Datadog を用いて実装します。</p>
<p>まず、slotの消費は主にslot_ms (slot millisecond)で調査することになります。100slotを60sec利用するJobであれば、100×60×1000 = 6,000,000 slot millisecond という単位になります。</p>
<p>時系列で把握したいので、<code>INFORMATION_SCHEMA.JOBS_TIMELINE</code> というテーブルを利用します。<br>
単純には</p>
<pre><code class="language-sql">  SELECT
    job_id,
    period_start,
    period_slot_ms
  FROM
    `{YOUR_PROJECT_NAME}.region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE
  WHERE
    period_start BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
    AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
    AND job_creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
    AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
    AND job_type = 'QUERY'
    AND statement_type != 'SCRIPT'
</code></pre>
<p>のようにすれば、簡単に取得できます。</p>
<p><strong>period_slot_ms</strong>とはperiod(=1sec)あたりのslot_msを意味するので、1secあたりのJobごとのスロット消費量が簡単に取得できます。</p>
<p>このテーブルをさらに、<code>INFORMATION_SCHEMA.JOBS</code> というテーブルを用いて、job_idをkeyにjoinすることで、実行されたqueryを取得できます。取得したqueryをさらに、<code>REGEXP_CONTAINS</code> 関数を用いて、正規表現で任意のJobに集約します。例えば、<code>WHEN REGEXP_CONTAINS(query, r'/* JOURNEY') THEN 'journey'</code> という表記により、queryのコメントに<code>/* JOURNEY</code> が含まれているqueryを <a href="https://karte.io/product/journey/">Journey</a> というProductのために使っているQuery Jobという形で集約できます。</p>
<p>集約することで、Productごとに消費したslotのtimelineが得られるので、これをDatadogに送信します。送信するには <a href="https://cloud.google.com/functions?hl=en">CloudFunction (2nd gen)</a> を用いることで簡単にDatadogに送信できます。</p>
<p>Query ResultをBigqueryClientとDatadogClientを用いて送信するだけです。<br>
TypeScriptで書くとこのようになります。（※一部抜粋）</p>
<pre><code class="language-typescript">  const slots: v2.MetricSeries = {
    metric: '${metric_name}',
    type: 2,
    interval: 1,
    points: points,
    tags: [`project:${projectId}`, `task:${task}`],
  };

  const params: v2.MetricsApiSubmitMetricsRequest = {
    body: {
      series: [slots],
    },
  };

  apiInstance
    .submitMetrics(params)
    .then((data: v2.IntakePayloadAccepted) =&gt; {
      console.log('API called successfully. Returned data: ' + JSON.stringify(data));
    })
    .catch((error: any) =&gt; console.error(error));
</code></pre>
<p>この関数をDeployするには</p>
<pre><code class="language-bash">gcloud functions deploy $FUNCTION_NAME \
  --project=$GCP_PROJECT \
  --region=$REGION \
  --runtime nodejs14 \
  --entry-point=index \
  --gen2 \
  --source ./build \
  --trigger-topic=$TOPIC_NAME \
  --trigger-service-account=$TRIGGER_SERVICE_ACCOUNT_ADRESS \
  --service-account=$SERVICE_ACCOUNT_ADRESS \
  --retry \
  --timeout=180s \
  --set-env-vars=DATADOG_APP_KEY=$DATADOG_APP_KEY,DATADOG_API_KEY=$DATADOG_API_KEY
</code></pre>
<p>というgcloudコマンドだけでdeployできます。</p>
<p>さらに、このFunction を Cloud Scheduler で定期的に実行します。<br>
ただし、あまりにも頻度が高いとslotに負荷をかけるため、10分おきに実行しています。</p>
<p>結果として、送信したMetricsを用いて以下のようなDashBoardを構築しました。<br>
<img src="https://ik.imagekit.io/plaid/61cdd26c-0f08-4fbd-b796-63bbce5c8612/datadog_top_v2.png" alt="datadog_top_v2.png"></p>
<p>これにより、どのJobがどの時間に大きなSlotを消費しているのかが、一目瞭然になります。<br>
消費Slotの多い上位のJobをターゲットにして、それぞれ個別に対策を行います。</p>
<h2>② AutoScaleの導入によるSlotBaseLineの最適化</h2>
<p>BigQueryのコスト削減のためには、<a href="https://cloud.google.com/bigquery/docs/slots-autoscaling-intro?hl=ja">AutoScale</a> を利用することも有効です。AutoScaleは、BigQueryの利用状況に応じて、自動的にリソースをスケールアップまたはスケールダウンする機能です。AutoScaleを利用することで、余剰していたBaseLineを最適化し、コストを削減することができます。</p>
<p>弊社はReservationという単位でProductごとに個別のSlotを持っているため、個別に利用状況を判断し調整します。<br>
例えば Datahub というProductではdatahub独自のSlotをReservationとして占有しており、サービス提供に支障がないように余裕をもったBaseLineを敷いていました。<br>
しかし、休日深夜帯などほとんど利用されていないような時間帯でも、BaseLine分の料金は課金されてしまうことになります。<br>
これを最適化するために導入されたのが、AutoScaleです。</p>
<p>そうなるとBaseLineを全部0にしてしまえばいい感じに最適化されるのでは？と疑問に思うかもしれませんが、一方でBaseLineにはCommitという概念があり、<a href="https://cloud.google.com/bigquery/pricing?hl=ja#flat-rate_pricing">年間契約</a>することにより割引価格が適用できます。</p>
<p>そのため、固定分を割引価格で、変動分を定価で、のような使い方をすることができるため、一概に0にするのが正解とはいえません。</p>
<p>これらを考慮した上で、弊社で最適化した結果が以下の通りです。<br>
<img src="https://ik.imagekit.io/plaid/daa0289b-1fe7-4024-9dca-440bebed292d/slot_autoscaling.png" alt="slot_autoscaling.png"></p>
<p>いかがでしょうか。利用量に応じて動的にSlotがAutoScaleしていることがわかると思います。<br>
ただし、BaseLineと違って変動分にどれくらいのコストがかかっているのか？がなかなかConsoleだけだとわかりにくいので、こちらもDatadogに送信すると以下のような画面になります。<br>
これによりBaseLine+AutoScaleの料金の見積もりと監視が容易になります。<br>
<img src="https://ik.imagekit.io/plaid/a741e551-2926-4af0-a77b-1edc77c04a38/datadog_autoscale.png" alt="datadog_autoscale.png"></p>
<p>ただし、AutoScaleも完璧ではなく、Scaleup/downでOverHeadの時間はかかります。<br>
弊社の要件であると、「軽いクエリで必ず1,2sec以内で結果を返して欲しい」という要件も一部存在します。その場合は、interactive用のReservationを別途確保して、BaseLineを100や200で設定することで、この問題を解決することが可能です。</p>
<p>最も大事なのは、<strong>Productごとに要件を把握し適切にReservationを配分する</strong>ことであり、前回同様変わらないです。Product Teamとしてはもちろん余剰にSlotを使えた方が楽なのですが、会社全体としての予算があり、あくまでその配分の中で最適化するというのを理解してもらうことが大事です。</p>
<h2>最終的なコストは...?</h2>
<p><strong>全体で約20%のコスト削減を実現</strong> することができました。<br>
年間にして***円(非公開)の効果で、弊社の基盤としてはかなりのインパクトがありました。</p>
<p>以上のように<br>
① Monitoringの整備によるJobごとのSlot監視と削減<br>
② AutoScaleの導入によるSlotBaseLineの最適化全体</p>
<p>でBigQuery全体として、約20%のコスト削減を実現しました。</p>
<p>BigQueryのUpdateは特に早く、コストの最適方法はその都度変化するため、継続的に検討を行う必要があります。今回の方法は主にEditionsへの移行に伴う最適化でしたが、今後のUpdateに伴ってより良い方法が出る可能性があります。ご自身の環境へ適用する場合は、最新のドキュメントを参照の上、ご検討下さい。</p>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営する<a href="https://plaid.co.jp/">PLAID</a>では、データを活用しプロダクトを改善していくエンジニアを募集しています。<br>
詳しくは、<a href="https://recruit.plaid.co.jp/">弊社採用ページ</a>をご覧ください。</p>


BigQuery Editionsにおけるコスト最適化

BigQueryのコストの最適化への再挑戦〜BigQuery Editionsへの料金体系の移行について〜

社内で脆弱性診断を行なっている理由や、どのように診断から修正までを行なっているか、また社内で脆弱性診断をやることでどのような変化が起きたかについて紹介します。

社内でのプロダクト脆弱性診断の方法、継続することで見つかる脆弱性の傾向の変化

今回のブログではプラットフォームチームにて取り組んだ、異なるデータベース間のリアルタイムレプリケーションについて解説いたします。

MongoDB AtlasからBigQueryへのリアルタイムレプリケーション

<p>初めまして！エンジニアのとさ (@tosa_now)です！</p>
<p>プレイドは、2023/10/28 (土) に開催された<a href="https://vuefes.jp/2023/">Vue Fes Japan 2023</a>にゴールドスポンサーとして協賛しました。</p>
<p>スポンサーブースの運営をする機会をいただき、参加者の皆さんに<a href="https://karte.io/">KARTE</a>のデモや現在作成中の機能についての説明やお話をすることができました。</p>
<p>今回のブログでは、参加したVue Fes Japanの様子をお伝えできればと思います。</p>
<p>今回スポンサーとして参加した理由は、PLAIDが開発しているKARTEというプロダクト内ではなんとVueが0系の時から利用しており、現状でも管理画面の大部分がVueで書かれておりコミュニティに助けられているので少しでも還元したいという思いから参加しました！</p>
<h2>Vue Fes 当日の様子</h2>
<p><img src="https://ik.imagekit.io/plaid/20f62fe9-7a00-4d55-b0bc-8e3702e7b810/1000002289.jpg" alt="1000002289.jpg"><em>スポンサーブースの準備完了後の写真</em></p>
<p>主にブースではKARTEのプロダクト説明をメインで行っていました。<br>
来訪してくださった方とVue2からVue3への移行をどのように進めているのかなどの技術雑談話でもりあがりました。</p>
<p><img src="https://ik.imagekit.io/plaid/bcbfc85c-7535-4087-a132-75fbb2c890cc/IMG_4361.jpg" alt="IMG_4361.jpg"><em>エンジニアのnichimuさんがスポンサーブースに立っている様子</em></p>
<p>プロダクト説明では、<a href="https://blocks.karte.io/">KARTE Blocks</a>と新機能であるエレメントビルダーを開発しているエンジニアのjunjun (@junish_js) さんによるデモで大いに盛り上がりました！！</p>
<p>エレメントビルダーの開発の裏側は<a href="https://cxclip.karte.io/products/developer/action-editor/">こちら</a>の記事で解説しています</p>
<p><img src="https://ik.imagekit.io/plaid/4a62f6c0-d15d-49ff-a81f-cb11fe87f2d6/IMG_4364.jpg" alt="IMG_4364.jpg"><em>エンジニアのjunjunさんがプロダクト説明をしている様子</em></p>
<p>とさの個人的な趣味でVue Fesの開催二日前に発売されたHHKB Professionalのお試し会も開催しました。興味を持ってくださる方が多くて嬉しかったです。<br>
<img src="https://ik.imagekit.io/plaid/00ea3072-8ce7-4ef7-ad70-6a0cfcf0e2a3/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-11-0510.53.04.png" alt="スクリーンショット2023-11-0510.53.04.png"></p>
<p>Vue Fesのスポンサーブース全体が賑やかでどの企業さんも回っていてとても楽しかったです。</p>
<h3>参加した開発メンバーの感想</h3>
<p>デザイナーの今西さん<br>
今回、ブース対応を初めて担当し、KARTEの魅力が少しでも伝わっていれば嬉しいなと思います。ひさしぶりのオフラインカンファレンスということで、当日は大いに盛り上がり、とても楽しい1日を過ごすことができました！</p>
<p>エンジニアのjunjunさん<br>
Vue Fesにスポンサーとして参加したのが新鮮でした。また、イベントは参加者と交流するという楽しみかたがあるんだと気づきました。私はVue Fesがきっかけでプレイドを知って入社したので、皆さんも知っていただけたら嬉しいです。またお会いましょう！</p>
<h3>おわりに</h3>
<p>Vue Fesのスタッフの皆さん、準備及びに当日の運営ありがとうございました！<br>
PLAIDはこれからもVue.jsのコミュニティグループの活動を応援しています。</p>
<p><img src="https://ik.imagekit.io/plaid/a0f082ec-3452-4958-a31d-50c506335c07/1000002292.jpg" alt="1000002292.jpg"><em>ブース撤収直後のサインボードの様子</em></p>


株式会社PLAIDはVue Fes Japan 2023にゴールドスポンサーとして参加して、スポンサーブースの運営を行いました！

Vue Fes Japan 2023にゴールドスポンサーとして参加しました！

KARTE 管理画面のパフォーマンスの監視をするにあたって考えたことや Datadog の活用のポイント、改善で取り組んだことについて紹介します。

Datadog を使った KARTE 管理画面パフォーマンス改善の取り組み

ABテストのための統計的検定理論というタイトルで、株式会社ユーザベースさんとの共同開催テックイベント「ABテストの理論と実践」に登壇しました

プレイドでの開発インターン: 3ヶ月のフルタイムエンジニアとしての挑戦を経て

<p>Developers Summit 2023 Summerにて「ユーザー体験と編集体験を支えるビルドアーキテクチャ」について話をしてきました。<br>
イベント詳細は<a href="https://event.shoeisha.jp/devsumi/20230727">こちらのイベントページ（Developers Summit公式）</a>をご覧ください。</p>
<div class="iframely-embed" data-embedded-url="https://event.shoeisha.jp/devsumi/20230727"><div class="iframely-responsive" style="height: 140px; padding-bottom: 0;"><a href="https://event.shoeisha.jp/devsumi/20230727" data-iframely-url="//cdn.iframe.ly/api/iframe?card=small&url=https%3A%2F%2Fevent.shoeisha.jp%2Fdevsumi%2F20230727&key=878c5bef402f0b2911bf6d4ce6261abd"></a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<p>関係者各位には、登壇機会いただけましてありがとうございます！</p>
<p>発表資料はこちら（Speaker Deck）：<br>
<a href="https://speakerdeck.com/player/b435db5d640740349140fc91bb704fa9">ユーザー体験と編集体験を支えるビルドアーキテクチャ</a></p>
<iframe class="speakerdeck-iframe" frameborder="0" src="https://speakerdeck.com/player/b435db5d640740349140fc91bb704fa9" title="ユーザー体験と編集体験を支えるビルドアーキテクチャ" allowfullscreen="true" style="border: 0px; background: padding-box padding-box rgba(0, 0, 0, 0.1); margin: 0px; padding: 0px; border-radius: 6px; box-shadow: rgba(0, 0, 0, 0.2) 0px 5px 40px; width: 100%; height: auto; aspect-ratio: 560 / 315;" data-ratio="1.7777777777777777"></iframe>
<p>内容自体は後日記事にしてあげてくださるかと思いますので、この記事では発表に付随する内容をちょっと書こうかと思います。</p>
<h2>フロントエンドアーキテクチャ</h2>
<p>まずタイトルにある「ビルドアーキテクチャ」という言葉ですが、多分聞いたことないかと思います。実際Googleで検索してもヒットしません。今回の発表で使った造語です。<br>
アーキテクチャと言われるとどうしてもインフラ構成とかバックエンドシステムなど、いわゆる「システムアーキテクチャ」の話がされることが多いかと思います。</p>
<p>ただ、我々がエディタというシステムを開発して感じたこととして、「フロントエンドのアーキテクチャ」もかなり複雑でかつ重要なものに進化してきている、ということです。<br>
例えば、ReactやVue.jsなどでフロントエンドの各パーツが連動して動く仕組み、今回のビルドのようにフロントエンドで複数プロセス（Worker）が連携して動く処理、サーバサイドレンダリングなどサーバでの処理自体もフロントエンドから見て１プロセスのように動く仕組み、など、多くの「フロントエンドアーキテクチャ」と呼んで良い構成が見られます。<br>
今回の発表チャレンジしたかったこととして、アーキテクチャと言った時に、バックエンドの大規模システムだけではなく、フロントエンドのブラウザ内アーキテクチャにも興味持ってもらえる人が増えると良いなと思って発表をしました。</p>
<h2>We are hiring!</h2>
<p>というわけで、大規模トラフィックを捌くシステムアーキテクチャを作りたい人ももちろん募集しておりますが、フロントエンドのアーキテクチャにこだわって、より良いユーザー体験のために技術に投資していける人材もガンガン募集しております！</p>


発表した内容の補足などを記載しました。

アクションをビルドするためのアーキテクチャについて、Developers Summit 2023 Summerで発表してきました

<p>一般社団法人 日本CTO協会(本社：東京都渋谷区／代表理事：松岡剛志)により発表された「<a href="https://dxd2023.cto-a.org/dxaward">Developer eXperience AWARD 2023</a>」にて、26位で去年に引き続きランクインさせていただきました。去年の29位よりランクアップです！</p>
<p>そのため、今回はどのようにしてプレイドでは開発者体験を向上させているか、そのために行なっていることをいくつかピックアップしてみました。</p>
<h2>開発環境改善への投資</h2>
<p>プレイドでは開発体験を向上させるために、継続的に開発環境やその環境の改善を行なっています。例えば本番環境でkubernetesを使っているのですが、開発環境でもそのkubernetesを活かすべく仕組みを導入して試しています。<br>
<a href="https://tech.plaid.co.jp/our-seeking-to-stable-k8s-deployment">Our seeking to stable k8s deployment.</a><br>
<a href="https://tech.plaid.co.jp/intern_qualt_environment">PLAIDのインターンを振り返って ~ 開発環境の改善がもたらす新機能リリースの効率化 ~</a></p>
<p>また、開発者の生産性向上のためにコストもかけており、例えば好きに経費を使えるProPayという制度などもあります。CPOも「環境投資は死ぬほど安い！！」と言っており、モニタ・キーボード・椅子etcなどのすぐできる環境投資も積極的に行っています。</p>
<h2>開発プロセスの改善</h2>
<p>開発体験の大きな要素である開発プロセス自体も改善の対象にしており、毎Quarterごとに進め方のトライを行なって、プロセス自体のアップデートを行なっています。<br>
<a href="https://speakerdeck.com/kadoppe/wei-zhi-falsegu-ke-nitotutemojia-zhi-arupurodakutowosheng-michu-su-cbf6e740-66f8-4056-a1a7-08b0c7bbfe57">未知の顧客にとっても価値あるプロダクトを生み出す</a></p>
<p>そんな環境のため、エンジニアもプロダクトや課題解決にフォーカスして、目的思考で開発できる環境ができています。<br>
<a href="https://www.wantedly.com/hiringeek/interview/rc_ttb9/">プレイドが自律・分散型チームをつくる上で大切にしたコト｜#9 プレイドCPO柴山氏｜TECH TEAM BUILDERS</a><br>
<a href="https://tech.plaid.co.jp/plaid-engineer-culture-from-new-employee">入社4ヶ月で感じたプレイドエンジニアの組織文化</a></p>
<h1>募集しています</h1>
<p>プレイドでは現在エンジニアを積極採用中です！少しでもご興味ある方がいましたらぜひお話を聞きにきてください。もっと具体的なお話もできるかと思いますので、少しでも気になった方はぜひ聞きにきてください！</p>
<p><a href="https://recruit.plaid.co.jp/engineer">Engineering at PLAID</a></p>


日本CTO協会のDeveloper eXperience AWARD 2023で去年に引き続き、26位にランクインさせていただきました。この記事ではプレイドでどんなDXのためにどんな考え方で開発者環境を作っているか、ざっくりとまとめてみました。

Developer eXperience AWARD 2023の上位30にランクインしました！

<h1>Introduction</h1>
<p><a href="https://tech.plaid.co.jp/blits_pre_aggregation">前編</a>の記事では、Personalizationに特化したリアルタイムユーザー解析エンジン（Blitz）のコンセプトとPre-Aggregation手法を説明しました。</p>
<p>今回は刷新された解析エンジンのコア要素である「強整合な解析」を実現するアーキテクチャのポイントを紹介します。</p>
<h2>強整合な解析とは何か？</h2>
<p>プレイドの新しい解析エンジンでは、とあるユーザーのイベントが発生した際、過去も含めたイベント履歴やユーザーごとの統計値を元にフィルタリングを行うことができます。</p>
<p>強整合な解析とは、フィルタリングを行うユーザーの統計値が必ず最新の状態であること、つまり過去全てのイベント履歴が反映されていることを指します。</p>
<p>やりたいことはとてもシンプルですが、秒間最大13.4万イベントが発生する高トラフィック、かつ数百ms内の低レイテンシーが求められる状況下で、ユーザーの統計値を常に最新に保つことは技術的に難しい問題です。</p>
<p>これからその技術的課題とどういうアーキテクチャを元に解決したのかを話していきます。</p>
<pre><code class="language-js">{
  $meta: {
    name: &quot;nashibao&quot;,
    isMember: 1
  },
  $buy: {
    items: [{
			sku: &quot;xxx&quot;,
			price: 1000,
    }]
  }
}
</code></pre>
<p>[図1: イベントデータ]</p>
<pre><code class="language-js">match(&quot;userId-xxx&quot;,
  DAY.Current('$meta.isMember', 'last') = 1,
  ALL.Current('$buy.items.price', 'avg') &gt;= 10000,
  WEEK.Previous('$buy.items.price', 'sum') &lt;= 100,
  WEEK.Previous('$session', 'count') &gt; 10,
  ...
)
</code></pre>
<p>[図2: ルール定義の擬似コード]</p>
<p><em>これは “userId-xxx” が “会員” であり、1年間では購買単価が1万円以上で、先週のセッション数が10以上に関わらずほとんど買い物に繋がらなかったユーザー なのかどうかを検証するルールを示した疑似コードです。</em></p>
<h2>刷新前の解析エンジンのアーキテクチャとその課題</h2>
<p>今回刷新される前の解析エンジンのアーキテクチャとその当時の課題をまずお話しします。</p>
<p>以前はリアルタイム解析を行うコンポーネント（Track）と非同期にでユーザーの統計値を更新するコンポーネント（Analyze）の二つで構成されていました。</p>
<p><img src="https://ik.imagekit.io/plaid/2bfde737-4163-435f-baba-37ec7bf299d9/Track_Architecture.png" alt="Track_Architecture.png"></p>
<p>[図3: 刷新前の解析エンジンのアーキテクチャ]</p>
<p>このアーキテクチャのポイントは</p>
<ul>
<li>リアルタイム側（Track）では、事前に生成されたユーザーの統計値をKey-Value Storeから読み込みするのみで書き込みは行わない</li>
<li>非同期側（Analyze）でキューに積まれたイベントをまとめて処理する</li>
</ul>
<p>です。</p>
<p>高速なKey-Value Storeからの読み込みによってリアルタイム解析を1秒以内に抑えつつ、非同期側で効率良く処理し、Key-Value Storeの書き込みの負荷を抑えていました。</p>
<p>ただ、タイミングによっては非同期側（Analyze）で処理中のイベントがユーザーの統計値に反映されない状態が発生しえます。そのため、リアルタイム側では常にユーザーの統計値を一貫した状態に保つことが難しい状況でした（結果整合な解析）。</p>
<h2>結果整合 → 強整合な解析にするためのアーキテクチャ</h2>
<p>上で説明した技術的な課題を踏まえ、図4が刷新後のアーキテクチャです。既存からの変更点としては、</p>
<ul>
<li>リアルタイム側のサーバーを二つに分割し、まずフロントエンドサーバーは分散キューにイベントを書き込む</li>
<li>リアルタイム側のバックエンドサーバーは、イベントを分散キューから読み込み、解析を行う</li>
</ul>
<p><img src="https://ik.imagekit.io/plaid/65e3e998-8b4a-484c-bf51-9638556e3f25/Blitz_Architecture.png" alt="Blitz_Architecture.png"></p>
<p>[図4: 刷新後の解析エンジンのアーキテクチャ）</p>
<p>この変更によって、ユーザーの統計値に未反映のイベントが存在したとしても、リアルタイム解析のバックエンドサーバー側で分散キューを読み込むことで、常にユーザーの統計値を最新の状態に保つことができるようになりました。</p>
<p>つまり分散キューを前段に置くことで強整合な解析を実現しました。</p>
<p>ただ、解析を数百ms以内に行うという解析エンジンの制約があるため、この分散キューに求められる性能要件はとても厳しいものとなります。</p>
<p>次にどうこの分散キューを実現したのかの話をしていきます。</p>
<h2>高スケーラビリティかつ低レイテンシな分散キューの実現方法</h2>
<p>この分散キューには以下の通り、厳しい性能要件があります。</p>
<ul>
<li>高スケーラビリティ
<ul>
<li>高トラフィックなイベント数に対してスケールできる</li>
<li>参考値：日中のピーク時に書き込みリクエストが30,000 ops、書き込みデータ量が300MiB/s</li>
</ul>
</li>
<li>低レイテンシー
<ul>
<li>書き込み、読み込み共に10ms以内</li>
</ul>
</li>
</ul>
<p>既存のメッセージング系のサービスだと、高スケーラビリティと低レイテンシーを同時に満たすものがありませんでした。</p>
<table>
<thead>
<tr>
<th>サービス</th>
<th>高スケーラビリティ</th>
<th>低レイテンシー（10ms以内）</th>
</tr>
</thead>
<tbody>
<tr>
<td>Redis Queue</td>
<td>×</td>
<td>◯</td>
</tr>
<tr>
<td>Cloud PubSub</td>
<td></td>
<td></td>
</tr>
<tr>
<td>(with Ordering)</td>
<td>◯</td>
<td>×</td>
</tr>
<tr>
<td>Kafka</td>
<td>△</td>
<td>△</td>
</tr>
</tbody>
</table>
<p>そこで僕らは、低レイテンシーなKey-Value Storeと知られたCloud Bigtableを用いて分散キューを実現しました。これからその具体の方法を紹介していきます。</p>
<p>Cloud Bigtableは主にKey-Valueストアとして知られ、一桁ミリ秒単位の低レイテンシーかつ水平スケールすることができます。僕らが着目したのは、行キーの開始と終了を指定したレンジスキャンも同じく高速であるという点です。</p>
<p>具体的な分散キューのスキーマを説明すると以下のような形になります。</p>
<pre><code>行キー = ${プレフィックス}_${ユーザーID}_${イベントのtimestamp}
バリュー = イベントデータ
</code></pre>
<p>ポイントは末尾につけたイベントのtimestampです。これによって、イベントのtimestampの開始・終了を指定してレンジスキャンすることができるようになります。</p>
<p>また、Cloud Bigtableの<a href="https://cloud.google.com/bigtable/docs/garbage-collection?hl=ja">ガベージコレクション機能</a>を用いてTTLを設定することでキューとして古いデータを削除する機能を簡単に実現することができました。</p>
<p>まとめると、Cloud Bigtableの行キーのスキーマ設計やガベージコレクション機能を工夫することで、水平スケール可能かつ10ms以内のレイテンシーで収まる分散キューを作ることができました。</p>
<h2>最後に</h2>
<p>今回はリアルタイムユーザー解析エンジン（Blitz）のコアである強整合な解析を実現するためのアーキテクチャ・具体の実装方法を紹介しました。</p>
<p>解析エンジンの中には高いパフォーマンス（低レイテンシーや安定的な高スループット）を出すための技術的な工夫がまだまだいっぱい施されています。</p>
<p>特に低レイテンシーを実現するためのキャッシュ戦略について、他のエンジニアから今後話してもらう予定です。是非楽しみにしていてください。</p>


PLAIDではPersonalizationに特化したリアルタイムユーザー解析エンジン（Blitz）を自分達で開発し、KARTEの基盤として使ってきました。今回新たに刷新した解析エンジンのコア要素である「強整合な解析」を実現する具体的なアーキテクチャ、技術選定の内容を紹介します。

Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術（強整合な解析） - PLAID engineer blog

Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術 - 強整合な解析 - 

Engineer Blog

Recent Article