Engineer Blog

Takumi Ishii

Katsumi Kobayashi

Kota Momoki

Calloc

Shohei Shiraki

Takaaki Kanetsuki

Yui Taniyama

Kota Yatagai

Shuhei Kondo

kenshin tanaka

KARTE Team

Security Team

Tomoya Koike

Haruki Tosa

Daiki Sakuma

Takuma Shibuya

plaidinc

Takami Yamada

Blocks Team

Takanori Koga

Takumi Katayama

Yu Nishimura

Takuya Ogawa

akira.kasuga

Kosuke Oya

Yoshiyuki Komazaki

mizchi

Ryosuke Suzuki

koichi tanaka

Arnaud Avondet

kazupon

daigo.isamatsu

Jun Kusahana

Shinnosuke Ozawa

Rei Ishikawa

Hiroto Harada

Kei Tamiya

Nobuhiro Ito

kazushi oohira

Yohei Meguro

Kazuto Kojima

Tomoki Koga

Kenichi Suzuki

Takaaki Nakama

Takahiro Tokunaga

Kohei Kadowaki

kantetsu

Makoto Kataigi

Tatsuya Monoi

Jumpei Ikegami

Masahiro Yamauchi

Shinji Eto

Yuta Nishimura

Hideyuki Okada

Wataru Ikarashi

Naoto Kato

Yuki Makino

Atsushi Fujikawa

Naohiko Takemura

Daikichi Sasamori

Atsushi Kobayashi

Naoki Shibayama

Daiki Matsui

Yohei Noda

<p>エンジニアの石井と申します。</p>
<p>プレイドは2024年7月9日 (火) に開催された <a href="https://www.cnia.io/pek2024/">Platform Engineering Kaigi 2024</a> にゴールドスポンサーとして参加いたしました。スポンサーセッションでは「モノリス開発の名残からの脱却、マルチプロダクト開発における多様な開発者のニーズに応える使い勝手と堅牢性を追求した認可基盤刷新の過程と工夫」というタイトルで登壇させていただきました。</p>
<p>かつて <a href="https://karte.io/">KARTE</a> がモノリスだった頃の名残を留めていた認可基盤とその問題点、刷新後のアーキテクチャや安全な移行のために施した工夫などについてお話ししています。</p>
<p>この記事では、発表内容を紹介しつつ、構成上発表に含めなかった内容や当日いただいた質問への返答コメントも一部紹介しています。録画もございますので、発表内容の全体についてはそちらも合わせてご覧ください。</p>
<div style="left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.1972%;"><iframe title="モノリス開発の名残から脱却、マルチプロダクト開発における多様な開発者のニーズに応える使い勝手と 堅牢性を追求した認可基盤刷新の過程と工夫" src="https://speakerdeck.com/player/be7d5d49f7104e4196a52f3b72fb25fb" style="top: 0; left: 0; width: 100%; height: 100%; position: absolute; border: 0;" allowfullscreen scrolling="no"></iframe></div>
<div style="left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.25%;"><iframe title="Platform Engineering Kaigi 2024 トラックB" src="https://www.youtube.com/embed/Hsob6TGTAPo?rel=0&start=21735" style="top: 0; left: 0; width: 100%; height: 100%; position: absolute; border: 0;" allowfullscreen scrolling="no" allow="accelerometer; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share;"></iframe></div>
<h1>概要</h1>
<p>昨今の KARTE ではマルチプロダクト展開が進んでおり、コードやデータベースは分割されていますが、認可基盤だけは全てのプロダクトで共通のコードを利用していました。これはいくつかの問題を抱えていました。</p>
<p><img src="https://ik.imagekit.io/plaid/899c8100-634a-4bc5-8b06-59869a8ec6b1/express-server.png" alt="express-server.png"></p>
<p>そこで、まずは新たな認可基盤のアーキテクチャについて検討しました。認可基盤を一枚岩のものとして構築するか、あるいは分散させて配置するか、どちらも一長一短があり迷いましたが、最終的には分散させる方針に決定しました。アプリケーションが稼働する Pod それぞれに対して、認可のためのコンテナをサイドカーとして配置しています。</p>
<p><img src="https://ik.imagekit.io/plaid/193ea499-4c4e-4eed-bdf8-6c4fe0ba061c/karte-gateway.png" alt="karte-gateway.png"></p>
<p>認可用のコンテナには、アプリケーションごとに異なる認可の設定を施す必要があります。設定をどのように渡すべきかもいくつか選択肢がありましたが、最終的にはコンテナの中に組み込むことにしました。KARTE のデプロイには GitOps が採用されていますが、それに伴うリポジトリ構成なども考慮した上で、このような結論に至りました。</p>
<p><img src="https://ik.imagekit.io/plaid/17cc665e-3b1f-4051-8818-e05f91b80f40/karte-gateway-simplified-config.png" alt="karte-gateway-simplified-config.png"></p>
<p>KARTE にはエンドユーザー、すなわちプレイドにとってのお客様 (企業) のお客様 (ユーザー) の個人情報が蓄積されています。そのため認可基盤のバグ、特に本来拒絶すべきリクエストを誤って許容してしまうケースが生じないように注意を払いました。従来の認可機構と二重で認可を行いつつ、問題があればアラートが鳴るよう仕込んだ上で、徐々に移行を進めました。</p>
<p><img src="https://ik.imagekit.io/plaid/fa702baf-adcd-4b46-aa7c-0bc7a835df82/authentication-migration-2.png" alt="authentication-migration-2.png"></p>
<p>認可基盤の移行はほぼ完了していますが、運用自体はまだ始まって間もない段階です。現在の形に至るまでの意思決定が適切なものであったかどうかは、今後の過程で検証されていくでしょう。</p>
<h1>おまけ</h1>
<p>時間の都合で今回の発表からは省きましたが、アーキテクチャを検討していた時期には、どのように Pod にサイドカーを入れるのかについても議論がありました。</p>
<p>最初に参考にしたのは Istio です。今回お話しした認可基盤はサービスメッシュとは異なりますが、プロキシとして動作するサイドカーを利用するという点では似通っています。そのため、Istio と同じようなサイドカーインジェクションの仕組みが使えるのではないかと考えました。</p>
<p>しかし検討の末、このやり方は見送ることにしました。もしこれを採用する場合、Kubernetes の Admission Webhook を利用してサイドカーを注入する想定でした。しかし</p>
<ul>
<li>Admission Webhook のための追加実装が必要になる</li>
<li>GitOps によって karte-ops リポジトリの Kubernetes マニフェストと GKE 上で稼働するリソースの同期が取られているが、Admission Webhook が介入するとサイドカーがどこで追加されたものなのかわかりにくくなる</li>
</ul>
<p>という懸念が挙げられました。そして最終的には karte-ops リポジトリのマニフェストに直接サイドカーの設定を追加することになりました。</p>
<p>さて、当日いただいた質問の一つに「認可基盤のサイドカーがない状態でデプロイすることを防ぐ仕組みはあるか」というものがあります。上述の通り、認可基盤のサイドカーは自動ではインジェクションされないため、現時点ではそのリスクがあります。しかしマニフェストに対しては conftest を実施しており、事前に定義したルールに沿った設定になっているかを CI でチェックしています。サイドカーなしのデプロイもこれで検知できるのではないかと考え、検討を進めています。</p>
<h1>最後に</h1>
<p>当日のブースにご来場いただいた皆様、セッションをお聞きいただいた皆様、ありがとうございました。個人的には初の登壇でしたが、貴重な経験をさせていただいたことに感謝申し上げます。</p>
<p>そしてイベントのスタッフの皆様、企画ならびに運営のほどありがとうございました。Platform Engineering というテーマに思いを馳せつつ、さまざまな学びを得ることができる良い機会となりました。</p>
<p>今後のプレイドにとっても Platform Engineering は重要なテーマです。今回の参加で得た学びを活かしつつ、日々の開発に取り組んでまいります。</p>


Platform Engineering Kaigi 2024の登壇者によるレポート記事です。「モノリス開発の名残からの脱却、マルチプロダクト開発における多様な開発者のニーズに応える使い勝手と堅牢性を追求した認可基盤刷新の過程と工夫」と題したセッションの発表内容を紹介しています。

Platform Engineering Kaigi 2024登壇レポート_プレイドエンジニアブログ

Platform Engineering Kaigi 2024登壇レポート

インターンシップで全社のMongoDBをアップデートした話

BigQueryを題材にし、大規模なデータベースでの分散処理の仕組みについて紹介します。

BigQueryの分散処理の仕組みを深掘りする_プレイドエンジニアブログ

BigQueryの分散処理の仕組みを深掘りする

<p>こんにちは。プレイドで技術領域の広報などを担当しているmomoki (<a href="https://twitter.com/mmk__106">@mmk__106</a>)です。</p>
<p>プレイドは、2024年5月8日に開催された「<a href="https://gen-ai-conf.org/">生成AIカンファレンス2024</a>」にシルバースポンサーとして参加しました。今回は、当日のイベントの様子やプレイドとして行ったことを紹介します。</p>
<h1>イベントへの参加の経緯</h1>
<blockquote>
<p>生成AIカンファレンスは、この革新的な分野の専門家が集まる、国内最大規模の生成AIイベントの一つです。スタートアップのCEO/CTO、大手企業のリーダー、トップレベルの研究者たちが登壇し、最新の知見と経験を共有します。（<a href="https://gen-ai-conf.org/#:~:text=keyboard_arrow_right-,Concept,-%E7%94%9F%E6%88%90AI%E3%81%AF">生成AIカンファレンス2024 Webサイト</a>より）</p>
</blockquote>
<p>生成AIカンファレンス2024は、その名の通り生成AIの専門家や注力して取り組む企業・団体が参加するイベントです。プレイドにおいても、<a href="https://pdf.irpocket.com/C4165/RzLT/uAgQ/HejY.pdf#page=47">IR資料</a>で中長期成長に向けた主要な取り組みの一つとして「データ分析/活⽤に⼤規模⾔語モデル(LLM)などの新しいAI技術を本格活⽤」を掲げ、さまざまな取り組みを進めています。<br>
<img src="https://ik.imagekit.io/plaid/0b0eaedf-e21e-4d2f-b982-e3cf0b1ca3f4/plaid_ir_24-2_P47(1).png" alt="plaid_ir_24-2_P47(1).png"></p>
<p>ユーザーの行動データの分析と生成AIをかけ合わせて、セグメンテーションの⾼度化・⾃然⾔語によるラベルなどへの活用を進め、またプレイドグループで提供する各プロダクトにおける生成AIの機能的な活用も強化しています。そして、今後のさまざまな活動の加速・拡大に繋げるために、生成AIカンファレンス2024に参加することになりました。</p>
<h2>プレイドの生成AI活用の活動例</h2>
<h3>『生成AIによる次世代のユーザー行動解析』 : Google Cloud主催「Google Cloud Next Tokyo ’23」にて</h3>
<div class="iframely-embed" data-embedded-url="https://cloudonair.withgoogle.com/events/next-tokyo/watch?talk=d2-aiml-03"><div class="iframely-responsive" style="padding-bottom: 52.4126%; padding-top: 120px;"><a href="https://cloudonair.withgoogle.com/events/next-tokyo" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fcloudonair.withgoogle.com%2Fevents%2Fnext-tokyo%2Fwatch%3Ftalk%3Dd2-aiml-03&key=878c5bef402f0b2911bf6d4ce6261abd">Google Cloud Next Tokyo ’23</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h3>PaaSプロダクト「<a href="https://ecosystem.plaid.co.jp/product/karte-craft">KARTE Craft</a>」で作成する汎用プログラムの活用を支援してくれるAIアシスタント「Craft Functions Copilot」</h3>
<div class="iframely-embed" data-embedded-url="https://tech.plaid.co.jp/ms-ai-craft-functions-copilot"><div class="iframely-responsive" style="padding-bottom: 52.5%; padding-top: 120px;"><a href="https://tech.plaid.co.jp/ms-ai-craft-functions-copilot" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Ftech.plaid.co.jp%2Fms-ai-craft-functions-copilot&key=878c5bef402f0b2911bf6d4ce6261abd">Microsoft の AI 技術 をベースに構成される Craft Functions Copilot</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h3>『RightTouchのLLM活用のこれまでとこれから』</h3>
<div class="iframely-embed" data-embedded-url="https://blog.righttouch.co.jp/llm"><div class="iframely-responsive" style="padding-bottom: 52.3%; padding-top: 120px;"><a href="https://blog.righttouch.co.jp/llm" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fblog.righttouch.co.jp%2Fllm&key=878c5bef402f0b2911bf6d4ce6261abd">RightTouchのLLM活用のこれまでとこれから</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h1>当日のイベントの様子</h1>
<p>当日は、パネルディスカッションへの登壇とブース出展を行いました。</p>
<h2>パネルディスカッション「日本の生成AIをリードする企業に学ぶ、革新的アプリケーションの創造」</h2>
<p>プレイドからはCTOの牧野 <a href="https://twitter.com/makinoy">@makinoy</a> が参加し、<a href="https://algomatic.jp/">Algomatic</a>の南里 <a href="https://twitter.com/neonankiti">@neonankiti</a> さん・<a href="https://www.ai-shift.co.jp/">AI Shift</a> の青野 <a href="https://twitter.com/brn227">@brn227</a> さんとともに、生成AIカンファレンス運営代表の南野 <a href="https://twitter.com/tentenmitsunori">@tentenmitsunori</a> さんにファシリテートいただきました。LLMを使って世の中にどのように価値を届けていくかについて、「競合との差別化ポイントの作り方」「基盤モデルとの向き合い方」「開発するアプリケーションの決め方」という3つのお題に沿って、プレイドや牧野が考えていることをお話ししました。</p>
<p>参加チケットを購入されている方は、期間限定でアーカイブ動画が視聴できるので、ご参加頂いた方も見逃した方も、改めてぜひご覧ください。</p>
<p><img src="https://ik.imagekit.io/plaid/fdf832ec-69e1-45d7-8e42-ad0b24d17e75/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-05-1116.01.57.png" alt="スクリーンショット2024-05-1116.01.57.png"></p>
<h2>ブース : 開発中の生成AIを活用したプロダクトデモ紹介</h2>
<p>ブースでは、現在開発中の生成AIを活用したプロダクトデモを複数紹介していました。</p>
<h3>1. Craft Functions Copilot (β版)</h3>
<p>Craft Functions Copilot (β版) は、AIによるプロダクト活用支援機能です。KARTE Craftの使い方や機能開発に関する質問を行うと、その回答やコードの改善提案がリアルタイムで行われます。<br>
<img src="https://ik.imagekit.io/plaid/6de7966d-cb87-4f47-ab5d-a05aacbc6802/s-1280x720_c546f5ab-3a81-47b7-b3bf-3fc04f6defd3.gif" alt="s-1280x720_c546f5ab-3a81-47b7-b3bf-3fc04f6defd3.gif"></p>
<h3>2. RightSupport by KARTEにおける<strong>サポートシナリオの自動生成</strong></h3>
<p>ユーザーのWeb行動から蓄積された統計情報をもとに、特定のページでユーザーに提示すべきFAQ選択肢や、そこに誘導するためのヒアリング項目をLLMを用いて自動生成します。<br>
<img src="https://ik.imagekit.io/plaid/7704dbb6-5f36-4abe-855b-b8a72054ebf5/%E3%82%B7%E3%83%8A%E3%83%AA%E3%82%AA%E8%87%AA%E5%8B%95%E7%94%9F%E6%88%90%E7%B0%A1%E6%98%93%E7%89%88002.gif" alt="シナリオ自動生成簡易版002.gif"></p>
<h3>3. 商品閲覧履歴からセッション要約</h3>
<p>ユーザーの商品閲覧履歴からユーザーのそのセッションでの行動を要約したり、そのユーザーに対しての施策アイデアを提供します。<br>
<img src="https://ik.imagekit.io/plaid/6b5b3403-e882-4c04-8a15-6dd90539779c/%E7%94%BB%E9%9D%A2%E5%8F%8E%E9%8C%B2-2024-05-07-21.54.54(1).gif" alt="画面収録-2024-05-07-21.54.54(1).gif"></p>
<h2>ブース運営の工夫</h2>
<p>また、ブース出展においては、イベントに参加されている方に興味持っていただき立ち寄っていただけるような工夫を行いました。<br>
<img src="https://ik.imagekit.io/plaid/0b434906-1342-4729-be95-eaf9d971c6ba/Untitled.jpeg" alt="Untitled.jpeg"><br>
まずは端的に「デモを展示していること」がわかりやすく伝えるために、わかりやすく「生成AIデモ展示中！」と書いたパネルを社内のデザイナーに作成してもらいました。</p>
<p>立ち寄っていただく人が同時に複数いることも想定し、ディスプレイを2台持ち込むことは決めていたので、残りのスペースを最大限活用できる、かつ目立たせられるように、サイズ調整の提案をもらって変形A1サイズで作成しました。<br>
<img src="https://ik.imagekit.io/plaid/65b51dd7-6eda-46a5-8cb8-ed16ad07e20e/Layout.png" alt="Layout.png"><br>
ブースに立ち寄ってくれた方には、今回のために作成したオリジナルキャンディーと、プレイドグループの生成AI関連の除法を集めた<a href="https://recruit.plaid.co.jp/gen-ai-conf-2024">特設ページ</a>のQRコードが入ったカード、ステッカーなどを配布しました。いろいろとアイテムがあることで、イベント参加者の方々と話すきっかけがつくりやすく、とても重宝しました。</p>
<p>カードに記載した「Context Is All We Need.」というメッセージは、『<a href="https://arxiv.org/abs/1706.03762">Attention Is All You Need</a>』をオマージュしてCTOの牧野が考案したものです。立ち寄っていただいた方をはじめ、社内外の評判がとても良かったので、今後プレイドのAI関連のあれこれに使用していくかもしれません。</p>
<p>オリジナルキャンディーはマーケティングチームのノベルティ制作に知見があるメンバーとデザイナーにアイデアを出してもらい、<a href="https://candy-showtime.com/order/">CANDY SHOW TIME</a>さんに制作を依頼しました。見た目の区別はつきませんが、実は1つの袋に2つの味（フレーバー）の飴が入っています。制作段階で2種類選べたので、Apple味とIchigo味を指定したのですが、そのことを完全に忘れたまま、ブースに立つメンバーにも来場された方にも伝えることなくイベントが終わってしまいました。今後どこかの機会で見かけた際には、プレイドのAIキャンディーとして受け取ってください。<br>
<img src="https://ik.imagekit.io/plaid/5fa09b3b-4a4b-4ca7-bb94-95763bd8fcb5/Untitled(1).jpeg" alt="Untitled(1).jpeg"></p>
<p>今回のイベントでは、セッションが行われるメインホール（1箇所）に隣接する形でブースエリアが設けられており、セッション間の5~10分の休憩時間を中心に立ち寄る方が多くいました。ブースを10箇所まわるとプチギフトがもらえる企画が行われていたり、ブースエリアでフリードリンク配布が行われていたり、来場者がブースに立ち寄りやすくなる仕掛けがされていて、とてもありがたかったです。</p>
<p>そのような企画と、ご来場された方々のモチベーション・興味が高かったこと、プレイドメンバーの熱烈な呼び込み、デモを用意・訴求した甲斐もあり、本当にたくさんの方々にブースにお立ち寄りいただけました。「デモ見てみたいです」とお声掛けいただくことも多く、対応したメンバーの話を聞いて「今まで見たデモで一番おもしろかったです」「（学生なんですが）自分の研究がどう社会に活きるのか、少しイメージが湧きました」など言ってくれる方もいて、参加したメンバーやプレイドにとって良い機会にすることができました。</p>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr"><a href="https://twitter.com/hashtag/gen_ai_conf?src=hash&amp;ref_src=twsrc%5Etfw">#gen_ai_conf</a> 企業ブースではスタンプラリーを実施し、10このブースを回った方にはオリジナルチロルチョコを景品として配布しておりました🍫✨<br><br>いち早くGetされた方々、おめでとうございます🙌 <a href="https://t.co/IfNxPRYnTu">pic.twitter.com/IfNxPRYnTu</a></p>&mdash; 生成AI Conf実行委員会 (@gen_ai_conf) <a href="https://twitter.com/gen_ai_conf/status/1788110926694281322?ref_src=twsrc%5Etfw">May 8, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<h1>おわりに</h1>
<p>生成AIカンファレンスにご来場いただいた皆さん、セッションを視聴いただいた皆さん、本当にありがとうございました。</p>
<p>そして、イベントの企画・運営をしていただいた皆さん、素晴らしいイベントに関与させていただきありがとうございました。準備段階の相談・質問にも丁寧に対応していただいたおかげもあり、スムーズに準備・参加することができました。何よりも会場全体が熱気溢れていて、スポンサーという立場に限らず楽しく刺激あるイベントで最高でした。</p>
<p>今後もプレイドでは生成AI技術をはじめ、さまざまな領域・シーンで存在感を強めていけるように、面白い開発や企画に取り組んでいきます。Xアカウント (<a href="https://twitter.com/PLAID_Tech">@PLAID_Tech</a>)などで情報発信していきますので、ぜひフォローをお願いします。<br>
<img src="https://ik.imagekit.io/plaid/cc787854-1af3-44a8-8c8c-06727820ea92/Untitled(2).jpeg" alt="Untitled(2).jpeg"></p>
<h2>関連リンク（活動例の続き）</h2>
<h3>『AI時代に人は制約から解き放たれる。その先にある社会像と企業像』</h3>
<div class="iframely-embed" data-embedded-url="https://dhbr.diamond.jp/articles/-/10441"><div class="iframely-responsive" style="height: 140px; padding-bottom: 0;"><a href="https://dhbr.diamond.jp/articles/-/10441" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fdhbr.diamond.jp%2Farticles%2F-%2F10441&key=878c5bef402f0b2911bf6d4ce6261abd">AI時代に人は制約から解き放たれる。その先にある社会像と企業像 | テクノロジー｜DIAMOND ハーバード・ビジネス・レビュー</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h3>『効率競争から価値競争の時代へ、人のポテンシャルを解放するAI実装のあり方』</h3>
<div class="iframely-embed" data-embedded-url="https://dhbr.diamond.jp/articles/-/10443"><div class="iframely-responsive" style="height: 140px; padding-bottom: 0;"><a href="https://dhbr.diamond.jp/articles/-/10443" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fdhbr.diamond.jp%2Farticles%2F-%2F10443&key=878c5bef402f0b2911bf6d4ce6261abd">効率競争から価値競争の時代へ、人のポテンシャルを解放するAI実装のあり方 | A New Era of CX｜DIAMOND ハーバード・ビジネス・レビュー</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h3>『KARTE CraftにおけるLLM活用~Craft Functions Copilot~』 : 「Microsoftと語る LLM実装の最前線」にて</h3>
<div style="left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.1972%;"><iframe title="KARTE CraftにおけるLLM活用~Craft Functions Copilot~" src="https://speakerdeck.com/player/d9f4d037b34044e4b688034987891ad2" style="top: 0; left: 0; width: 100%; height: 100%; position: absolute; border: 0;" allowfullscreen scrolling="no"></iframe></div>
<h3>『生成AIによるカスタマーサポート変革：ウェブチャットの業務生産性 &amp; CX向上』 : Google Cloud主催 「Generative AI Summit Tokyo '24」にて</h3>
<div class="iframely-embed" data-embedded-url="https://cloudonair.withgoogle.com/events/generative-ai-summit-24q1?talk=24-t1-session4"><div class="iframely-responsive" style="padding-bottom: 52.5%; padding-top: 120px;"><a href="https://cloudonair.withgoogle.com/events/generative-ai-summit-24q1" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Fcloudonair.withgoogle.com%2Fevents%2Fgenerative-ai-summit-24q1%3Ftalk%3D24-t1-session4&key=878c5bef402f0b2911bf6d4ce6261abd">Generative AI Summit Tokyo &#39;24：生成 AI の「体験」から「活用」へ！</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>
<h3>エモーションテックのテキストAI分析サービス「TopicScan︎®︎」</h3>
<div class="iframely-embed" data-embedded-url="https://emotion-tech.co.jp/topicscan/"><div class="iframely-responsive" style="padding-bottom: 52.5%; padding-top: 120px;"><a href="https://emotion-tech.co.jp/topicscan/" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Femotion-tech.co.jp%2Ftopicscan%2F&key=878c5bef402f0b2911bf6d4ce6261abd">TopicScan – テキストAI分析サービス ｜ 株式会社エモーションテック</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>

プレイドは、2024年5月8日に開催された「[生成AIカンファレンス2024](https://gen-ai-conf.org/)」にシルバースポンサーとして参加しました。今回は、当日のイベントの様子やプレイドとして行ったことを紹介します。

生成AIカンファレンス2024 参加レポート_プレイドエンジニアブログ

生成AIカンファレンス2024 参加レポート

<h1>はじめに</h1>
<p>こんにちは。<a href="https://twitter.com/calloc134">calloc134</a> といいます。<br>
情報工学系の学生で、普段は Web アプリケーション開発について学習しています。</p>
<p>今回、2024年2月から3月の5週間、プレイドでソフトウェアエンジニアとしてインターンシップを行いました。<br>
この記事では、インターンシップの振り返りとともに、学んだことや感じたことをまとめていきたいと思います。</p>
<h1>インターンシップ開始まで</h1>
<p>当インターンシップは、知り合いから紹介をいただいたことがきっかけで始まりました。<br>
自分は今までインターンシップを経験したことがなく、実務経験もありませんでした。<br>
プレイドのインターンでは、任される開発業務に必要な範囲で、社員さんと同じ環境・同じシステムに対して開発・コーディングを行うことができるという特徴がありました。<br>
この特徴は、実際の開発現場でどのように開発が進められているかを知りたい自分にとって、非常に魅力的でした。<br>
そのほか、技術領域が自分の普段の学習と近いことや、エンジニアインターンではフルリモートでも勤務でき、都心住みでない自分でも働きやすいことなどが決め手となりました。</p>
<p>インターン開始前にカジュアル面談を行い、簡単な技術スタックと業務内容について説明を受けました。<br>
プレイドでは、担当するプロダクトによって開発チームが分割されています。<br>
自分はMessageチームに入ることになったので、そのチームでの業務内容について説明を受けました。</p>
<p>Message チームは <a href="https://karte.io/package/message/">KARTE Message</a> というプロダクトを開発しています。<br>
当プロダクトは、データを元にメールやプッシュ配信、LINE メッセージの送信をノーコードで行うことができるため、マーケターなどの非エンジニアの方でも簡単に大規模なコンテンツ配信が可能なマーケティングオートメーションツールとなっています。</p>
<h1>技術スタック</h1>
<p>Message チームの技術スタックについては、同じ Message チームの方が書かれた<a href="https://tech.plaid.co.jp/intern-at-plaid-yurihttps://tech.plaid.co.jp/intern-at-plaid-kenshin">こちら</a>のブログ記事が参考になると思います。</p>
<p>簡単に解説すると、下記のような技術スタックになっています。</p>
<ul>
<li>フロントエンド
<ul>
<li>Vue(メイン)</li>
<li>React (一部メニュー)</li>
</ul>
</li>
<li>バックエンド
<ul>
<li>サーバサイド Node.js / Express.js</li>
<li>Golang</li>
<li>Java</li>
</ul>
</li>
<li>インフラ
<ul>
<li>MongoDB (データベース)</li>
<li>Redis</li>
<li>Cloud Pub/Sub</li>
<li>GKE (Google Kubernetes Engine)
<ul>
<li>ArgoCD (デプロイ)</li>
</ul>
</li>
</ul>
</li>
<li>DevOps
<ul>
<li>GitHub Actions</li>
<li>CircleCI</li>
</ul>
</li>
<li>監視
<ul>
<li>Sentry</li>
<li>Datadog</li>
</ul>
</li>
</ul>
<p>また、開発については、下記の技術を使用していました。</p>
<ul>
<li>Git/ GitHub (コード管理)</li>
<li>Docker Compose (開発環境)</li>
<li>Kind (Kubernetes in Docker)</li>
</ul>
<p>自分にとって、このインターンが初めてのエンジニアとしての実務経験となります。<br>
そのため、技術レベルも含めて最初はインターンで活躍できるかすごく不安でした。</p>
<h1>インターンの内容</h1>
<h2>最初の二日間</h2>
<p>インターン開始してすぐの二日間は、自分の開発環境を整えることから始まりました。</p>
<p>まず開発環境セットアップの資料を確認してインストールを行ったのですが、リポジトリの更新や仕様の変更により、資料と異なる部分がありました。また、資料に存在しないような issue に遭遇することがしばしば起こりました。</p>
<p>そこでSlack に開発環境構築専用のチャンネルが存在したため、そこにスレッドを立てて技術チームに質問を行いながら、一つずつ課題を解決していきました。<br>
フルリモートで意思疎通が難しくなるかもと心配していましたが、チームメンバーの皆さんが迅速に対応してくれたため、スムーズに進めることができました。<br>
また、解決した課題は、times と呼ばれる自分専用のメモ書きチャンネルにまとめていくことで、後から振り返りが容易になるようにしました。</p>
<p>一通り開発環境の構築が完了した後、開発環境構築の手引きとして社内ドキュメントを執筆しました。新しく入ったインターン生が同じような問題に遭遇した際に、自分の経験が役立つことを願っています。</p>
<h2>タスク</h2>
<p>開発環境の構築が完了した後、実際に開発に取り組むことになりました。</p>
<p>5週間という比較短い期間の中でもさまざまなタスクに着手してきましたが、ここでは一番印象に残ったタスクをピックアップし、振り返りたいと思います。</p>
<h3>LINEコンテンツのサムネイル生成機能</h3>
<p>KARTE Messageでは、メール、プッシュ配信、またはLINEを用いてユーザにコンテンツを送信することができます。</p>
<p>コンテンツの保存時に自動的にコンテンツのサムネイル画像を生成し、プレビューすることができる機能が存在するのですが、この機能が実装されているのはメール配信とプッシュ配信のみであり、LINE には実装されていませんでした。</p>
<p>そこで、LINEコンテンツのサムネイル画像を生成する機能を実装することになりました。</p>
<p><img src="https://ik.imagekit.io/plaid/f65747e2-4ff0-4320-ac33-48a8f6cd8c5e/Untitled(1).png" alt="Untitled(1).png"></p>
<p>タスクに取り組むにあたり、はじめに現状のサムネイル生成機能を理解するところから始めました。</p>
<p>まず管理画面上でコンテンツが保存されたタイミングでpubsubのキューにHTML と CSS の情報がメッセージとして登録されます。<br>
サムネイル生成用サービスがそのメッセージをsubscribeしており、メッセージの内容からサムネイル画像を生成する、というシンプルな構成でした。<br>
具体的には、メッセージから取り出した HTML と CSS の情報をpuppeteerでレンダリングし、レンダリング結果のスクリーンショットを生成、S3のsignedURLを用いてS3に保存します。</p>
<p><img src="https://ik.imagekit.io/plaid/b7ded338-bbcd-49b9-a48e-b50fa26298fd/Untitled(2).png" alt="Untitled(2).png"></p>
<p>ではLINEコンテンツのサムネイル生成機能を実装するためにはどのような実装が必要なのでしょうか。</p>
<p>現状の構成では、サムネイル生成用サービスのインターフェースはHTMLとCSSとなっています。</p>
<p>一方で、管理画面で表示しているコンテンツのプレビューはReactやTailwind CSSといったフレームワークを用いて描画しているため、ここからなんとかして等価のHTMLやCSSを生成する必要があります。<br>
あるいは、サムネイル生成用サービスを改修し、Reactコンポーネントを描画する方法もとりえます。<br>
<img src="https://ik.imagekit.io/plaid/3e8f31ec-5a52-4e93-9deb-30b69085fbf7/Untitled(3).png" alt="Untitled(3).png"></p>
<p>上記に加え、さらにいくつか設計の選択肢をリストアップし、メリットとデメリットを比較してみました。<br>
<img src="https://ik.imagekit.io/plaid/4edc16e3-5bc3-45fc-85d7-a02d22801e60/Untitled(4).png" alt="Untitled(4).png"></p>
<p>まず、一番目と二番目の選択肢は実装が難しいと感じたため、採用を見送りました。</p>
<p>そこで三番目の選択肢で実装を進めていましたが、画像がロード中の表示のままサムネイル生成されてしまう可能性があるという問題が発生しました。</p>
<p>これはサーバサイドでのReactコンポーネントのレンダリングの場合、画像の描画に時間がかかってしまうことが原因でした。<br>
従って、最終的に四番目の解決策である、クライアント側の React コンポーネントの HTML を取得してレンダリングする方法を採用しました。</p>
<p>クライアントサイドにおいて、React Componentの描画結果のHTMLはuseRefを利用することで簡単に取得できました。</p>
<pre><code class="language-tsx"> 	const previewHTMLRef = useRef&lt;HTMLDivElement&gt;(null);
 	const previewHTML = previewHTMLRef.current?.innerHTML

  return (
    &lt;&gt;
      &lt;LineEditorPreview controller={controller} previewHTMLRef={previewHTMLRef} /&gt;
    &lt;&gt;
  )
</code></pre>
<p>またスタイリングにはTailwindCSSを用いていたため、プレビューのコンポーネントで適用されているTailWindCSSのクラスをあらかじめビルドしておけば、プレビューに使われているCSS を生成することができます。</p>
<p>TailwindCSS は CLI での呼び出しに対応しており、構成ファイルを指定して手動コンパイルを行いました。</p>
<p>今回は、LINE プレビューに関連するコンポーネントを全て指定した構成ファイルを作成し、TailwindCSS CLI でビルドを行うことで、CSS を生成しました。</p>
<pre><code class="language-tsx">// 構成ファイル

/** @type {import('tailwindcss').Config} */
module.exports = {
  presets: [require('@plaidev/sour-react/tailwind')],
  content: [
    './src/page/template-edit/line-editor/preview.util.tsx',
    './src/page/template-edit/line-editor/preview.tsx',
  ],
  variants: {
    extend: {},
    animation: [],
  },
};
</code></pre>
<pre><code class="language-bash"># TailwindCSS CLI
tailwind -o path/of/output -c path/to/config -m
</code></pre>
<p>最終的にあらかじめ生成しておいたCSSをサーバー側で保持しておき、クライアントサイドから送られてくるHTML情報と合わせてpubsubに登録することで、LINE コンテンツのサムネイル画像を生成することができました。</p>
<p><img src="https://ik.imagekit.io/plaid/ec4733fa-d507-427b-bf8d-1bdd8cbdb5be/Untitled(5).png" alt="Untitled(5).png"></p>
<h1>インターンを振り返って</h1>
<p>社員さんと同じ環境で開発を行っていくことで、自分の中における仕事に対する解像度が上がったと感じています。<br>
これまでは個人的な開発しかしてこなかったため、自身のスキルが社会に出てから実際に活かすことができるのか不安でした。<br>
しかしプレイドのインターンシップを通じて、今まで学習してきたスキルが仕事に活かせることを実感し、また必要なスキルをどのように向上させていけばよいのかを学ぶことができました。</p>
<h2>インターンから得た学び</h2>
<h3>コーディングについての学び</h3>
<p>一例としては、コードの可読性やコメントの重要性を学びました。<br>
これまでの開発では自分がわかりやすいようなコメントや変数名を付けることが多かったのですが、プレイドではロジックの背景を意識したコメントや変数名を付けることが求められ、普段の開発でもこれらの意識を持って開発を行うようになりました。</p>
<h3>ロジックの理解</h3>
<p>また、ロジックを理解する大切さについても学習しました。<br>
挙げられた issue に関して場当たり的な修正は簡単に見えても、その根本的な原因は別のところにあることが多く、ロジックを含めて全体を理解することが重要であると感じました。</p>
<h3>issueの理解</h3>
<p>タスクの内容を深く理解することも重要です。</p>
<p>タスクは基本的に ~ ができない　のような課題形式で書かれているのですが、その解決には様々な方法が考えられます。その中でもどういった仕様が良いのかを正しく導くためには、既存ロジックの理解に加え、ドメインや顧客の理解も非常に重要となってきます。<br>
プレイドでは仕様に関するディスカッションも頻繁に行われるため、こういった能力も養うことができました。<br>
コーディングならAIでもできるようになってきている時代において、仕様設計はますます重要になると考えており、今後も磨いていきたいと思っています。</p>
<h1>インターンの特徴</h1>
<p>プレイドのインターンの特徴を以下にまとめました。</p>
<ul>
<li>実際のエンジニアと同じチームでプロダクト開発を行う</li>
<li>社員と同じ一連の開発フロー(issue アサインと方針の整理、修正とデプロイ、動作確認まで)</li>
<li>技術力に応じてコア開発に近いタスクへのアサインも可能</li>
</ul>
<h2>こんな人におすすめ</h2>
<ul>
<li>実際の開発現場で、開発のサイクルを学びたい</li>
<li>技術力を向上させたい・フルスタックで活躍したい</li>
<li>課題解決力の向上・設計・実装・運用までの幅広い業務経験を積みたい</li>
</ul>
<h1>まとめ</h1>
<p>自分にとって初めてのインターンでしたが、実際の開発を通して色々なことを指導していただき、無事やり遂げることができました。<br>
お世話になった社員さん、インターン生の皆さん、本当にありがとうございました。<br>
今後もこの経験を活かして、さらに活躍できるようなエンジニアを目指していきたいと思います。</p>
<p>プレイドの開発インターンに興味のある方はぜひ下記から応募してみてください。</p>
<div class="iframely-embed" data-embedded-url="https://recruit.plaid.co.jp/requisitions/new-graduate-engineer"><div class="iframely-responsive" style="padding-bottom: 28.2577%; padding-top: 120px;"><a href="https://recruit.plaid.co.jp/requisitions/new-graduate-engineer" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Frecruit.plaid.co.jp%2Frequisitions%2Fnew-graduate-engineer&key=878c5bef402f0b2911bf6d4ce6261abd">新卒採用 & インターン (Product) | 募集ポジション | 株式会社プレイド</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>

プレイドインターン体験記: はじめての開発インターンを通じて得た学び

Microsoft の AI 技術 をベースに構成される Craft Functions Copilot の仕組みとその中で利用されている Azure サービスの役割について説明します。

Microsoft の AI 技術 をベースに構成される Craft Functions Copilot

<p>こんにちは、エンジニアの白木です。</p>
<p>2023年4月 - 2024年2月までインターンとして開発に携わりました。</p>
<h2>自己紹介</h2>
<p>分散システム、データベースについて勉強しています。<br>
最近は、NewSQL、MPPデータベース、io_uring に最適化したデータベースの勉強をしています。</p>
<h2>プレイドのインターンに参加した理由</h2>
<p>プレイドの存在を知ったきっかけは<a href="https://bootjp.me/2023/independence_for_next/">ブログ記事</a>で、そこで大規模な分散システムを開発・運用していることを知りました。<br>
今まで分散システムを プロダクトに応用している例を身近で見たことがなかったため、 CX （Customer Experience）プラットフォームである KARTE を提供しているプレイドに興味を持ちました。そのような中、プレイドがインターン募集をしているを知り、是非参加したいと思い応募しました。</p>
<h2>インターンに入る前の前提知識の話</h2>
<p>インターンに入る以前は データ処理に関する知識は深く持っていませんでした。<br>
大規模データにおける分散処理フレームワークの Apache Hadoop、Apache Spark を用いたデータ処理について少しだけ知っていました。そのため、バッチ処理、ストリーム処理に関する 何となくのイメージがついていました。ただ、データ解析基盤を手を動かして作った経験はなく、どういったアーキテクチャで実装しているかのイメージが全くついていませんでした。<br>
データベースに関しては、MySQL、PostgreSQL などのOLTP(Online Transaction Processing) の処理向けのデータベースについては知識はありましたが、BigQueryのようなDWH (Data Warehouse) や OLAP（Online Analytical Processing) 向けのデータベースの知識は持っていませんでした。<br>
そのため、大規模データを処理するためにどのようなアーキテクチャで構築しているのか、大規模な解析用途で使われている データベースを扱えることが非常に楽しみにして参加しました。</p>
<h2>インターンで開発した内容の話</h2>
<p>インターン開発タスクの一つとして、KARTEのリアルタイム解析基盤に関わるAPIの改善を行いました。具体的にいうと、ユーザーの行動解析結果を取得するAPIが常に最新情報を返すようにするというものです。リアルタイム解析基盤の詳細については以下記事を参考にしてください。</p>
<ul>
<li><a href="https://tech.plaid.co.jp/blits_pre_aggregation">Blitz（前編）: 自由度と即時更新性を担保したAggregation</a></li>
<li><a href="https://tech.plaid.co.jp/blitz_realtime_analytics_architecture">Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術 - 強整合な解析</a></li>
</ul>
<p>タスクの説明を受けた際に、該当のAPIについて「強整合性モード」を実現したいという話を聞き、「結果整合性」、「強整合性」という概念を正しく理解するところから始めました。<br>
結果整合性では、データ読み込み時に最終的に全ての更新が反映されることを保証するものの、即時ではないため古いデータを返す可能性があります。強整合性においては、データ読み込み時に全ての更新が反映されたデータが返ってくることを保証します。<br>
今までビッグデータの処理の文脈で見る BASE特性、また、Apache Cassandra が採用している整合性モデルであることから概念自体は理解できました。しかし、どう実装するかについてイメージができていませんでした。<br>
最初はリアルタイム解析基盤の実装部分やインフラの構成図を元にどう実装するかを考えようとしましたが、どう実装するかのイメージはつかないばかりでした。そこでリアルタイム解析基盤の概略について書かれた<a href="https://tech.plaid.co.jp/blitz_realtime_analytics_architecture">こちらの記事</a>を読み直し、大枠のロジックの理解に努めました。</p>
<p><img src="https://ik.imagekit.io/plaid/e52a44f2-f17c-467e-86c4-71e04bdbaeb4/Untitled.png" alt="Untitled.png"><br>
<em>Blitz の強整合を実現している図</em></p>
<p>結果、この図に強整合を実現するロジックが詰め込まれていることが理解できました。Realtime Queue にイベントを書き込んでおき、 Backend Servers で まだユーザーデータに反映されていないイベントを動的に遡求していくことで常に最新のデータを読み込めるという強整合性を実現していました。このアーキテクチャは今まで自分では想像ができなかった部分だったので、すごい仕組みだなと興奮しました。<br>
一度コンセプトを理解してしまえば、APIの実装部分も未反映のイベントを Realtime Queue から取得をして動的にユーザーデータを最新化すればいいという実装イメージが湧き、強整合性モードの実現も無事行うことができました。</p>
<h2>インターンで開発してみて得られた知見・経験</h2>
<h3>分散システムを用いた設計についての知見を得られた</h3>
<p>KARTE では秒間最大 13万4千イベント、月間 180PB を超える解析を行なっています。それを支えるプレイド独自のリアルタイム解析基盤は大規模な分散システムであり、アーキテクチャ上の工夫が随所に見られます。<br>
例を挙げると、リアルタイム解析で結果を同期的に配信するレイテンシー重視な処理と裏側でデータを溜めて一気に更新するスループット重視な処理を完全に分けて考えている点です。ここまで大規模かつシビアなパフォーマンスが求めれる環境だと、目的別にコンポーネントを分離することで、コスト最適化や柔軟なスケーラビリティが可能になっているなと感じました。<br>
分散システムを本で学習していても設計意図を肌で理解できず、中々身につかないなと思っていました。今回、インターンで実務を通じて分散システムに携わることでプロダクトと分散システムが結び付き、理解が深まりました。また、分散システムを通じて価値提供できる面白さを感じることができました。</p>
<h3>プロダクト・ビジネスへの貢献を意識した開発ができる</h3>
<p>プレイドのエンジニアは、技術的にかなり尖っています。しかし、技術だけを見ているだけでなく、プロダクト・ビジネスにも強くフォーカスしています。そのため、日々のタスクに関してもどのようにすれば最もプロダクト・ビジネスに貢献できるかを強く意識しています。例えば、単にプログラムを修正してタスクを完了するのではなく、将来的にどういった構想になっていれば良いかを意識してタスクに取り組んでいます。これによって、アーキテクチャの複雑度を下げています。ただ単にタスクを素早く終わらせる簡単な方法を取るだけでなく、将来までを意識して必要なコストは割いているのは、今後エンジニアとして働く上で学ぶべきことがありました。</p>
<h3>現場のエンジニア・ビジネスの方とディスカッションできる</h3>
<p>プレイドのインターンでは社員と同様の裁量を与えられてタスクに取り組めます。そのため、タスクに関しても現場の社員と同様にディスカッションできます。ディスカッションをすることでプレイドの社員の方の考えが分かり、タスクを進めるにあたりどういったことを意識すればいいのかを知れます。例えば、将来的に見ると価値は高いが直近だと賛否両論が生まれる機能をリリースする攻めの手を打つか、そういった手は打たず保守的な実装をするべきかについて、トレードオフを意識してタスクに取り組むことの重要性、締め切りが迫っている場合にどういったマインドでタスクに取り組むべきかなど、今後のエンジニア人生で大事なことをディスカッションを通じて学べました。</p>
<h3>仕事にやりがいを持っている社員と働ける</h3>
<p>プレイドの社員の方は仕事にやりがいを持っています。社員の方とお昼を一緒にしていると、どの方も楽しそうに仕事に関する話をします。楽しそうにやっている方、事業を本気で成長させようとしている方々と働ける経験は大事です。自分もこのように仕事に対してやりがいを持って働けるようになりたいと思えるようになりました。</p>
<h3>目的達成のためならばどのような技術でも扱う</h3>
<p>手を動かす Web エンジニアは大きく「フロントエンド」、「バックエンド」、「インフラ」などに分かれているところが多いと思います。プレイドでは、プロダクト・ビジネスにインパクトを与えるためならば、エンジニアはこれらの役割に囚われません。どのような領域の技術であっても役割に依らずタスクに取り組みます。役割に囚われずに 貢献していく姿勢は、人にタスクを依頼するコストを減らすことができ、高い生産性を出す上で大事だと感じました。このマインドは私も今後も続けていきたいです。また、どのような技術でも扱うため技術的な刺激を受ける機会がたくさんあります。自身も成長できる素晴らしい環境でインターンできました。</p>
<h2>最後に</h2>
<p>インターンを通じて、分散システムなどの技術的な成長を得られただけでなく、タスクを進めるにあたって考えるべきこと、エンジニアとしてのマインド、モチベーション高く働ける環境への解像度が高くなりました。</p>
<p>プレイドのインターンではエンジニアとして大きく成長できると思います。<br>
興味のある方は下記から応募してみてください！</p>
<div class="iframely-embed" data-embedded-url="https://recruit.plaid.co.jp/requisitions/new-graduate-engineer"><div class="iframely-responsive" style="padding-bottom: 28.2577%; padding-top: 120px;"><a href="https://recruit.plaid.co.jp/requisitions/new-graduate-engineer" data-iframely-url="//cdn.iframe.ly/api/iframe?url=https%3A%2F%2Frecruit.plaid.co.jp%2Frequisitions%2Fnew-graduate-engineer&key=878c5bef402f0b2911bf6d4ce6261abd">新卒採用 & インターン (Product) | 募集ポジション | 株式会社プレイド</a></div></div><script async src="//cdn.iframe.ly/embed.js" charset="utf-8"></script>

プレイドのインターン体験記：分散システムとプロダクト貢献意識の両面からの学び

<p>株式会社プレイドのCore Platformチームに所属しているBrownです。今回のブログでは2022年頃より使用可能になった、BigQueryのAnalytics Hubを用いた、安全なデータ共有の導入について紹介します。</p>
<h1>前提となるプレイド社内でのデータの管理方法</h1>
<p>プレイドでは、CXプラットフォーム「<a href="https://karte.io/">KARTE</a>」の計測タグ経由で収集したイベントデータを元にWeb上のユーザーの行動を分析するサービスに加え、クライアント企業が社内外に保有する多種かつ大量なデータをKARTEに統合・連携して利活用できる<a href="https://karte.io/feature/integration/">KARTE Datahub</a>（以下、Datahub）を提供しています。<br>
KARTEの内外に散らばったサイロ化されたデータをDatahubに集約して、KARTEのプロダクトの中でユーザーのセグメントに活用したり、WidgetやKARTE内のアクション機能から参照したりすることができます。<br>
<img src="https://ik.imagekit.io/plaid/46c800d9-dd3d-4ff1-a605-a2cd7272ace9/datahub_case01_image-1.webp" alt="datahub_case01_image-1.webp"><br>
<em><a href="https://cxclip.karte.io/casestudy/tips/datahub_case01/">「KARTE Datahubに蓄積した様々なデータを活用する｜KARTE Datahub事例集 vol.1</a>」より引用</em></p>
<p>Datahubでは、KARTEに関わらず様々なデータの統合・利活用するプラットフォームであるため、他のKARTEのProductとデータの取り扱いを区別する必要があります。</p>
<h1>プレイドでのデータ共有</h1>
<p>データへのアクセスの安全性を高めるために、Datahub以外のKARTEのプロダクトから、クライアント企業の許諾なく直接Datahubに連携されたデータを参照することはできません。<br>
そのため、クライアント企業から許諾を受けたデータのみを、Datahub以外のプロダクト側に共有することで、イベントデータと組み合わせて使用したり、加工済みデータを生成しています。</p>
<p>また、データ連携の際に使用するBigQueryのDataset（以下、Dataset）やGCPのサービスアカウント（以下、SA）はクライアント企業ごとに分離されており、例えば、企業AのSAではその企業AのDatasetのみが操作でき、それ以外のクライアント企業のDatasetへの権限は一切持ちません。</p>
<h1>従来のDatasetの共有方法の問題点</h1>
<p><img src="https://ik.imagekit.io/plaid/26051d0a-c445-4260-90ff-0c084d3f9bfc/image1.png" alt="image1.png"></p>
<p>従来の仕組みでは、クライアント企業がDatahubを通じてKARTEにインポートしたデータを、Datahub以外のプロダクトから利用する場合には、KARTE Data LayerのSAがDatahub Data Layerに直接アクセスできないため、そのDatasetのデータを含めてKARTE Data Layerにコピーする必要がありました。<br>
この方法では、明示的に必要なDatasetだけをKARTE Data Layerに共有できる反面、以下の二点の問題があります。</p>
<ul>
<li>KARTE Data Layerにコピーされた後のDatasetへのアクセス権限を持つSAの管理・監視が煩雑</li>
<li>Origin DatasetからShared Datasetへ定期的にデータをコピーする必要がある</li>
<li>Origin Dataset・Shared Dataset双方でストレージコストがかかる</li>
</ul>
<h1>Analytics Hubを用いて問題点を改善</h1>
<p>まず前提として、Analytics Hubでは以下の構成によりDatasetを共有することができます。各権限の詳細は<a href="https://cloud.google.com/bigquery/docs/analytics-hub-grant-roles?hl=ja">公式ドキュメント</a>をご覧ください。<br>
<img src="https://ik.imagekit.io/plaid/c0d7cca4-fe2a-4291-90c9-24d0d260a7e4/image3.png" alt="image3.png"><br>
<em><a href="https://cloud.google.com/bigquery/docs/analytics-hub-introduction#subscriber_workflow">Introduction to Analytics Hub</a>より引用</em></p>
<ul>
<li>Publisher : 共有元となるDatasetを持つGCP Project</li>
<li>Data Exchange : Publisherが共有対象となるListingを作る場所</li>
<li>Listing : PublisherがData Exchange内に作成した、共有対象となるDatasetのリストで、SubscriberはこのListingへの <code>roles/analyticshub.subscriber</code> 権限を持つ</li>
<li>Subscriber : Analytics Hub経由で共有されたLinked Datasetを使う側を指し、このSubscriberはListingをSubscribeすることでLinked Datasetを自分のGCP Project内に作成する</li>
</ul>
<p><img src="https://ik.imagekit.io/plaid/ea657c14-c835-4176-8c15-616c4be357dc/image2.png" alt="image2.png"></p>
<p>Analytics Hubを通じてDatasetを共有することで、Datasetのデータ実体はKARTE Data Layerに共有することなく、Origin Datasetの内部にあるデータと同じものをShared Datasetに対してクエリを実行することで取得できます。この時、Origin Datasetに対して権限を持っているGCPのService Accountのみが共有対象のAnalytics HubのListingを作ることができるように権限管理をしているため、Data ExchangeはDatahub Data Layerに置いています。<br>
Analytics HubでDatasetを共有することで、従来のSAで直接共有する形式では見えずらかった、共有先での使用状況や、共有先が明確になりました。<br>
また、データコピーの必要がなく、かつストレージはOrigin Datasetにのみ課金されるため、上記の2点の問題点が両方とも解決できます。</p>
<h1>セキュアなデータガバナンスの取り組み</h1>
<p>KARTE Data Layerに一度共有されたDatasetは、そのクライアント企業がKARTEの他のプロダクトから利用することができます。しかし、一度共有したDatasetであっても、何かの事情がありそのDatasetをKARTEの他のサービスへ共有停止したいというケースもあります。<br>
そのような際には、Analytics HubのPublisher側でそのDatasetのSubscriptionを削除する、Subscriber側で共有されているDatasetを削除するなど、いずれの方法でも瞬時に共有を停止できます。<br>
また、現在共有されているDatasetをListingから取得できるため、共有中のDatasetのListingへ監視を入れておくことで、意図せずDatasetが共有されてしまっているという状態をすぐに検知することも可能です。</p>
<h1>実際にAnalytics Hubを使ってみて</h1>
<p>Analytics Hubでは、一般公開されているDatasetをSubscribeして使うことや、異なる組織間でDatasetをセキュアに共有しつつ、クエリに対する課金も分離するという用途のみならず、同一組織内でもデータガバナンスの観点で、データへのアクセス権限を管理したり、特定のDatasetのみを特定の目的で他のGCPのプロジェクトへ共有して使うという用途でも使いやすい機能だと思いました。<br>
しかし、まだAnalytics Hubも出たばかりの機能ということで、以下の機能に関して改善が行われると、より使いやすい機能になると感じました。</p>
<ul>
<li>Listingを消した時に自動でLinked Datasetも削除されること</li>
<li>共有用URL経由でLinked Datasetを作成できるGCPプロジェクトを限定したい
<ul>
<li>Service Accountの権限で制限をかけることもできるが、Service Accountの権限設定ミスで想定外のGCPプロジェクトのSAが権限を持ってしまった場合に備えて、Listingごとに共有先として許可するGCPプロジェクトを指定したい</li>
</ul>
</li>
<li>Node.js API Clientの拡充</li>
</ul>
<p>上記のように改善点はいくつかあるものの、KARTEのデータガバナンスを強化する機能としては非常に有効な機能なので、今後も使用箇所を増やしていこうと思っています。</p>


2022年頃より使用可能になった、BigQueryのAnalytics Hubを用いた、安全なデータ共有の導入について紹介します。 

BigQuery Analytics Hubを使った透明性が高くセキュアなデータ共有 - PLAID engineer blog

BigQuery Analytics Hubを使った透明性が高くセキュアなデータ共有

OLAPデータベースにおける高速化の技術 - PLAID engineer blog

OLAPデータベースにおける高速化の技術

<p>こんにちは、プレイドでCore Platform開発の責任者をしているエンジニアのkusappeです。</p>
<p>プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてブログ化しました。<br>
この記事では、Modern Data Stackとは何か、そのメリットや特徴について解説します。また、具体的な技術要素・主要サービスや重要だと思うトレンドについても紹介します。</p>
<h2>Modern Data Stackとは？</h2>
<p>Modern Data Stackとは、データの収集、処理、分析、可視化などデータ活用に関わる機能を、それぞれに特化したクラウドサービスやSaaSツールを組み合わせて構築するという考え方やその基盤のことを指します。<br>
クラウドサービスやその周辺の技術要素の進化によって、従来のデータ基盤と比べると以下のメリットがあると言われています。</p>
<ul>
<li>高いスケーラビリティや可用性を実現できる</li>
<li>SaaSを組み合わせてスピーディーにデータ基盤の環境を構築できる</li>
<li>簡単にツールを使えるようになり、誰でもデータの利活用ができる状態になる（データの民主化）</li>
</ul>
<p>そして、dbtのCEOは2020年に書いた<a href="https://www.getdbt.com/blog/future-of-the-modern-data-stack">Modern Data Stackの過去・現在・未来のブログ</a>で、「2021〜2025年にかけてさらなるイノベーションが起きるのでは？」と予測しています。<br>
データの活用をより加速させるためにも、具体的な技術要素や主要なSaaSサービスを押さえておくのはとても重要だと思います。それでは見ていきましょう。</p>
<h2>具体的な技術要素・主要なサービス</h2>
<p>個々の技術要素を説明する前に、まずはModern Data Stackの全体像（図1）を見てみましょう。今回紹介する図以外にも全体像の図はいくつかあるため、本記事末の参考資料のところに載せておきます。</p>
<p><img src="https://ik.imagekit.io/plaid/d538514d-1860-4e0c-abc1-5cb49e44b234/ModernDataStack_Overview.png" alt="ModernDataStack_Overview.png"><br>
図1. Modern Data Stack 全体像 ( https://www.moderndatastack.xyz/journal/the-modern-data-stack-ecosystem-spring-2022-edition-5qe )</p>
<p>それでは各カテゴリーと主要サービスを見ていきましょう。データの流れの観点から大きく、データ収集、データ処理、データ活用、その他（横断系）の4つに分類して解説します。</p>
<h3>データ収集</h3>
<ul>
<li>
<p>Data Warehouse<br>
Data Warehouseとは企業内の多種多様な大量データを貯め、様々な分析を行うために特化されたサービスのことです。Warehouse（倉庫）という言葉からも連想されるように、構造化されたデータを扱うイメージが強いです。画像やテキストなどの非構造化データを扱う場合は、Data Lakeという言葉が使われます。<br>
その中で一つ注目したいトレンドとして、ETLからELTへのシフト（図2）があります。<br>
Data Warehouse側の技術進化によって、まずはロードしてその後変換が簡単に実現できるようになりました。ETLと比べた場合のELTは、高速・低メンテナンス・ロードが1回で済むといった利点があります。<br>
ELTが標準になることによって、Data Warehouse内でのData Transformationの管理ニーズが高まってきました。</p>
<p><img src="https://ik.imagekit.io/plaid/10231ec1-5aa6-496b-9c56-9babf6c01ea6/ETL_ELT.png" alt="ETL_ELT.png"><br>
図2. ETLとELT ( https://aws.amazon.com/jp/compare/the-difference-between-etl-and-elt/ )</p>
</li>
<li>
<p>Data Integration<br>
様々なデータソースからデータウェアハウスにデータを集めるための連携ツール（図3）です。<br>
主要なSaaSとして、<a href="https://www.fivetran.com/">Fivetran</a> や <a href="https://airbyte.com/">Airbyte</a> があります。<br>
双方の立場から比較記事が出ているので興味ある方は見てみてください。</p>
<ul>
<li><a href="https://airbyte.com/etl-tools/fivetran-alternative-airbyte">Airbyte側の主張 (Fivetran vs Airbyte)</a></li>
<li><a href="https://www.fivetran.com/blog/fivetran-vs-airbyte-features-pricing-services-and-more">Fivetran側の主張 (Fivetran vs Airbyte)</a></li>
</ul>
<p><img src="https://ik.imagekit.io/plaid/7b0729d6-51e1-437a-b7e4-4c71823c364e/Data_Integration_Overview.png" alt="Data_Integration_Overview.png"><br>
図3. Data Integration ( https://www.fivetran.com/data-movement )</p>
</li>
<li>
<p>Event Tracking<br>
Websiteでのクリック情報など、ユーザーの行動情報を取得するツールのことを指します。<br>
<a href="https://segment.com/">Segment</a>や<a href="https://www.rudderstack.com/">Rudderstack</a>あたりがグローバルでも有名ですね。<a href="https://karte.io/">KARTE</a>もこのリストの仲間に入れるように頑張らなくではと思います。<br>
SegmentとRudderstackに共通する点としては、Customer Dataを軸としてそれをマーケティングに使うだけではなく、データのTransformation機能や他の業務ツールとの連携など多岐にわたって活用していることが挙げられます。</p>
</li>
</ul>
<h3>データ処理</h3>
<ul>
<li>
<p>Data Transformation<br>
Data Warehouseにロードしたデータを使いやすい形に変換するレイヤーです。<br>
Warehouse側の技術進化によってSQLでできることが増え、基本的な処理はSQLで行うのが主流になってきています。<br>
そのデータ変換用のSQLを管理するフレームワークとして、<a href="https://www.getdbt.com/">dbt</a> や <a href="https://cloud.google.com/dataform?hl=ja">Dataform</a>があります。<br>
プレイドでのdbtの活用方法は先日<a href="https://tech.plaid.co.jp/signals_connector_dbt">ブログに記載</a>したのでよかったらみてください。</p>
</li>
<li>
<p>Metric Store<br>
一言でいうと、分析の際に使う指標や数値（メトリクス）の定義を一元管理するツールです。<br>
今までは各BIツールでメトリクス定義を管理していましたが、それによって以下問題が起きていました。<br>
- レポーティングで使う数値の定義が、各チーム・各BIツールによって違っていて何が正解なのかわからない<br>
- 運用管理しようとしても、定義がBIツールごとに散らばり重複しているので管理が大変<br>
メトリクスの定義管理をBIツールとは分離し、再利用可能にするというのがコンセプトです（図4）。Headless BIとも呼ばれます。<br>
SaaSとしては、<a href="https://www.getdbt.com/product/semantic-layer">dbt（semantic layer）</a>、<a href="https://metriql.com/">Metriql</a> 、<a href="https://cube.dev/">cube</a> があります。<br>
<img src="https://ik.imagekit.io/plaid/ee409271-1c44-416c-9b5b-d8c1df2aeab6/Metric_Store.png" alt="Metric_Store.png"><br>
図4. Metric Storeのコンセプト( https://benn.substack.com/p/metrics-layer )</p>
</li>
</ul>
<h3>データ活用</h3>
<ul>
<li>
<p>Data Analytics<br>
この領域はBIツールなど、みなさんご存知だと思うので割愛します</p>
</li>
<li>
<p>Reverse ETL<br>
Reverse ETLとは、Data Warehouseのデータを他のシステム（CRM、Marketing Tool、Operation用のSaaSなど）に連携する手法（図5）を指します。<br>
Data warehouseに入ったデータやその分析を最後アクションに結びつけることから、Data Activationとも呼ばれます。<br>
収集した生データや変換されたデータをビジネス上の価値に繋げるための重要な架け橋の一つだと考えられています。<br>
Reverse ETL / Data ActivationのSaaSは、<a href="https://www.rudderstack.com/">rudderstack</a>, <a href="https://www.getcensus.com/">Census</a> , <a href="https://hightouch.com/">hightouch</a> があります。<br>
<img src="https://ik.imagekit.io/plaid/939a59d5-f580-462b-955f-dd10eadad6c2/Data_Activation.png" alt="Data_Activation.png"><br>
図5. Data Activation ( https://www.getcensus.com/solutions/data-teams )</p>
</li>
</ul>
<h3>その他（横断系）</h3>
<ul>
<li>
<p>Data Governance<br>
ここまで説明したツールの進化によってデータの活用が進むと、今度はデータの運用管理が大変になり、管理ツールへのニーズが高まってきました。<br>
データ運用管理に求められる機能としては以下があります。</p>
<ul>
<li>データカタログ
<ul>
<li>組織内にあるデータを検索・発見する</li>
</ul>
</li>
<li>データリネージ
<ul>
<li>どこからどこへデータが流れたのかを可視化・監視する</li>
</ul>
</li>
<li>データオブザーバビリティ
<ul>
<li>今流れているデータのEnd-to-Endのモニタリングする（可視化、品質チェックetc）</li>
</ul>
</li>
</ul>
<p>各機能についてData Warehouse側でも提供しています。たとえば、<a href="https://www.databricks.com/jp/product/unity-catalog">DatabricksのUnity Catalog</a>、<a href="https://cloud.google.com/data-catalog?hl=ja">GCP Data Catalog</a>などなど。各種サービス跨いだ管理ツールとしては<a href="https://atlan.com/">Atlan</a>や<a href="https://www.montecarlodata.com/">MONTE CARLO</a> があります。</p>
<p>いずれの機能も内部的には各種サービスからメタデータを収集し、それを目的に応じて使用しているという構造になっています（図6）。なので、どれぐらい解像度高くリアルタイムでメタデータを収集できるかがポイントと言えます。<br>
　 <img src="https://ik.imagekit.io/plaid/a6f2dba8-5e18-44f4-aa16-1d066047fb28/Metadata_Lake.png" alt="Metadata_Lake.png"><br>
図6. Metadata管理 ( https://atlan.com/what-is-data-governance/?ref=/modern-data-stack-101/ )</p>
</li>
<li>
<p>Data Orchestration<br>
上で話したようなデータの収集・処理・活用を実行するために、タスクのワークフロー管理を行うツールを指します。<br>
主に<a href="https://airflow.apache.org/">Airflow</a>、<a href="https://www.prefect.io/">Prefect</a>、<a href="https://dagster.io/">dagster</a>あたりが有名です。</p>
</li>
</ul>
<h2>まとめ</h2>
<p>さて、Modern Data Stackとは何かから始めて、カテゴリーごとの技術要素・代表的なサービス・重要だと思うトレンドを解説しました。<br>
あくまで概要を説明しただけなので、実際にデータ基盤を構築しようとした際はいろいろなトピックを深掘りする必要が出てきます。参考資料にも今回調べたリンクを載せたので、みなさんが各トピックの詳細を知る上での手助けになれば幸いです。</p>
<h2>参考資料</h2>
<ul>
<li>Modern Data Stack全体像の図
<ul>
<li><a href="https://twitter.com/ValentinUmbach/status/1418242294952644611">https://twitter.com/ValentinUmbach/status/1418242294952644611</a></li>
<li><a href="https://www.indicative.com/resource/modern-data-infrastructure/">https://www.indicative.com/resource/modern-data-infrastructure/</a></li>
</ul>
</li>
<li>Modern Data Stack概論
<ul>
<li><a href="https://speakerdeck.com/satoshihirose/modandetasutatukugai-lun">https://speakerdeck.com/satoshihirose/modandetasutatukugai-lun</a></li>
</ul>
</li>
<li>Modern Data Stack Repository
<ul>
<li><a href="https://www.moderndatastack.xyz/">https://www.moderndatastack.xyz/</a></li>
</ul>
</li>
</ul>


プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。

社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog

社内勉強会「Modern Data Stack入門」の内容をブログ化しました

Engineer Blog

Recent Article

Platform Engineering Kaigi 2024登壇レポート

インターンシップで全社のMongoDBをアップデートした話

BigQueryの分散処理の仕組みを深掘りする

生成AIカンファレンス2024 参加レポート

プレイドインターン体験記: はじめての開発インターンを通じて得た学び

Microsoft の AI 技術をベースに構成される Craft Functions Copilot

プレイドのインターン体験記：分散システムとプロダクト貢献意識の両面からの学び

BigQuery Analytics Hubを使った透明性が高くセキュアなデータ共有

OLAPデータベースにおける高速化の技術

社内勉強会「Modern Data Stack入門」の内容をブログ化しました

Archives

Writers

Recent Article

Platform Engineering Kaigi 2024登壇レポート

インターンシップで全社のMongoDBをアップデートした話

BigQueryの分散処理の仕組みを深掘りする

生成AIカンファレンス2024 参加レポート

プレイドインターン体験記: はじめての開発インターンを通じて得た学び

Microsoft の AI 技術 をベースに構成される Craft Functions Copilot

プレイドのインターン体験記：分散システムとプロダクト貢献意識の両面からの学び

BigQuery Analytics Hubを使った透明性が高くセキュアなデータ共有

OLAPデータベースにおける高速化の技術

社内勉強会「Modern Data Stack入門」の内容をブログ化しました

Archives

Writers

Microsoft の AI 技術をベースに構成される Craft Functions Copilot