社内勉強会「Modern Data Stack入門」の内容をブログ化しました

<html><head></head><body>あけましておめでとうございます。エンジニアの Yui です。
<h2 id="はじめに">はじめに</h2>
KARTE では毎年、年越し(1/1 0:00)のタイミングで KARTE を導入している一部のウェブサイトにおける新年のキャンペーンやセール開始によるリクエスト急増が見込まれます。このリクエスト急増に対応する事前のスケールアップやリアルタイムでの対応を一部のエンジニアで行なっています。
通常時はクラウド上のほぼ全てのリソースのスケーリングを自動化しているのですが、コストやコールドスタートに対する対策の観点からこのタイミングのみ一部を手動で対応しています。
この記事では今年どんな対応を行なったのかを記録として残しておきたいと思います。
<h2 id="今回スケールさせた部分について">今回スケールさせた部分について</h2>
KARTE ではインフラの大部分に Google Cloud を利用しています。今回スケールさせるのは主に Google Cloud のサービス群（Cloud Bigtable（以下 BigTable）, Google Kubernetes Engine（以下 GKE）, Compute Engine（以下 GCE） など）になります。
今回の対応部分である、KARTEのリアルタイム解析基盤についてざっくり説明します。 
<img src="https://ik.imagekit.io/plaid/57731d06-9649-41ae-9b82-bece8247f89c/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-01-1513.13.57.png" alt="スクリーンショット2024-01-1513.13.57.png"> 
<a href="https://karte.io/feature/core-realtime/" target="_blank" rel="noreferrer">リアルタイムユーザー解析</a>
KARTE の JavaScript タグが入っているウェブサイトにユーザーが訪れると、そのユーザーの閲覧やクリックなどのウェブサイト上での行動（ = イベントデータ）が KARTE のサーバーに送られます。KARTE のサーバーは受け取ったイベントデータをリアルタイムに解析します。また、事前に設定している施策配信を行うかどうか（このページを閲覧した人にはこのポップアップを出す、など）の判定を行い、結果をウェブサイト側に返します。
この解析や配信判定処理を担当しているのがリアルタイム解析基盤と呼んでいる部分で、レイテンシやサーバー負荷状況がサイト上のユーザー体験にクリティカルに影響します。 
（リアルタイム解析基盤のアーキテクチャについて詳しく知りたい方はこちらの記事をご参照ください。 <a href="https://tech.plaid.co.jp/blitz_realtime_analytics_architecture">Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術 - 強整合な解析 -</a> ）
<h2 id="事前準備">事前準備</h2>
リアルタイム解析基盤はざっくり分けてユーザーの解析や配信判定などリアルタイムに処理する必要がある部分と、イベントデータの永続化など非リアルタイムの処理でよい部分があります。 
アーキテクチャや過去の対応実績をもとに特に前者に重点を置き、何をどの程度スケールさせるのかを事前に検討しました。
準備として実際に当日までに行った内容は以下です。
<ul>
<li>
当日の対応内容の読み合わせ（今回は4名で対応しました）
</li>
<li>
誰がどの部分を担当するのかを決める
</li>
<li>
各自担当部分についてスケールさせる値を決める
<ul>
<li>昨年の年明けタイミングや直近1ヶ月の定常時のリクエスト数・インスタンス数の平均・最大値などを確認して判断しました</li>
</ul>
</li>
<li>
Terraform や GKE の manifest など IaC で対応する部分は当日までに PR を作成し、レビューを済ませておく
<ul>
<li>当日はこの PR をマージすることで CI/CD パイプラインが走り、変更が適用されます</li>
</ul>
</li>
<li>
BigTable のスケールアウト検証
<ul>
<li>BigTable は最小ノード数を増やしたからといって必要なリソースが確保できるかを確約していません。そこで、実際の環境で少なくとも数日前の時点で想定量までスケールできるかという点や、当日の作業手順確認の目的で事前検証を行いました。（数日前時点でスケールできたからといって当日に同じリソース量までスケールできることが確約されていない点は注意が必要です）</li>
</ul>
<blockquote>
ノード割り当てとは、各プロジェクトで 1 つのゾーンにプロビジョニングできるノードの最大数です。この割り当て数にまだ達していなくても、クラスタにノードを追加できるとは限りません。ゾーンでこれ以上ノードを利用できない場合、プロジェクトで割り当てが残っていても、そのゾーンのクラスタにノードを追加できないことがあります
</blockquote>
<a href="https://cloud.google.com/bigtable/quotas?hl=ja#availability" target="_blank" rel="noreferrer">割り当てと上限 | Cloud Bigtable ドキュメント | Google Cloud</a>
<blockquote>
ゾーンでノードがなくなると、構成した最小ノード数を満たすように追加ノードがプロビジョニングされません。
</blockquote>
<a href="https://cloud.google.com/bigtable/docs/autoscaling?hl=ja#determine-min" target="_blank" rel="noreferrer">自動スケーリング | Cloud Bigtable ドキュメント | Google Cloud</a>
</li>
</ul>
作業内容や担当、進捗についてはこんな感じで Notion で管理しました。 
<img src="https://ik.imagekit.io/plaid/53d77f2c-8d01-4bb4-9dab-65a83469c146/tasks.jpg" alt="tasks.jpg">
<h2 id="当日やったこと">当日やったこと</h2>
作業当日（2023/12/31）は事前に決定した通りに以下の手順で作業を行いました。
<ul>
<li>
20:30 に Slack に集合
</li>
<li>
通常時に利用している自動スケール設定のモニタリングを OFF にする
</li>
<li>
Datadog のログ量を調整する
<ul>
<li>普段から Datadog への書き込みが多いかつ重要度の低いログを一時的に停止させることで、不要なコストがかかることを防止する目的で行いました。</li>
</ul>
</li>
<li>
BigTable クラスタのノードサイズの最小値を手動で徐々に上げていく
<ul>
<li>
BigTable はノードを増やすと一時的にレイテンシが増加し負荷がかかった状態が続く可能性があり、ユーザー体験に影響を与える可能性があります。一気に上げてレイテンシが高い状態が続くのを避けるため、都度レイテンシを確認しながら手動で徐々に上げるようにしました。
<blockquote>
クラスタ内のノード数が増加した後、クラスタのパフォーマンスが大幅に向上するまでに、負荷のかかった状態が最大 20 分間続く可能性があります。Bigtable は、その負荷に基づいてクラスタ内のノードをスケーリングします。
</blockquote>
<a href="https://cloud.google.com/bigtable/docs/performance?hl=ja#slower-perf" target="_blank" rel="noreferrer">パフォーマンスについて | Cloud Bigtable ドキュメント | Google Cloud</a>
</li>
</ul>
</li>
<li>
IaC 対応部分のPRをマージし、変更後の値までスケールすることを確認
</li>
<li>
Datadog のダッシュボードでスケール台数やエラーレート、レイテンシを監視し異常がないかを確認 
<img src="https://ik.imagekit.io/plaid/1f2e893a-0a49-4e39-9cce-efb048e06469/datadog.jpg" alt="datadog.jpg"> 
▲こんな感じで作業と並行してダッシュボードを継続して確認していました
</li>
</ul>
以下は 2023/12/31 23:00 〜 2024/1/1 1:00 までのイベント数や接客数・スループットを Datadog のダッシュボードに描画したグラフです。0:00 のタイミングでリクエストが急増しているのがわかります。 
<img src="https://ik.imagekit.io/plaid/eea55fa4-e87e-4582-bea4-9baa1530368c/%E3%82%A4%E3%83%98%E3%82%99%E3%83%B3%E3%83%88%E6%95%B0.jpg" alt="イベント数.jpg">
当日は事前準備した内容の実施に加え、想定よりもリクエスト数が増えそうな兆候があったため追加でインスタンス数を増やすなどの対応を行いました。
<h2 id="後片付け">後片付け</h2>
0:00〜0:30ごろをピークにリクエスト数が徐々に落ち着いていくのを確認しました。その後1:00頃からPRのリバートや手動でスケールさせた部分のスケールインを行いました。
スケールイン時も急激に台数を減らすとサーバーの負荷増加や BigTable のレイテンシ増加などでパフォーマンスが低下するおそれがあるため、対応方法に注意する必要があります。
今回対応した部分（BigTable, GKE, GCE）に関してはスケールインを自動で徐々に行う設定が入ってることを確認し、スケールインを実行しました。
<blockquote>
クラスタ内のノード数を減らしてスケールダウンする場合、10 分間に 10% を超えるクラスタサイズの縮小は行わないようにしてください。スケールダウンが速すぎると、クラスタ内の残りのノードが一時的に過負荷になる場合にレイテンシが増加するなど、パフォーマンス上の問題が発生する可能性があります。
</blockquote>
<a href="https://cloud.google.com/bigtable/docs/scaling?hl=ja#scale-down" target="_blank" rel="noreferrer">スケーリング | Cloud Bigtable ドキュメント | Google Cloud</a>
<blockquote>
Kubernetes offers features to help you run highly available applications even when you introduce frequent voluntary disruptions. 
As an application owner, you can create a PodDisruptionBudget (PDB) for each application. A PDB limits the number of Pods of a replicated application that are down simultaneously from voluntary disruptions.
</blockquote>
<a href="https://kubernetes.io/docs/concepts/workloads/pods/disruptions/" target="_blank" rel="noreferrer">Disruptions | Kubernetes</a>
<blockquote>
スケールインの速度を制御するには、追跡時間枠内でのオートスケーラーの最大許容削減数を構成します。
<ul>
<li>最大許容削減数（<code>maxScaledInReplicas</code>: VM インスタンスの数または割合）。指定された追跡時間枠内においてワークロードで（グループのピークサイズから）削除できるインスタンスの数。このパラメータを使用して、グループをどれだけスケールインできるかを制限します。これにより、より多くのインスタンスがサービスを開始するまで、発生しうる負荷スパイクに引き続き対応できます。最大許容削減数が小さいほど、スケールインの速度は遅くなります。</li>
<li>追跡時間枠（<code>timeWindowSec</code>: 秒）一時的な負荷減少の後に負荷スパイクが発生する可能性が高く、最大許容削減数を超えてグループサイズをスケールインしたくない時間。このパラメータで、オートスケーラーが過去の負荷を処理するのに十分なピークサイズを決定する際の時間枠を定義します。オートスケーラーは、追跡時間枠で観測されたピークサイズから最大許容削減数を差し引いた値よりも小さいサイズには変更されません。追跡時間枠が長いほど、オートスケーラーは過去のピーク負荷を重視します。これにより、より慎重な安定したスケールインが可能になります。</li>
</ul>
</blockquote>
<a href="https://cloud.google.com/compute/docs/autoscaler/understanding-autoscaler-decisions?hl=ja" target="_blank" rel="noreferrer">オートスケーラーによる判断の理解 | Compute Engine ドキュメント | Google Cloud</a>
<h2 id="おわりに">おわりに</h2>
年越しの瞬間はこんな感じで緊張感がありながらもわいわい対応していました。 
<img src="https://ik.imagekit.io/plaid/a87d020b-d545-410e-958a-6794e64efeaf/Group1.jpg" alt="Group1.jpg"> 
普段はなかなかやらないような大幅なスケールアップやリアルタイムでの対応を行い、個人的にもとてもいい経験になりました。
CX（顧客体験）プラットフォーム「KARTE」を運営するPLAIDでは、データを活用しプロダクトを改善していくエンジニアを募集しています。 
詳しくは、<a href="https://recruit.plaid.co.jp/" target="_blank" rel="noreferrer">弊社採用ページ</a>をご覧ください。
</body></html>

普段からトラフィック量の多いプロダクトであるKARTEにおいて、特にトラフィックが増えることが想定できる年末年始のタイミングにおいて、事前スケールやリアルタイム対応をどのように行ったのかの記録です。

年越しのその瞬間、KARTEのリクエスト急増とスケールアップの裏側