絶対にアプリを死なせない！プロセス分離による堅牢なSDKの実現方法

<html><head></head><body><p>こんにちは！SREの@ikemonnです。</p>
<p>7/24-26@San Franciscoで行われた<a href="https://cloud.withgoogle.com/next18/sf/" target="_blank" rel="noreferrer">Google Cloud Next '18</a>に参加してきました。</p>
<p>いくつかのセッションを聞いてきたのですが、今回はKARTEのデプロイでも利用している<a href="https://www.spinnaker.io/" target="_blank" rel="noreferrer">Spinnaker</a>のセッション、<a href="https://cloud.withgoogle.com/next18/sf/sessions/session/155951" target="_blank" rel="noreferrer">Large-Scale Continuous Delivery at Netflix and Waze Using Spinnaker (Cloud Next '18)</a> が面白かったのでご紹介します。</p>
<h2 id="概要">概要</h2>
<ul>
<li>WazeでのSpinnakerの使い方</li>
<li>Googleがリソースを割いてなぜSpinnakerを開発しているのか</li>
<li>Spinnakerのroadmap</li>
<li>まとめ</li>
</ul>
<h3 id="WazeでのSpinnakerの使い方">WazeでのSpinnakerの使い方</h3>
<p>Wazeはmulti-cloud(AWS/GCP)でインフラを構成しています。<br>
サービスが成長するにつれ、サーバが何千台にも増えていき次第にデプロイが大変になっていったそうです。<br>
SREチームがデプロイにかかりっきりになり、batchやbug fixのデプロイやrollbackも気軽にできなくなってきた時にSpinnakerを見つけました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/ed5fc9f2-abc7-49e9-ab79-ccb5401b4702/-2018-07-30-9.00.51.png" alt="-2018-07-30-9.00.51"></p>
<p>OSS, multi-cloud対応したツールであることからSpinnakerの導入を決定しました。<br>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f513304d-4466-43c9-90c7-1481025c8f7a/-2018-07-30-7.31.36.png" alt="-2018-07-30-7.31.36"></p>
<p>Spinnakerを導入することで下記のメリットがあったそうです。</p>
<ul>
<li>SREチームにデプロイを頼まなくて良くなった</li>
<li>rollbackやデプロイを部分的に行えるので改善サイクルが早くなった</li>
<li>VM, k8s, AppEngine等を意識せずに統合的なインターフェースでデプロイできるようになった</li>
</ul>
<p>しかし、しばらくするとpipeline数が増えすぎて(1000以上!)、UIからの管理が大変になってきました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/9d1e8c69-5711-4835-88fb-9aa3dabf4ace/-2018-07-30-7.37.25.png" alt="-2018-07-30-7.37.25"></p>
<p>pipeline自体は個々で大きく異なっているわけではなく、ちょっとした差分があるだけだったのでtemplateを作り、そこからpipelineを作るようにしたそうです。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/b3c6a3b4-598a-4be0-acd0-d4d7231ded33/-2018-07-30-7.41.57.png" alt="-2018-07-30-7.41.57"></p>
<p>まず、<code>bake -&gt; smoke test -&gt; deploy</code> というpipelineのtemplateを作ることからはじめました。<br>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/8621dbdf-3479-4810-94bb-7534e12a9fb2/-2018-07-30-7.44.26.png" alt="-2018-07-30-7.44.26"></p>
<p>v1ではまだリスクがあったので、canaryステージを追加し、  <code>bake -&gt; smoke test -&gt; canary -&gt; deploy</code> を作ったりと徐々にpipelineを改善していったそうです。</p>
<p>pipelineをテンプレート化していることにより、1000以上pipelineがあっても変更をすぐに反映できて良かったとおっしゃっていました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/81534a64-c683-46d5-8f62-69bcc84f5407/-2018-07-30-7.48.13.png" alt="-2018-07-30-7.48.13"></p>
<p>Wazeではデプロイ以外にもCassandraのデプロイにもSpinnakerを使っているそうです。</p>
<p>今後Wazeでは、SLO/error budget等のSREのコンセプトを考慮した、下記のようなデプロイを行う予定と言っていました。</p>
<ul>
<li>error budgetを超えそうになると自動的にカナリアデプロイの検証時間を長くする</li>
<li>普段は自動でデプロイされるけど、デプロイしてよいかを手動で決定しなければならないようにする</li>
</ul>
<h3 id="Googleがリソースを割いてなぜSpinnakerを開発しているのか">Googleがリソースを割いてなぜSpinnakerを開発しているのか</h3>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f4def9fc-5743-4ef9-9d35-5d2ba7e8e826/-2018-07-30-8.08.05.png" alt="-2018-07-30-8.08.05"></p>
<p>GoogleもSpinnakerの開発にリソースを割いているようで、去年に比べて現在では2倍の人員がいるようです。<br>
Full timeの開発者が13人、PM/TPM/EngMgrが各1人と、かなりリソースを割いているようでした。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/da003478-dd55-4ec3-9cd1-49343ae49df5/-2018-07-30-8.11.36.png" alt="-2018-07-30-8.11.36"></p>
<p>GoogleがSpinnaker開発に力を入れているのは、下記のような理由だそうです。</p>
<ul>
<li>Spinnakerで実現できることが社内のbest practice にマッチしている</li>
<li>デプロイ、ロールバック等が抽象化されているので、multi-cloudなインフラでもそれぞれのcloudの詳細な知識なしにデプロイできる</li>
</ul>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/a30cb370-993a-44c2-93a1-2859c30eed48/-2018-07-30-8.19.16.png" alt="-2018-07-30-8.19.16"></p>
<p>Googleとして早い段階からSpinnakerの開発に関わっており、 2014年に20%プロジェクトとして、とあるエンジニアがSpinnakerに関わりだしたのが始まりだそうです。<br>
そして、GCE, GKE, AppEngine等の機能を追加していったと言っていました。</p>
<h3 id="Spinnakerのroadmap">Spinnakerのroadmap</h3>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/faf1c7da-b7ea-471f-b35d-39f5d093bf5b/-2018-07-30-8.29.56.png" alt="-2018-07-30-8.29.56"></p>
<p>上記がSpinnakerのroadmapです。<br>
個人的に最も気になったのが Configuration as Codeについてでした。<br>
デプロイ内容について宣言的なconfigを書いて、Codeとして管理できるようにしていくとのことです。<br>
KARTEでは <a href="https://github.com/spinnaker/dcd-spec" target="_blank" rel="noreferrer">spinnaker/dcd-spec</a> を使ってpipelineを管理しているので、dcd-specとの違いを後で質問しにいきました。<br>
「dcd-specをより良くしたものをCLI経由で反映できるようにするよ」と教えてもらったのですが、まだ開発中なのか、具体的にどのようなものかは教えてもらえませんでした。<br>
<a href="https://docs.google.com/document/d/17Ifm562aypjLSHnNJ02COFv_VMv3spicH-7zMYd-oXE/edit#" target="_blank" rel="noreferrer">Spinnaker CLI Design Doc</a>を見ると、<a href="https://github.com/spinnaker/spin" target="_blank" rel="noreferrer">spinnaker/spin</a> が上記のCLIのようです。</p>
<p>Spinnakerに関する情報についてはこちら<br>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/a1d3c567-4e16-4810-a5f8-a95fc1591345/-2018-07-30-8.35.43-1.png" alt="-2018-07-30-8.35.43-1"></p>
<iframe width="560" height="315" src="https://www.youtube.com/embed/PLNheBiWOGI" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen=""></iframe>
<h3 id="まとめ">まとめ</h3>
<p>Wazeのような大規模マルチクラウドインフラを運用している会社でもSpinnakerを使っていること、Googleも開発にリソースを割いていることから、Spinnakerを今後も継続して利用しておけばしばらく安心だと思いました。<br>
他のセッションでもSpinnaker活用事例がいくつか発表されていたので、良いデプロイツールを探している方は一度触ってみると良いと思います。<br>
KARTEへのSpinnaker導入時にバグを見つけ、PRを出したのですが、それをマージしてくれた <a href="https://github.com/duftler" target="_blank" rel="noreferrer">Matt Duftler</a>に直接質問できたのが個人的に良かったです。</p>
<h2 id="最後に">最後に</h2>
<p>2018/8/3(金)に開催予定の<a href="https://plaidtech.connpass.com/event/92694/" target="_blank" rel="noreferrer">プレイドオフィス移転パーティー ※エンジニア&amp;デザイナー向け</a>でもGCP Nextについて話す予定なので、お時間が空いている方はぜひぜひご参加ください！</p>
<p>また、KARTEでのSpinnakerの使い方は、2018/9/8(土)に行われるbuildersconのセッション:<a href="https://builderscon.io/tokyo/2018/session/e3b9f6e2-7fc8-44fa-bb4f-238144e5cd1b" target="_blank" rel="noreferrer">Multicloud deploy with Spinnaker</a>で発表する予定なので、ご興味のある方はお越しください！</p>
<p>CXプラットフォーム「<a href="https://karte.io/" target="_blank" rel="noreferrer">KARTE</a>」を運営するプレイドでは、尖ったサービス/ツールを使いつつ大規模分散システムの構築/運用をしたいエンジニア（インターンも！）を募集しています。<br>
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html" target="_blank" rel="noreferrer">弊社採用ページ</a><br>
または<a href="https://www.wantedly.com/companies/plaid/projects" target="_blank" rel="noreferrer">Wantedly</a><br>
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
</body></html>

こんにちは！ SREの@ikemonnです。 7/24-26@San Franciscoで行われたGoogle Cloud Next '18に参加してきました。 いくつかのセッションを聞いてきたのですが、KARTEのデプロイで利用しているSpinnakerのセッションが面白かったのでご紹介します。

Google Cloud Next '18でSpinnakerのセッションを聞いてきました!