Engineer Blog

Kota Yatagai

Shuhei Kondo

kenshin tanaka

KARTE Team

Security Team

Tomoya Koike

Haruki Tosa

Daiki Sakuma

Takuma Shibuya

plaidinc

Takami Yamada

Blocks Team

Takanori Koga

Takumi Katayama

Yu Nishimura

Takuya Ogawa

akira.kasuga

Kosuke Oya

Yoshiyuki Komazaki

mizchi

Ryosuke Suzuki

koichi tanaka

Arnaud Avondet

kazupon

daigo.isamatsu

Jun Kusahana

Shinnosuke Ozawa

Rei Ishikawa

Hiroto Harada

Kei Tamiya

Nobuhiro Ito

kazushi oohira

Yohei Meguro

Kazuto Kojima

Tomoki Koga

Kenichi Suzuki

Takaaki Nakama

Takahiro Tokunaga

Kohei Kadowaki

kantetsu

Makoto Kataigi

Tatsuya Monoi

Jumpei Ikegami

Masahiro Yamauchi

Shinji Eto

Yuta Nishimura

Hideyuki Okada

Wataru Ikarashi

Naoto Kato

Yuki Makino

Atsushi Fujikawa

Naohiko Takemura

Daikichi Sasamori

Atsushi Kobayashi

Naoki Shibayama

Daiki Matsui

Yohei Noda

こんにちは、エンジニアの <a href="https://twitter.com/kargo113">@kargo</a> です。
今回は、2023年4月からBigQueryがEditionsという料金体系の変更を行なったことによる、コスト最適化の挑戦について書いていこうと思います。前回は3年以上前になりますが、<a href="https://tech.plaid.co.jp/bigquery-slot-resource-optmization">6,000スロットを使うBigQueryのリソース配分最適化への挑戦</a> として同様にコストの最適化についてご説明してありますので、Slotとは何？という疑問をお持ちの方はこちらも是非ご参照下さい。
BigQueryは、Google Cloud Platformが提供する、大規模なデータセットを高速に分析できるデータウェアハウスです。BigQueryは、企業のデータ分析基盤として広く利用されており、その利用量は年々増加しています。
しかし、BigQueryのコストは、データの量やクエリの実行回数に応じて増加するため、コスト管理が重要となります。特に、BigQueryは2023年4月から、料金体系が<a href="https://cloud.google.com/bigquery/docs/editions-transition?hl=ja">Editionsに変更</a>され、従来の料金体系が変化しました。弊社におけるインパクトは主に2つあり
<ul>
<li>slot(定額)の単価の増加</li>
<li>storageコストの減少</li>
</ul>
による影響が発生しました。
storageコストに関する<a href="https://cloud.google.com/bigquery/pricing?hl=ja#storage">料金変更</a>としては、Physical StorageとLogical Storageといういずれかの課金体系が選択可能になったという点があります。どちらが最適かはユースケースによって大きく異なるため詳細は省きますが、Long-Term Physical Storage という圧縮効率が高く、長期保存されるデータに関しての費用が減少するため、弊社の場合はPhysical Storageへの課金とすることである程度のコスト減となりました。
一方で、slotの単価が $0.024/slothour から $0.048/slothour へ2倍の増加となるので、こちらのインパクトがより大きいという実情でした。従って、全体では大幅に増加という影響になり、弊社の分析基盤の要でもあるため、7月から9月にかけて集中的に主にSlotを中心としたコストを最適化する流れとなりました。その名も、Bigquery-Slot-Optimization Teamです！
本記事では、BigQueryのSlotの最適化について主に実行した ① Monitoringの整備によるJobごとのSlot監視と削減、②AutoScaleの導入によるSlotBaseLineの最適化 という2つの観点から解説します。
<h2>① Monitoringの整備によるJobごとのSlot監視と削減</h2>
Slotのコスト削減のためには、まず、BigQueryの利用状況を把握することが重要です。BigQueryの利用状況を把握する第一歩は、BigQueryのConsoleのMonitoringを利用することです。Monitoringでは、BigQueryのジョブの実行状況やリソースの使用状況を時系列で確認することができます。Organization全体ではこのような利用状況であることが確認できます。 
<img src="https://ik.imagekit.io/plaid/cba093e9-b2e1-4746-b24f-4f0f99077eb7/bq_console_top_v2.png" alt="bq_console_top_v2.png">
MonitoringでBigQueryの利用状況を把握したら、slotを大きく消費しているJobを特定します。しかし、Monitoringの画面だけでは、ReseravtionやProjectごとでのGroupByしかできないため、クエリレベルでの細かい単位で調査することはできません。また、そもそも画面が非常に重く現実的に使いやすいものとは言えないという背景がありました（こちらはGoogleさん...お願いします...!）。クエリにラベルを適切に付与していれば、そちらで管理することも可能ですが、全てのProductでクエリにラベルを振るのは現実的ではありませんでした。そこで、独自のMonitoringを構築する必要が生じるため、CloudFunction/CloudScheduler/Datadog を用いて実装します。
まず、slotの消費は主にslot_ms (slot millisecond)で調査することになります。100slotを60sec利用するJobであれば、100×60×1000 = 6,000,000 slot millisecond という単位になります。
時系列で把握したいので、<code>INFORMATION_SCHEMA.JOBS_TIMELINE</code> というテーブルを利用します。 
単純には
<pre><code class="language-sql"> SELECT
 job_id,
 period_start,
 period_slot_ms
 FROM
 `{YOUR_PROJECT_NAME}.region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE
 WHERE
 period_start BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
 AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
 AND job_creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 20 MINUTE)
 AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE)
 AND job_type = 'QUERY'
 AND statement_type != 'SCRIPT'
</code></pre>
のようにすれば、簡単に取得できます。
period_slot_msとはperiod(=1sec)あたりのslot_msを意味するので、1secあたりのJobごとのスロット消費量が簡単に取得できます。
このテーブルをさらに、<code>INFORMATION_SCHEMA.JOBS</code> というテーブルを用いて、job_idをkeyにjoinすることで、実行されたqueryを取得できます。取得したqueryをさらに、<code>REGEXP_CONTAINS</code> 関数を用いて、正規表現で任意のJobに集約します。例えば、<code>WHEN REGEXP_CONTAINS(query, r'/* JOURNEY') THEN 'journey'</code> という表記により、queryのコメントに<code>/* JOURNEY</code> が含まれているqueryを <a href="https://karte.io/product/journey/">Journey</a> というProductのために使っているQuery Jobという形で集約できます。
集約することで、Productごとに消費したslotのtimelineが得られるので、これをDatadogに送信します。送信するには <a href="https://cloud.google.com/functions?hl=en">CloudFunction (2nd gen)</a> を用いることで簡単にDatadogに送信できます。
Query ResultをBigqueryClientとDatadogClientを用いて送信するだけです。 
TypeScriptで書くとこのようになります。（※一部抜粋）
<pre><code class="language-typescript"> const slots: v2.MetricSeries = {
 metric: '${metric_name}',
 type: 2,
 interval: 1,
 points: points,
 tags: [`project:${projectId}`, `task:${task}`],
 };

 const params: v2.MetricsApiSubmitMetricsRequest = {
 body: {
 series: [slots],
 },
 };

 apiInstance
 .submitMetrics(params)
 .then((data: v2.IntakePayloadAccepted) =&gt; {
 console.log('API called successfully. Returned data: ' + JSON.stringify(data));
 })
 .catch((error: any) =&gt; console.error(error));
</code></pre>
この関数をDeployするには
<pre><code class="language-bash">gcloud functions deploy $FUNCTION_NAME \
 --project=$GCP_PROJECT \
 --region=$REGION \
 --runtime nodejs14 \
 --entry-point=index \
 --gen2 \
 --source ./build \
 --trigger-topic=$TOPIC_NAME \
 --trigger-service-account=$TRIGGER_SERVICE_ACCOUNT_ADRESS \
 --service-account=$SERVICE_ACCOUNT_ADRESS \
 --retry \
 --timeout=180s \
 --set-env-vars=DATADOG_APP_KEY=$DATADOG_APP_KEY,DATADOG_API_KEY=$DATADOG_API_KEY
</code></pre>
というgcloudコマンドだけでdeployできます。
さらに、このFunction を Cloud Scheduler で定期的に実行します。 
ただし、あまりにも頻度が高いとslotに負荷をかけるため、10分おきに実行しています。
結果として、送信したMetricsを用いて以下のようなDashBoardを構築しました。 
<img src="https://ik.imagekit.io/plaid/61cdd26c-0f08-4fbd-b796-63bbce5c8612/datadog_top_v2.png" alt="datadog_top_v2.png">
これにより、どのJobがどの時間に大きなSlotを消費しているのかが、一目瞭然になります。 
消費Slotの多い上位のJobをターゲットにして、それぞれ個別に対策を行います。
<h2>② AutoScaleの導入によるSlotBaseLineの最適化</h2>
BigQueryのコスト削減のためには、<a href="https://cloud.google.com/bigquery/docs/slots-autoscaling-intro?hl=ja">AutoScale</a> を利用することも有効です。AutoScaleは、BigQueryの利用状況に応じて、自動的にリソースをスケールアップまたはスケールダウンする機能です。AutoScaleを利用することで、余剰していたBaseLineを最適化し、コストを削減することができます。
弊社はReservationという単位でProductごとに個別のSlotを持っているため、個別に利用状況を判断し調整します。 
例えば Datahub というProductではdatahub独自のSlotをReservationとして占有しており、サービス提供に支障がないように余裕をもったBaseLineを敷いていました。 
しかし、休日深夜帯などほとんど利用されていないような時間帯でも、BaseLine分の料金は課金されてしまうことになります。 
これを最適化するために導入されたのが、AutoScaleです。
そうなるとBaseLineを全部0にしてしまえばいい感じに最適化されるのでは？と疑問に思うかもしれませんが、一方でBaseLineにはCommitという概念があり、<a href="https://cloud.google.com/bigquery/pricing?hl=ja#flat-rate_pricing">年間契約</a>することにより割引価格が適用できます。
そのため、固定分を割引価格で、変動分を定価で、のような使い方をすることができるため、一概に0にするのが正解とはいえません。
これらを考慮した上で、弊社で最適化した結果が以下の通りです。 
<img src="https://ik.imagekit.io/plaid/daa0289b-1fe7-4024-9dca-440bebed292d/slot_autoscaling.png" alt="slot_autoscaling.png">
いかがでしょうか。利用量に応じて動的にSlotがAutoScaleしていることがわかると思います。 
ただし、BaseLineと違って変動分にどれくらいのコストがかかっているのか？がなかなかConsoleだけだとわかりにくいので、こちらもDatadogに送信すると以下のような画面になります。 
これによりBaseLine+AutoScaleの料金の見積もりと監視が容易になります。 
<img src="https://ik.imagekit.io/plaid/a741e551-2926-4af0-a77b-1edc77c04a38/datadog_autoscale.png" alt="datadog_autoscale.png">
ただし、AutoScaleも完璧ではなく、Scaleup/downでOverHeadの時間はかかります。 
弊社の要件であると、「軽いクエリで必ず1,2sec以内で結果を返して欲しい」という要件も一部存在します。その場合は、interactive用のReservationを別途確保して、BaseLineを100や200で設定することで、この問題を解決することが可能です。
最も大事なのは、Productごとに要件を把握し適切にReservationを配分することであり、前回同様変わらないです。Product Teamとしてはもちろん余剰にSlotを使えた方が楽なのですが、会社全体としての予算があり、あくまでその配分の中で最適化するというのを理解してもらうことが大事です。
<h2>最終的なコストは...?</h2>
全体で約20%のコスト削減を実現 することができました。 
年間にして***円(非公開)の効果で、弊社の基盤としてはかなりのインパクトがありました。
以上のように 
① Monitoringの整備によるJobごとのSlot監視と削減 
② AutoScaleの導入によるSlotBaseLineの最適化全体
でBigQuery全体として、約20%のコスト削減を実現しました。
BigQueryのUpdateは特に早く、コストの最適方法はその都度変化するため、継続的に検討を行う必要があります。今回の方法は主にEditionsへの移行に伴う最適化でしたが、今後のUpdateに伴ってより良い方法が出る可能性があります。ご自身の環境へ適用する場合は、最新のドキュメントを参照の上、ご検討下さい。
CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営する<a href="https://plaid.co.jp/">PLAID</a>では、データを活用しプロダクトを改善していくエンジニアを募集しています。 
詳しくは、<a href="https://recruit.plaid.co.jp/">弊社採用ページ</a>をご覧ください。

BigQuery Editionsにおけるコスト最適化

BigQueryのコストの最適化への再挑戦〜BigQuery Editionsへの料金体系の移行について〜

社内で脆弱性診断を行なっている理由や、どのように診断から修正までを行なっているか、また社内で脆弱性診断をやることでどのような変化が起きたかについて紹介します。

社内でのプロダクト脆弱性診断の方法、継続することで見つかる脆弱性の傾向の変化

今回のブログではプラットフォームチームにて取り組んだ、異なるデータベース間のリアルタイムレプリケーションについて解説いたします。

MongoDB AtlasからBigQueryへのリアルタイムレプリケーション

初めまして！エンジニアのとさ (@tosa_now)です！
プレイドは、2023/10/28 (土) に開催された<a href="https://vuefes.jp/2023/">Vue Fes Japan 2023</a>にゴールドスポンサーとして協賛しました。
スポンサーブースの運営をする機会をいただき、参加者の皆さんに<a href="https://karte.io/">KARTE</a>のデモや現在作成中の機能についての説明やお話をすることができました。
今回のブログでは、参加したVue Fes Japanの様子をお伝えできればと思います。
今回スポンサーとして参加した理由は、PLAIDが開発しているKARTEというプロダクト内ではなんとVueが0系の時から利用しており、現状でも管理画面の大部分がVueで書かれておりコミュニティに助けられているので少しでも還元したいという思いから参加しました！
<h2>Vue Fes 当日の様子</h2>
<img src="https://ik.imagekit.io/plaid/20f62fe9-7a00-4d55-b0bc-8e3702e7b810/1000002289.jpg" alt="1000002289.jpg">スポンサーブースの準備完了後の写真
主にブースではKARTEのプロダクト説明をメインで行っていました。 
来訪してくださった方とVue2からVue3への移行をどのように進めているのかなどの技術雑談話でもりあがりました。
<img src="https://ik.imagekit.io/plaid/bcbfc85c-7535-4087-a132-75fbb2c890cc/IMG_4361.jpg" alt="IMG_4361.jpg">エンジニアのnichimuさんがスポンサーブースに立っている様子
プロダクト説明では、<a href="https://blocks.karte.io/">KARTE Blocks</a>と新機能であるエレメントビルダーを開発しているエンジニアのjunjun (@junish_js) さんによるデモで大いに盛り上がりました！！
エレメントビルダーの開発の裏側は<a href="https://cxclip.karte.io/products/developer/action-editor/">こちら</a>の記事で解説しています
<img src="https://ik.imagekit.io/plaid/4a62f6c0-d15d-49ff-a81f-cb11fe87f2d6/IMG_4364.jpg" alt="IMG_4364.jpg">エンジニアのjunjunさんがプロダクト説明をしている様子
とさの個人的な趣味でVue Fesの開催二日前に発売されたHHKB Professionalのお試し会も開催しました。興味を持ってくださる方が多くて嬉しかったです。 
<img src="https://ik.imagekit.io/plaid/00ea3072-8ce7-4ef7-ad70-6a0cfcf0e2a3/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-11-0510.53.04.png" alt="スクリーンショット2023-11-0510.53.04.png">
Vue Fesのスポンサーブース全体が賑やかでどの企業さんも回っていてとても楽しかったです。
<h3>参加した開発メンバーの感想</h3>
デザイナーの今西さん 
今回、ブース対応を初めて担当し、KARTEの魅力が少しでも伝わっていれば嬉しいなと思います。ひさしぶりのオフラインカンファレンスということで、当日は大いに盛り上がり、とても楽しい1日を過ごすことができました！
エンジニアのjunjunさん 
Vue Fesにスポンサーとして参加したのが新鮮でした。また、イベントは参加者と交流するという楽しみかたがあるんだと気づきました。私はVue Fesがきっかけでプレイドを知って入社したので、皆さんも知っていただけたら嬉しいです。またお会いましょう！
<h3>おわりに</h3>
Vue Fesのスタッフの皆さん、準備及びに当日の運営ありがとうございました！ 
PLAIDはこれからもVue.jsのコミュニティグループの活動を応援しています。
<img src="https://ik.imagekit.io/plaid/a0f082ec-3452-4958-a31d-50c506335c07/1000002292.jpg" alt="1000002292.jpg">ブース撤収直後のサインボードの様子

株式会社PLAIDはVue Fes Japan 2023にゴールドスポンサーとして参加して、スポンサーブースの運営を行いました！

Vue Fes Japan 2023にゴールドスポンサーとして参加しました！

KARTE 管理画面のパフォーマンスの監視をするにあたって考えたことや Datadog の活用のポイント、改善で取り組んだことについて紹介します。

Datadog を使った KARTE 管理画面パフォーマンス改善の取り組み

はじめまして。プレイドの @tomoponzoo です。 
2018年4月に入社、現在プレイド暦4ヶ月目のエンジニアです。 
プレイドでは、今年の3月にローンチした「<a href="https://karte.io/product/app/">KARTE for App</a>」のモバイルSDK開発をメインで担当しております。
開発に携わって4ヶ月が経ちましたが、今でもSDKをリリースする際は緊張してしまいます。それはSDKに非常に高いレベルの品質が求められるからです。
今回は、SDK開発の勘所や品質の重要性、仮にSDKで問題が発生してもアプリを絶対に死なせないための方法について考えていきたいと思います。
<h2>SDK開発の勘所 - 品質の重要性</h2>
冒頭で述べた通り、非常に高いレベルの品質が求められるSDKですが、それはなぜでしょうか？
仮に低品質なSDKを組み込んだ時に起こり得ることについて、想定してみます。
<ul>
<li>アプリがクラッシュするなどの問題が頻発</li>
<li>アプリクラッシュにより、エンドユーザーの体験が悪化</li>
<li>エンドユーザーの体験が悪化することにより、クライアントのビジネスに悪影響を及ぼす</li>
<li>最終的には自らのビジネスも毀損する</li>
</ul>
以上のように考えると、なぜSDKに高い品質が求められるのか理解できると思います。
このように高いレベルの品質が求められるSDKですが、開発するためには、エンジニアの想像力や品質への拘りが重要になります。これは非常に大変ですが奥深く面白い部分でもあります。
<h2>品質維持のためのアプローチ</h2>
では、高い品質の維持、また万が一問題が発生したときに影響を最小限に抑えるためにどんなことができるでしょうか？
<ul>
<li>問題を起こさない仕組みを整える
<ul>
<li>ソースコードレビューの実施</li>
<li>テストの自動化</li>
</ul>
</li>
<li>問題が発生したときに影響を最小限に抑える仕組みを整える
<ul>
<li>確実なエラーハンドル</li>
<li>プロセス分離</li>
</ul>
</li>
</ul>
このように品質維持のためのアプローチは様々ですが、今回は表題にもあるとおり、堅牢なSDKを実現するための方法として「プロセス分離」について考えてみます。
<h2>堅牢なSDKを目指す！</h2>
プロセス分離 - これはアプリケーションのプロセスと、SDKのプロセスを分離することです。 
プロセスを分けることで、仮にSDKのプロセスがクラッシュしたとしても、アプリケーションのプロセスには影響を与えず、処理を継続することが可能になります。
なお本質的には、SDKがクラッシュしないように実装すべきです。 
ただし人間が作る以上、バグが入り込む可能性は0ではありません。もちろんバグが入り込まないように様々な対策を行うわけですが、それらをすり抜けバグが入り込む可能性は否定できません。 
万が一の事態におけるフェイルセーフとしてプロセス分離を活用すべきです。
ちなみに、iOSプラットフォームにおいてプロセス分離を行うのは至難の業です。というのも通常のアプリケーションからはプロセスを自由に生成することができません。そのため今回はその制限の中でどうやってプロセス分離を実現するか試行錯誤しながら考えていきたいと思います。
<h2>マルチプロセス（プロセス分離）を実現するための手段</h2>
では、マルチプロセスを実現する場合にどんな手段があるでしょうか？ 
パッと思いつくものを列挙してみました。
<ul>
<li>fork</li>
<li>App Extension</li>
</ul>
<h2>forkとは？</h2>
あまりにも有名で説明は不要かと思いますが、forkはUNIXシステムにおけるシステムコールのひとつです。 
forkを使うことで、これを呼び出したプロセスのコピーを生成することができます。
iOSは、UNIX系システムのひとつであるため、forkを使うことが可能です。
<h2>forkを試す</h2>
では、早速forkを使ってプロセスの生成ができるか試してみたいと思います。 
まずXcodeで適当なプロジェクトを作成、<code>main.c</code> を以下のように修正し、シミュレーターで実行してみます。 
うまく行けば、子プロセスが作成されプロセス分離への道が開けます。
<pre><code class="language-obj-c">int main(int argc, char * argv[]) {
 pid_t pid = fork();
 if (pid == -1) {
 NSLog(@&quot;fork() failed&quot;);
 } else if (pid) {
 NSLog(@&quot;[Parent] PID: %d, PPID: %d&quot;, getpid(), getppid());
 } else {
 NSLog(@&quot;[Child] PID: %d, PPID: %d&quot;, getpid(), getppid());
 }
}
</code></pre>
<pre><code class="language-plaintext">2018-07-28 17:35:45.858546+0900 MultiProc[39705:13798053] [Child] PID: 39705, PPID: 39702
2018-07-28 17:35:45.858704+0900 MultiProc[39702:13797947] [Parent] PID: 39702, PPID: 39703
</code></pre>
おっ！意外にも、あっさりプロセスの生成ができてしまいました。 
子プロセスの親プロセスIDを確認すると、親プロセスのIDと一致しており、親子関係があることが確認できます。
同じことを実機を使ってやってみたいと思います。
<pre><code class="language-plaintext">2018-07-28 18:17:47.617257+0900 MultiProc[4926:1877048] fork() failed
</code></pre>
今度は失敗しました。 
iOSでは、アプリケーションの<a href="https://developer.apple.com/jp/documentation/iPhone/Conceptual/iPhoneOSProgrammingGuide/BackgroundExecution/BackgroundExecution.html">バックグラウンド実行</a>にかなりの制限があります。そのため独自にプロセスを生成して動かすこと自体不可能なのでは？と思っていましたが、やはり当初の想定通りダメなようです。
<h2>App Extensionとは</h2>
forkがダメだったので、もうひとつのアプローチについて考えてみます。
App Extensionですが、 <a href="https://developer.apple.com/jp/documentation/General/Conceptual/ExtensibilityPG/index.html">App Extensionプログラミングガイド</a>で説明されている通り。 
iOSアプリケーションを拡張する仕組みのひとつです。アプリケーションとは分離された別のプロセスとして動作するのが特徴です。
アプリケーションを拡張するために用意された仕組みであるため、通常はAppleが用意した拡張ポイントに対応するExtensionしか開発できません。 
今回は、プロセス分離を実現すべく非公開の拡張ポイントを利用して独自のExtensionを作ってみます。
<h2>App Extensionの仕組み</h2>
独自のExtensionを作る前に、Extensionの仕組みについてみておきます。
Extensionのライフサイクル 
通常は停止しています。 
アプリケーションからのリクエストに応じて起動し、処理を実行、最後に結果をレスポンスし、終了する流れになります。
Extensionとのやりとり 
アプリケーションとExtension間のやりとりには、XPCと呼ばれる仕組みが利用されており、シリアライズしたプロパティリストをやりとりすることでプロセス間通信が実現されています。 
なお実際にやりとりを行う際は、XPCをラップしたNSExtensionと呼ばれる非公開クラスを利用して、やりとりを行うことになります。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/1704575d-34af-4e4b-a1da-d28ace594fa2/extension.png" alt="extension">
<h2>App Extensionを作る</h2>
注意！！！ 
App Extensionの作成過程で非公開APIを利用しています。 
非公開APIを利用した場合、審査でリジェクトされる可能性がありますのでご注意ください。
では、Extensionを作っていきましょう。 
適当なプロジェクトを1個作成しておきます。
<h4>1. App Extensionを作成</h4>
任意のテンプレートを利用してExtensionを作成します。
<h4>2. App Extensionの設定を修正</h4>
Info.plistにExtensionの拡張ポイントや主要クラスの設定があるので、以下のように修正します。
<pre><code class="language-xml">&lt;key&gt;NSExtension&lt;/key&gt;
&lt;dict&gt;
　&lt;key&gt;NSExtensionPointIdentifier&lt;/key&gt;
　&lt;string&gt;com.apple.app.non-ui-extension&lt;/string&gt;
　&lt;key&gt;NSExtensionPrincipalClass&lt;/key&gt;
　&lt;string&gt;Extension&lt;/string&gt;
&lt;/dict&gt;
</code></pre>
<h4>3. 非公開APIのインターフェースを定義</h4>
NSExtensionは非公開のAPIです。 
利用するためには、APIに対応するヘッダーファイルを各々で用意する必要があります。
なお非公開APIのインターフェースを調べるには、<a href="http://stevenygard.com/projects/class-dump/">class-dump</a>などのツールを利用します。
今回は、以下のようなヘッダーファイルを作ります。
<pre><code class="language-obj-c">@interface NSExtension : NSObject
+ (instancetype)extensionWithIdentifier:(NSString *)identifier error:(NSError **)error;

- (void)beginExtensionRequestWithInputItems:(NSArray *)inputItems completion:(void (^)(NSUUID *requestIdentifier))completion;
- (int)pidForRequestIdentifier:(NSUUID *)requestIdentifier;
- (void)cancelExtensionRequestWithIdentifier:(NSUUID *)requestIdentifier;

- (void)setRequestCancellationBlock:(void (^)(NSUUID *uuid, NSError *error))cancellationBlock;
- (void)setRequestCompletionBlock:(void (^)(NSUUID *uuid, NSArray *extensionItems))completionBlock;
- (void)setRequestInterruptionBlock:(void (^)(NSUUID *uuid))interruptionBlock;
@end
</code></pre>
<h4>4. ホストアプリケーションを実装</h4>
Extensionとプロセス間通信を行うために、NSExtensionクラスのインスタンスを生成し、リクエスト処理やレスポンス処理を実装します。
NSExtensionインスタンスの生成
<pre><code class="language-obj-c">NSExtension *extension = [NSExtension extensionWithIdentifier:@&quot;jp.co.plaid.MultiProc.Extension&quot; error:nil];

[extension setRequestCompletionBlock:^(NSUUID *uuid, NSArray *extensionItems) {
　　// リクエスト完了
　　NSLog(@&quot;Request completed: %@&quot;, uuid);
}];
</code></pre>
Extensionにリクエストする
<pre><code class="language-obj-c">NSExtensionItem *item = [[NSExtensionItem alloc] init];
[item setAttachments:@[@&quot;VALUE&quot;]];

[extension beginExtensionRequestWithInputItems:@[item] completion:^(NSUUID *requestIdentifier) {
　　int pid = [extension pidForRequestIdentifier:requestIdentifier];
　　NSLog(@&quot;Began extension request: %@. Extension PID: %i&quot;, requestIdentifier, pid);
}];
</code></pre>
<h4>5. Extensionを実装</h4>
ヘッダーファイルを修正します。 
Extensionクラスが<a href="https://developer.apple.com/documentation/foundation/nsextensionrequesthandling?language=objc">NSExtensionRequestHandling</a>プロトコルに適合することを宣言します。
<pre><code class="language-obj-c">@interface Extension : NSObject &lt;NSExtensionRequestHandling&gt;
@end
</code></pre>
実装ファイルを修正し、NSExtensionRequestHandlingプロトコルに適合させます。
<pre><code class="language-obj-c">@implementation Extension
- (void)beginRequestWithExtensionContext:(NSExtensionContext *)context {
　　// レスポンスを返す
　　[context completeRequestReturningItems:@[] completionHandler:^(BOOL expired) {
　　　　NSLog(@&quot;Completed request.&quot;);
　　}];
}
@end
</code></pre>
<h2>App Extensionを動かしてみる</h2>
ここまでできたらシミュレーターで実行してみます。 
以下のようなログが出ればOKです。 
ホストアプリケーションのプロセスIDが74665、ExtensionのプロセスIDが74671となっており、それぞれ別のプロセスで動作していることが確認できます。
<pre><code class="language-plaintext">2018-07-29 22:19:03.749751+0900 MultiProc[74665:14952372] App PID: 74665
2018-07-29 22:19:12.725051+0900 MultiProc[74665:14952478] Began extension request: 34E68F5B-520A-48EC-93EE-03599A310B24. Extension PID: 74671
2018-07-29 22:19:12.730459+0900 MultiProc[74665:14952478] Received response.
</code></pre>
<h2>App Extensionをクラッシュさせてみる</h2>
さて、ここまで色々試してきましたが、ここで当初の目的である「SDKがクラッシュしても、アプリが絶対に死なない！」ことを確認してみたいと思います。
以下のように、Extensionをクラッシュさせるためのコードを入れて実行してみます。
<pre><code class="language-obj-c">NSExtensionItem *inputItem = context.inputItems[1];
</code></pre>
Extensionでは、NSRangeExceptionが発生しクラッシュしますが、アプリケーションは影響を受けず何事もなかったかのように動作しています。
<h2>まとめ</h2>
今回は「プロセス分離」という手段を用いて、堅牢なSDKを実現する方法とその可能性について探ってみました。
現状はプラットフォームとしての制約が大きく、また非公開APIを利用しないと実現できないなど、実際にプロダクトに適用するのは難しいということが分かりました。 
アプリケーションからプロセス生成できない理由として、端末の性能やリソース制約の問題が大きいと考えています。将来端末のリソース制約について考えなくて良くなった時には、このような手段も現実味を帯びてくるのではないかと思いました。
なお今回作成したアプリのソースコードは<a href="https://github.com/tomoponzoo/MultiProc">GitHub</a>で公開していますので、動作や実装が気になる方は、ぜひダウンロードして動かしてみてもらえればと思います。
<h2>最後に</h2>
CXプラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、品質にこだわりたい！想像力をフルに発揮したい！モバイルエンジニア（インターンも！）を募集しています。 
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a> 
または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> 
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>

はじめまして。プレイドの @tomoponzoo です。
今回は、SDK開発の勘所や品質の重要性、仮にSDKで問題が発生してもアプリを絶対に死なせないための方法について考えていきたいと思います。

絶対にアプリを死なせない！プロセス分離による堅牢なSDKの実現方法 | PLAID engineer blog

絶対にアプリを死なせない！プロセス分離による堅牢なSDKの実現方法

こんにちは！SREの@ikemonnです。
7/24-26@San Franciscoで行われた<a href="https://cloud.withgoogle.com/next18/sf/">Google Cloud Next '18</a>に参加してきました。
いくつかのセッションを聞いてきたのですが、今回はKARTEのデプロイでも利用している<a href="https://www.spinnaker.io/">Spinnaker</a>のセッション、<a href="https://cloud.withgoogle.com/next18/sf/sessions/session/155951">Large-Scale Continuous Delivery at Netflix and Waze Using Spinnaker (Cloud Next '18)</a> が面白かったのでご紹介します。
<h2>概要</h2>
<ul>
<li>WazeでのSpinnakerの使い方</li>
<li>Googleがリソースを割いてなぜSpinnakerを開発しているのか</li>
<li>Spinnakerのroadmap</li>
<li>まとめ</li>
</ul>
<h3>WazeでのSpinnakerの使い方</h3>
Wazeはmulti-cloud(AWS/GCP)でインフラを構成しています。 
サービスが成長するにつれ、サーバが何千台にも増えていき次第にデプロイが大変になっていったそうです。 
SREチームがデプロイにかかりっきりになり、batchやbug fixのデプロイやrollbackも気軽にできなくなってきた時にSpinnakerを見つけました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/ed5fc9f2-abc7-49e9-ab79-ccb5401b4702/-2018-07-30-9.00.51.png" alt="-2018-07-30-9.00.51">
OSS, multi-cloud対応したツールであることからSpinnakerの導入を決定しました。 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f513304d-4466-43c9-90c7-1481025c8f7a/-2018-07-30-7.31.36.png" alt="-2018-07-30-7.31.36">
Spinnakerを導入することで下記のメリットがあったそうです。
<ul>
<li>SREチームにデプロイを頼まなくて良くなった</li>
<li>rollbackやデプロイを部分的に行えるので改善サイクルが早くなった</li>
<li>VM, k8s, AppEngine等を意識せずに統合的なインターフェースでデプロイできるようになった</li>
</ul>
しかし、しばらくするとpipeline数が増えすぎて(1000以上!)、UIからの管理が大変になってきました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/9d1e8c69-5711-4835-88fb-9aa3dabf4ace/-2018-07-30-7.37.25.png" alt="-2018-07-30-7.37.25">
pipeline自体は個々で大きく異なっているわけではなく、ちょっとした差分があるだけだったのでtemplateを作り、そこからpipelineを作るようにしたそうです。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/b3c6a3b4-598a-4be0-acd0-d4d7231ded33/-2018-07-30-7.41.57.png" alt="-2018-07-30-7.41.57">
まず、<code>bake -&gt; smoke test -&gt; deploy</code> というpipelineのtemplateを作ることからはじめました。 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/8621dbdf-3479-4810-94bb-7534e12a9fb2/-2018-07-30-7.44.26.png" alt="-2018-07-30-7.44.26">
v1ではまだリスクがあったので、canaryステージを追加し、 <code>bake -&gt; smoke test -&gt; canary -&gt; deploy</code> を作ったりと徐々にpipelineを改善していったそうです。
pipelineをテンプレート化していることにより、1000以上pipelineがあっても変更をすぐに反映できて良かったとおっしゃっていました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/81534a64-c683-46d5-8f62-69bcc84f5407/-2018-07-30-7.48.13.png" alt="-2018-07-30-7.48.13">
Wazeではデプロイ以外にもCassandraのデプロイにもSpinnakerを使っているそうです。
今後Wazeでは、SLO/error budget等のSREのコンセプトを考慮した、下記のようなデプロイを行う予定と言っていました。
<ul>
<li>error budgetを超えそうになると自動的にカナリアデプロイの検証時間を長くする</li>
<li>普段は自動でデプロイされるけど、デプロイしてよいかを手動で決定しなければならないようにする</li>
</ul>
<h3>Googleがリソースを割いてなぜSpinnakerを開発しているのか</h3>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f4def9fc-5743-4ef9-9d35-5d2ba7e8e826/-2018-07-30-8.08.05.png" alt="-2018-07-30-8.08.05">
GoogleもSpinnakerの開発にリソースを割いているようで、去年に比べて現在では2倍の人員がいるようです。 
Full timeの開発者が13人、PM/TPM/EngMgrが各1人と、かなりリソースを割いているようでした。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/da003478-dd55-4ec3-9cd1-49343ae49df5/-2018-07-30-8.11.36.png" alt="-2018-07-30-8.11.36">
GoogleがSpinnaker開発に力を入れているのは、下記のような理由だそうです。
<ul>
<li>Spinnakerで実現できることが社内のbest practice にマッチしている</li>
<li>デプロイ、ロールバック等が抽象化されているので、multi-cloudなインフラでもそれぞれのcloudの詳細な知識なしにデプロイできる</li>
</ul>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/a30cb370-993a-44c2-93a1-2859c30eed48/-2018-07-30-8.19.16.png" alt="-2018-07-30-8.19.16">
Googleとして早い段階からSpinnakerの開発に関わっており、 2014年に20%プロジェクトとして、とあるエンジニアがSpinnakerに関わりだしたのが始まりだそうです。 
そして、GCE, GKE, AppEngine等の機能を追加していったと言っていました。
<h3>Spinnakerのroadmap</h3>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/faf1c7da-b7ea-471f-b35d-39f5d093bf5b/-2018-07-30-8.29.56.png" alt="-2018-07-30-8.29.56">
上記がSpinnakerのroadmapです。 
個人的に最も気になったのが Configuration as Codeについてでした。 
デプロイ内容について宣言的なconfigを書いて、Codeとして管理できるようにしていくとのことです。 
KARTEでは <a href="https://github.com/spinnaker/dcd-spec">spinnaker/dcd-spec</a> を使ってpipelineを管理しているので、dcd-specとの違いを後で質問しにいきました。 
「dcd-specをより良くしたものをCLI経由で反映できるようにするよ」と教えてもらったのですが、まだ開発中なのか、具体的にどのようなものかは教えてもらえませんでした。 
<a href="https://docs.google.com/document/d/17Ifm562aypjLSHnNJ02COFv_VMv3spicH-7zMYd-oXE/edit#">Spinnaker CLI Design Doc</a>を見ると、<a href="https://github.com/spinnaker/spin">spinnaker/spin</a> が上記のCLIのようです。
Spinnakerに関する情報についてはこちら 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/a1d3c567-4e16-4810-a5f8-a95fc1591345/-2018-07-30-8.35.43-1.png" alt="-2018-07-30-8.35.43-1">
<iframe width="560" height="315" src="https://www.youtube.com/embed/PLNheBiWOGI" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe>
<h3>まとめ</h3>
Wazeのような大規模マルチクラウドインフラを運用している会社でもSpinnakerを使っていること、Googleも開発にリソースを割いていることから、Spinnakerを今後も継続して利用しておけばしばらく安心だと思いました。 
他のセッションでもSpinnaker活用事例がいくつか発表されていたので、良いデプロイツールを探している方は一度触ってみると良いと思います。 
KARTEへのSpinnaker導入時にバグを見つけ、PRを出したのですが、それをマージしてくれた <a href="https://github.com/duftler">Matt Duftler</a>に直接質問できたのが個人的に良かったです。
<h2>最後に</h2>
2018/8/3(金)に開催予定の<a href="https://plaidtech.connpass.com/event/92694/">プレイドオフィス移転パーティー ※エンジニア&amp;デザイナー向け</a>でもGCP Nextについて話す予定なので、お時間が空いている方はぜひぜひご参加ください！
また、KARTEでのSpinnakerの使い方は、2018/9/8(土)に行われるbuildersconのセッション:<a href="https://builderscon.io/tokyo/2018/session/e3b9f6e2-7fc8-44fa-bb4f-238144e5cd1b">Multicloud deploy with Spinnaker</a>で発表する予定なので、ご興味のある方はお越しください！
CXプラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、尖ったサービス/ツールを使いつつ大規模分散システムの構築/運用をしたいエンジニア（インターンも！）を募集しています。 
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a> 
または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> 
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>

こんにちは！ SREの@ikemonnです。 7/24-26@San Franciscoで行われたGoogle Cloud Next '18に参加してきました。 いくつかのセッションを聞いてきたのですが、KARTEのデプロイで利用しているSpinnakerのセッションが面白かったのでご紹介します。

Google Cloud Next '18でSpinnakerのセッションを聞いてきました! | PLAID engineer blog

Google Cloud Next '18でSpinnakerのセッションを聞いてきました!

「イマドキのDocker力」を0から身につけるための一連のチュートリアルを紹介します。PLAID社内のKARTE開発環境のDocker化に伴い、扱い方を実践的に身につけるための教材として作成されました。

イマドキの「Docker力」を身につけるPLAID式チュートリアル | PLAID engineer blog

イマドキの「Docker力」を身につけるPLAID式チュートリアル

こんにちは、プレイドの @nashibao です。今回は少し前に話題になった <a href="https://metaparticle.io/tutorials/javascript/">Metaparticle</a> というプロジェクトについて紹介します。
<code>Metaparticle</code>は <code>a standard library for cloud native applications on Kubernetes.</code>と唄っていますが、要はjava/javascript/goなどのapplication code上にdocker/k8sのInfrastructure/Orchestrationのうち、Applicationとして関心がある部分は組み込んでしまおう、というプロジェクトです。
多機能のサービスを開発していると、様々なところで有限のベストプラクティス（ただし単一では無い）に沿ったDistributed Programmingをして堅牢性や冗長性を高めたり負荷分散をしたくなります。
ただ、これらを実現したいと考えて設計/実装をするのは多くはApplicationエンジニアですが、Infrastructure/Orchestrationの様々なツールがその間に横たわっていて機動性が失われてしまいます。
<h1>CloudのThread/ProcessとしてのContainer</h1>
Threadは扱いやすいです。パフォーマンス等を考えて様々なパターンを駆使して劇的にApplicationのパフォーマンスを上げることができます。
Processは？そこまで隔たりはありません。プレイドで好んで使っているNode.jsでいえば <a href="https://nodejs.org/api/cluster.html">Cluster</a> moduleを使うだけです。
<pre><code>const cluster = require('cluster');
if (cluster.isMaster) {
 // master
 cluster.fork();
} else {
 // worker
}
</code></pre>
ThreadもProcessもどちらもworkerへの分散には色々なパターンがあって、それらを使うと並列性が高いプログラムを容易にかけます。iOSの<code>NSOperationQueue</code>などその代表ですが、各言語に様々なパターンがあります。そしてこれはApplicationエンジニアの手元にあって自由に設計できます。
Containerは？yamlの世界、kubectlの世界です。Applicationエンジニアの手元にあるように見えて遠くに行きがちです。PortとVolumeがコントロールされていて、古き良きPubsub/Queueやmessaging用の各ツール（zeromqは好きだ）を使って自由に協調はできますが、言語が異なる他のPlatformというものが邪魔をします。
<h1>Language idiomatic cloud</h1>
分散性をある程度ラップしつつ、コントローラブルにするアプローチは昔からあって、例えば <code>MapReduce</code> があります。<code>Metaparticle</code>と目的は似ているがPipeline状のData処理に特化している所が異なります。<code>PySpark</code>を使うとlambda関数を単にローカルで動かしているのと同じように見えます。<code>Google Dataflow</code>や<code>Apatch Beam</code>もまま似てる。
Microservice流行りで、<a href="https://aws.amazon.com/jp/lambda/">AWS Lambda</a>や <a href="https://cloud.google.com/functions/">Cloud Functions</a> のような便利なツールが出てきてるので <a href="https://github.com/pywren/pywren">pywren</a>のように、それらをwrapしちゃえば良くね？みたいなアプローチもあります。
<pre><code class="language-python"> def my_function(b):
 x = np.random.normal(0, b, 1024)
 A = np.random.normal(0, b, (1024, 1024))
 return np.dot(A, x)

 pwex = pywren.default_executor()
 res = pwex.map(my_function, np.linspace(0.1, 100, 1000))
</code></pre>
サイトに書いてあるコードそのままだけれど、中が同一スレッドだろうが、別プロセスだろうがAWS Lambdaだろうが同じようなマナーで書けます。
<h1>Metaparticle</h1>
<code>Spark</code>や<code>pywren</code>はかなり抽象化されていて、やれることも制限されますが（その代わりパフォーマンスに焦点がある）、<code>Metaparticle</code>はもう少し自由度に焦点があります。つまりdocker/k8sのconfigへcompileするためのメタ言語のようなものです。
<pre><code>const mp = require('@metaparticle/package');

mp.containerize(
	{
 	ports: [8080],
 	replicas: 4,
		 runner: 'metaparticle',
		 repository: 'docker.io/docker-user-goes-here',
		 publish: true,
		 public: true
	},
	() =&gt; {
		// closure for each workers
	}
);

</code></pre>
これだけです。これを素で使っても良いけれど、先ほどいった有限のパターンについては <code>standard library</code>なので当然提供する。sharingなら
<pre><code>const http = require('http');
const os = require('os');
const mp = require('@metaparticle/package');

const port = 8080;

const server = http.createServer((request, response) =&gt; {
	console.log(request.url);
	response.end(`Hello World: hostname: ${os.hostname()}\n`);
});

mp.containerize(
	{
		ports: [8080],
		shardSpec: {
			shards: 3,
			&quot;urlPattern&quot;: &quot;\\/users\\/(.*)[^\\/]&quot;
		},
 repository: 'docker.io/your-docker-user-goes-here',
 publish: true,
 public: true,
		runner: 'metaparticle',
	},
	() =&gt; {
		server.listen(port, (err) =&gt; {
			if (err) {
				return console.log('server startup error: ', err);
			}
			console.log(`server up on ${port}`);
		});
	}
);
</code></pre>
だし、electionなら
<pre><code>var mp = require('@metaparticle/sync');

var election = new mp.Election(
 // Name of the election shard
 'test',
 // Event handler, called when a program becomes the leader.
 () =&gt; {
 console.log('I am the leader');
 },
 // Event handler, called when a program that was leader is no longer leader.
 () =&gt; {
 console.log('I lost the leader');
 });

election.run();
</code></pre>
という感じです。上に書いたように、ここは有限のパターンがそれなりにあるので、それらが今後作られていくのだろうと思うが今の所ほぼ上の二つくらいしか書かれてないw
<h1>感想</h1>
thread/processとのアナロジーなどからContainerが扱いやすくなることについて書きましたが、<code>metaparticle</code>自体はdynamicにcluster/podを変更するわけではありません。scriptでdynamicに変更できるようになると、より上記のアナロジーがハマり、k8sに乗っかったままかなり柔軟に分散プログラムが書けると思ったりします。 
プレイドでも下手にクラスタ管理や組込済みの単純なオートスケールを使うより、nodeのgcp/api経由でインスタンス数の増減をさせるやり方をやってみたりしつつ、なんか違うな、と思ったりしていますw
今回は<code>a standard library for cloud native applications on Kubernetes.</code>な<code>Metaparticle</code>を紹介しました。個人的にはこのアプローチの先にDistributed Programmingの桃源郷があるのかもしれないし無いかもしれないと思っています。
CXプラットフォーム「<a href="karte.io">KARTE</a>」を運営するプレイドでは、 KARTEを支える技術に興味を持つエンジニア（インターンも！）を募集しています。詳しくは<a href="https://www.wantedly.com/companies/plaid/projects">こちら</a>（Wantedly）をご覧ください。

こんにちは、プレイドの @nashibao です。今回は少し前に話題になった [Metaparticle](https://metaparticle.io/tutorials/javascript/) というプロジェクトについて紹介

Kubernetes to Metaparticle. 分散プログラミングへの新しいアプローチ | PLAID engineer blog

Kubernetes to Metaparticle. 分散プログラミングへの新しいアプローチ

KARTEのロゴ刷新に至った経緯やデザインプロセスについてお伝えします！

刷新したKARTEロゴのプロセス公開 ー プロダクトが目指す理想像から始めるアプローチ | PLAID engineer blog

刷新したKARTEロゴのプロセス公開 ー プロダクトが目指す理想像から始めるアプローチ

おはようございます！プレイドのエンジニアの <a href="https://twitter.com/jumpei_ikegami">@jumpei_ikegami</a> です。 
趣味はポッドキャスト配信です。
さて、プレイドでは定期的に、開発チームで合宿に行っています。
(過去の開発合宿のブログ記事は下記）
<a href="http://blog-plaid.com/event/2772/">2016年:秋</a>
<a href="/plaid-developpers-camp-2017-spring/">2017年:春</a>
今回は、開発フォーカスの区切りということで、前フォーカスの振り返り、4月以降の新チーム体制でのフォーカス、プロダクトの見せ方などについて、議論を深めてきました。
開発をしない開発合宿も珍しいと思いますが、目の前の開発業務を離れて、長期的な視野で開発の仕方や、何をするべきかを見つめ直すことで、本当にやるべき仕事にフォーカスできるようになります。
特に、<a href="/software-development-not-start-from-shu/">先日のエンジニアブログ記事</a>で弊社kadoppeが書いていた、「『常にゼロベースで考えて進む』プレイドの文化」が、議論の中にも表れていました。
そんな開発チーム合宿の様子を、写真多めでお送りします。
<h1>五反田発、館山行き貸切バス</h1>
館山の合宿先までは、オフィスのある五反田から貸切バスで移動しました。
バスの写真は、私が寝ぼけていたのでありません。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/5e8fb80a-ae61-455a-af07-e722a3f393cd/010-2.jpg" alt=""> 
（途中のサービスエリアで食べた、「つみれ汁:¥200」と、「ふきのとうの天ぷら:¥50」）
お酒が無いのが不思議です。
車内では、遠足気分を高めるための駄菓子の配給がありました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/1a37dd1e-d700-42ad-b9c1-bef6a1f0573b/020-2.jpg" alt=""> 
(宿に着いてから「ソースせんべい」を食べる、ぐろっちさん)
<h1>海の見える宿</h1>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/cf8baae9-a779-4953-9634-11eb1c205532/030-1.jpg" alt="">
今回は、千葉県館山市、房総半島の南の端にある「<a href="https://tateyama-retreat.jp/">館山リトリート</a>」という宿にお世話になりました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/68720b41-1492-4546-8ba8-e91932fae1d7/040-2.jpg" alt="">
議論に使った大広間からも、海が見えました。
考えに詰まったら大海原をみながら頭を整理することができました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/22d452a0-ffb7-47b8-85c4-9132b17c34a1/043-1.jpg" alt="">
食事は自分たちで準備するスタイルで、広々としたキッチンを自由に使えます。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/cc1ae859-d3bd-40e0-b4c3-49cd063ec2ee/045.jpg" alt="">
<h1>ゼロベースで議論！議論！議論！</h1>
合宿のコンテンツは、ひたすら議論を重ねるものでした。
主な内容は4つありました。
<h2>未来のユーザーに、KARTEをどのように見せる？</h2>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/23b7183b-23a9-4614-a915-7627c592c3a8/050.jpg" alt="">
「<a href="https://karte.io/">KARTE</a>のキャッチコピーを考える」という題材を通して、未来のKARTEユーザーにどんなメッセージを伝えたいかを考えました。
出た意見をいくつか挙げます。
<ul>
<li>KARTEを単なるツールとしてではなく、プラットフォームとして見せていくべき</li>
<li>要望への「最適化」では足りない。それを知った上で、どう期待を超えていくか？</li>
<li>クライアント企業の指標を上げるだけではなく、その先のエンドユーザーを幸せにすることを含めて見せ方を考えたい。是即ち「愛」</li>
</ul>
開発チームの仕事は、ただプロダクトを作って終わりではありません。 
自分たちが作っているプロダクトがどのようにユーザーに届けられるのか、という点についても関心が高いのが、プレイドの開発チームのよいところだと感じました。
<h2>チーム間の連携、どうすればうまくいく？</h2>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/3640d85d-416a-4dc6-a5cd-d9d31267dfdb/060.jpg" alt="">
これまで、開発内の別チームや、ビジネス側のチームとの連携などがうまくいかなかったことで、手戻りが発生したり、ユーザーへのデリバリー方法に問題が生じたりしました。
そこで、「チーム間連携」というテーマで、理想・課題・解決策を挙げるために議論しました。
出た意見をいくつか挙げます。
<ul>
<li>理想は、「スタンドプレーから生じるチームワーク」</li>
<li>チームを固定化せずに、ビジネスメンバーも巻き込んで流動的に変えていく</li>
<li>生産性を優先すると、社内で情報格差が生じてカオスになる。それをある程度許容すべき。ルールを作るのではなく、そういうカオスな状況でもパフォーマンスを出せるメンバーを増やしていく方が建設的</li>
</ul>
「チーム間連携」という話だと、「定例ミーティングしよう！」というような安易な話になりがちです。 
それを超えて、さらに深い議論に発展していたのが、印象的でした。
プレイドには「常にゼロベースで考える」以外にも、「ルールをなるべく作らない」という文化があります。今回の議論も、ルールではなく、マインドやチームのあり方の話で課題を解決しようとするところに、「らしさ」が出ていました。
<h2>コーヒーブレイク</h2>
休憩時間では、コーヒー好きが集まるプレイドらしく、コーヒーミルを持ち込んで、コーヒーを飲むメンバーもいました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/705d5c03-7111-4b1e-bece-7e74b01ea541/070.jpg" alt=""> 
(ハッピーターン」を取りに来た、デザイナーのミギーさん)
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/2b9eb2ad-e8c2-46db-8418-ecf2ef85ff3e/080.jpg" alt=""> 
(カメラを向けると、わざとらしい笑顔を向けてくる、ぐろっちさんと、ノブくん)
全く外に出る時間はありませんでしたが、昼間の天気も最高でした！ 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/08c6cf6d-e1c3-45bd-9261-d249b0b55700/090.jpg" alt="">
<h2>新しいチームでのミッションどうしよう？</h2>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/320f652e-821e-49ba-a0f5-cf3a5ad302bd/100.jpg" alt="">
4月から開発チームの再編があり、最初の3ヶ月で行うミッションの言語化、状態目標の設定、注力issueの洗い出し、などを行いました。
PLAIDには固定的な「部署」という概念はなく、定期的にチーム構成が再編されます。 
それによって、ナレッジが蛸壺化しにくくなったり、個人が色々な役割を担えるようになります。
開発チームも同様で、機能の多いKARTEの中でも、定期的に自分が開発を担当する機能が変わっていきます。
この議論では、前のチームでのやり方に捉われず、そもそもどんな課題を解決するべきか？を「ゼロベース」で考えていきました。
私はBizDevチームというビジネスサイドのチームに属しているのですが、「開発チームが作った機能のデリバリーに関して課題があり、その整備に注力していこう」という目線合わせができてよかったです。
<h2>前フォーカスどうだった？</h2>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/9b6f792f-35a1-426e-8286-857fc92ad9fd/110.jpg" alt=""> 
(CTOが買って飲まなかった「プロテインドリンク」をみんなで勝手に飲んでいる図)
最後に前回のフォーカスについて、その進め方のKeepとProblemをみんなで挙げていきました。
出た意見をいくつか挙げます。
<ul>
<li>Keep
<ul>
<li>作り始めたものを一回壊して、ゼロから作り直すことで、本当に良いものができた</li>
<li>「既存機能の改善」を束ねて大きくリリースしたのは、ただ新機能を出すより難しいことができた</li>
<li>チームが自律的にパラレルで動けるようになった</li>
<li>1人でやるよりもチームでやることで、より良いものができた実感がある</li>
</ul>
</li>
<li>Problem
<ul>
<li>差し込みタスクでスイッチングコストがかかった</li>
<li>もっと細かい粒度でリリースして、反応を見ながら開発しても良かった</li>
<li>チームの壁が厚く似たようなものを別で作ってしまったので、もっと流動的に人の入れ替えがあると良かった</li>
<li>不安定なテストがあるなど、フォーカス外のissueが放置されがちで、負債が溜まってしまった</li>
</ul>
</li>
</ul>
この議論についても、結果として、「新しいルール作ろう！」ではなく、「次に同じ状況になったらもっとうまくできる！」という実感の共有をできたのが、良かったと思いました。
次に似たような課題に直面するときも、チームメンバーやプロダクトの状況はそのときとは違うかもしれません。 
無批判にルールを当てはめるのではなく、その都度「全力で考える」という前提を置いた上で、その考えるための材料を、この議論で洗い出せたと思います。
<h1>うまい魚に、うまい酒</h1>
議論の合間の食事も、みんなで楽しみました。
1日目の夜は、豪勢に鯛のあら汁と寿司でした。 
寿司には、「ストロング・ゼロ」がよく合います。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f7e8c85f-a71a-414b-a8c0-7e9d1ce06a31/120.jpg" alt="">
一日中議論をしても、飲み会の話題は尽きません。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/9b190878-dacf-49c9-9f36-5eb0c99582f3/130-1.jpg" alt="">
期待のルーキー、カンテの悪酔いに、先輩藤川くんも苦笑い。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/18de3482-98db-424d-bf9b-2ba505576086/135.jpg" alt="">
2日目の朝から、余った寿司を食べました。箸がなかったので、まさかのスプーンです。 
寿司は昼まで余ったので、夢の「3食お寿司のすしざんまい生活」が実現しました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/58f58376-5fc2-46c8-8f64-56aa9dc73d8b/140-1.jpg" alt="">
2日目の昼は、なんと海鮮鍋でした。 
このシズル感。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/73a2f0aa-8395-4c20-92f9-27e8b27fa2c5/150-1.jpg" alt="">
鍋にすると、こうなります。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/5a4dbb25-68cc-4721-a775-77225a2a81d2/160.jpg" alt="">
<h1>アクアラインを通って五反田へ</h1>
2日間の日程も、あっという間に過ぎました。
帰りも、バスでアクアラインを通って東京に帰りました。
この日は強風が吹いていて、途中の「<a href="https://www.umihotaru.com/">海ほたる</a>」では階段を登っている途中で吹き飛ばされるかと思いました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/2a1f54dd-515d-4c6e-b694-2eede764e709/170.jpg" alt="">
バスでは、一部のメンバーが余った「ストロング・ゼロ」で宴会をしていました。私も2本目を空けるまでは記憶がありました。
思えば、この合宿で何本の「ストロング・ゼロ」を飲んだのだろう。プレイドの文化は、「常にゼロベースで考える」こと。昼に「ゼロベース」の議論を重ねて、夜に「ストロング・ゼロ」を飲み明かす。これが本当の......「ストロング・ゼロ・ベース思考」？？
......ふと、目を開くと、そこはいつもの五反田の街でした。
ということで、合宿で持ち帰ったアイデアを、ここ五反田のオフィスから実現していきます！
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/5cd766d1-f9ac-4d98-ab5f-f0654af798c3/180.jpg" alt="">
<h4>最後に</h4>
ウェブ接客プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい！ KARTE自体の開発に興味がある！というエンジニアやインターンを募集しています。 
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a> 
または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> 
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>

開発チームで、千葉県館山市に合宿に行って来ました！開発の節目ということで、KARTEをどう見せていくか、何にフォーカスすべきかなど、1泊2日に�

1泊2日ぶっ通しで議論する開発合宿をしに、館山に行ってきました！ | PLAID engineer blog

1泊2日ゼロベースで議論する開発合宿@館山に行ってきました！

こんにちは、はじめまして。プレイドの @kadoppe です。
2017年4月に入社したエンジニアです。この記事を書いている時点のプレイド歴は11ヶ月です。
この記事では、自分が個人的に最近大事だと考えている『「型を守る」ことから始めないソフトウェア開発」』というトピックについて書いてみようと思います。
技術成分が少なめの内容ですが、こういうことを考えているエンジニアもいるんだよ、ということで興味がある方はご覧ください。
<h1>５行まとめ</h1>
少し長いので5行で内容をまとめます。
<ul>
<li>「守破離」というソフトウェア開発の技術・方法論を効果的に学ぶための考え方がある。</li>
<li>「型を守る」ことから始めるソフトウェア開発は、問題を解決する上で最適・最速ではない可能性がある。</li>
<li>「型を守る」「型を破る」「型を離れる」のどこから始めるべきか、問題の内容や、プロダクト・チームの状態を考慮した上で決めるべき（最初から型破りでいい＝型を守ることから始めないソフトウェア開発）</li>
<li>「常にゼロベースで考えて進む」プレイドの文化において、型を守ることから始めないソフトウェア開発は進めやすい、というか自然とそう考えさせられる力学が働いている。</li>
<li>僕にとっての「プレイドの良いところ・好きなところ」はそういうところ。</li>
</ul>
<h1>守・破・離 〜 shu ha ri 〜</h1>
唐突ですが、みなさん「守破離」について知ってますか？
「守破離」とは、ソフトウェア開発の技術・方法論を効果的に学ぶための考え方の一つです。本来は日本の合気道に由来する、武術を学ぶ際の考え方ですが、日本に止まらず世界的に使われています。
この考え方の中では、人が技術や知識を得るまでには、「守（型を守る）」「破（型を破る）」「離（型から離れる）」の３つの段階を経るとされています。
<blockquote>
守：最初の段階では、学習者は師の教えを正確に模写する。理論についてあれこれ考えずに、その作法に集中する。作法が複数ある場合でも、師の教えをただ忠実に守る。
破：この段階では、学習者は新しいことに手を出す。基本的な実践を身に着けたなら、技術の裏にある原則や理論を学んでいく。また、他の師からも学び、得たものを自身の実践に採り入れていく。
離：この段階では、学習者は、自身の実践を通じて、他者から学んでいく。自身の手法を生み出し、学んだことを自身の環境に適応させていく。
</blockquote>
引用元: <a href="http://bliki-ja.github.io/ShuHaRi/">守破離</a>
この３つの段階に従うことで、効果的に技術や方法論を身に付けることができ、最終的には分野でイノベーションを起こすことができるようになる、という考え方です。
非常にわかりやすいので、個人的にはとても好きです。前職でもこの考え方は凄く大事にした上で、新しいやり方や方法論などをチームに取り入れたりしていました。
<h1>ソフトウェア開発における型</h1>
では、ソフトウェア開発における型とは何でしょうか。
ソフトウェア開発を進めていく中で、プロダクトやチーム、エンジニアは、日々様々な種類の幅広い問題に直面します。
世の中にはそういった問題に対する解決策が、事例やフレームワーク、あるいは開発プロセスとして、書籍やWeb上の記事といった形で、広く一般に公開されています。
例えば、以下のようなものが例として挙げられます。
<ul>
<li>アジャイル開発手法やウォーターフォールモデルといった開発手法</li>
<li>スクラムのようなフレームワーク</li>
<li><a href="https://www.amazon.co.jp/dp/B00G9QJ1ZO/">組織パターン</a>のような書籍にまとめられているパターンランゲージ</li>
<li><a href="https://12factor.net/ja/">The Twelve-Factor App</a> のような方法論</li>
<li>ブログの記事に記載されている小さな tips</li>
<li>etc.</li>
</ul>
大きさや粒度は違えど、これらは全て、ソフトウェア開発において発生した何らかの問題に対する解決策です。このような解決策が「ソフトウェア開発における型」だと考えます。
<h1>「型を守る」ことから始めることをあえて批判的に捉える</h1>
突然何を言っているんだという感じではありますが、プレイドという新しい環境にジョインしてから、プレイドの文化や雰囲気に触れて、今までの自分の仕事のやり方や考え方を見つめ直す機会があったので、色々考えたのです。
上に紹介した「守・破・離」という考え方では、「守」から始めることが「良し」とされていると捉えることができます。しかし、「型を守る」ことから始めることが常に正しいとはいえないと思います。
ここでは、こじつけかもしれませんが、型を守ることから始めることを、あえて批判的に捉えてみます。
<h2>思考停止では？</h2>
「型を守る」＝「理論についてあれこれ考えずに、その作法に集中する。」で本当にいいんでしょうか。その理論は自分たちが抱えている問題に対して本当に正しく、適切なものなのでしょうか。
そもそも正しい理論を教えてくれる「師」なんて存在するのでしょうか？そもそも正しい理論なんて存在するのでしょうか？
一般的な解決策を信じきって、自分たちが直面している個別の問題に適用してしまってもいいのでしょうか。
<h2>問題に対してその解決策は最適解か？</h2>
同じように見える問題でも、その問題が発生した環境や背景、プロダクトやチームが違えば、本質的には違う問題です。
問題が違えばそれに最適な解決策も異なるはず。なので、そこから生まれる結果も最適なものではない可能性があります。
その前提の上で、「作法が複数ある場合でも、師の教えをただ忠実に守る。」のは本当に正しいアプローチなんでしょうか。
問題が少しは改善するかもしれません。でも、実はそれは局所最適解で、本当の最適解には気づけないまま、時間が過ぎていってしまうかもしれません。
最初から、自分たちの直面した問題に対して、ゼロベースでフルカスタマイズされた解決策を適用する。そのために問題をしっかり認識・分析することが、問題を最適に近い形で解決するための近道なのではないでしょうか。
<h2>時間がかかりすぎないか？</h2>
「守」から始めたとして、では「破」「離」にたどり着くまでにはどのくらいの時間がかかるのでしょうか。
例えば「スクラム」の例を挙げてみると、とあるスクラムコーチ曰く、スクラムをはじめたばかりのチームが「守」のフェーズが終わるまでに短くても「3ヶ月くらいかかる」とのことでした。
でも、自分たちにその時間的余裕はあるのでしょうか。ユーザーや市場は待ってくれるのでしょうか。「破」や「離」にたどり着く頃には会社はプロダクトはどうなっているのでしょうか。
最初はとりあえず始めてみて、そこで得られたフィードバックをもとに、あとで調整しながら最適に持っていく方法もあります。
問題を解決するまでにフィードバックループは何度か回すことになると思いますが、「守」から始めることで、少なくとも一回は余分に多くフィードバックループを回すことになってしまいます。
その1回を許容できる時間的余裕が、自分たちにはあるんでしょうか。
<h1>「型を守る」ことから始めないソフトウェア開発</h1>
ここまでで、言いたかったのは『「型を守る」ことから始めるソフトウェア開発は、問題を解決する上で最適・最速ではない可能性がある』ということです。「型を守る」ことから始めることが正しいときもありますが、必ずしもそうとは限りません。
大切なのは以下の2点だと思います。
<ul>
<li>自分たちが直面している問題を、自分たち固有のものだと捉えて、問題についてしっかり認識した上で正しく理解すること。</li>
<li>問題に直面しているプロダクトやチーム、個人の状態（問題に対する習熟度、背景、環境など）を正しく理解すること。</li>
</ul>
その上で、
<ul>
<li>世の中に一般的に公開されている解決策をまずはそのまま適用してみるのか（＝型を守る）</li>
<li>それを参考に少しカスタマイズした上で試してみるのか（＝型を破る）</li>
<li>ゼロからフルスクラッチで自分たちだけの解決策を考えて適用してみるのか（＝型を離れる）、</li>
</ul>
その時々に応じて最適だと考えられる選択肢を取ることが重要だと考えています。
これが『「型を守る」ことから始めないソフトウェア開発』です。最初から型破りでもいいんです。
これが自分たちが最適かつ最速に問題解決に近づくためのアプローチだと思いますし、個人的には凄く重要なポイントだと考えています。
<h1>え、そんなの当たり前のことでしょ？</h1>
ここまで書いた内容を眺めてみると「当たり前のこと / 誰でも気付いていること」を書いてるいるなぁと思いますし、ここまで読んでいただいている方も同じ感想をお持ちかと思います。
ですが、僕の経験上、
<ul>
<li>ついつい思考停止した上で「型を守る」ことから始めてしまう</li>
<li>問題をしっかり認識・理解することよりも、先に解決策ありきで物事を進めようとしてしまう</li>
</ul>
といった罠が、ソフトウェア開発に日々取り組む中で、いろんな場所に仕掛けられているような気がしています。「型を守る」ことに引っ張られる、そういう力学や雰囲気が自然と当たり前のように存在しているような。
「型を守る」ことから始めることや、解決策ありきで物事を進める方が、圧倒的に楽です。考えることの量がとても少ないです。一般的な解決策の方が、ゼロベースでフルカスタマイズした解決策よりも、周りの人が理解しやすかったりします。
人間は弱いものなので、気を抜くと、どうしても楽な方に引っ張られてしまいます。
だからこそ、楽ではないが、本質的なアプローチが取ることは難しいことだと思いますし、それがやりやすい環境がもしあるとするならば、それ自体凄く価値のあることだと思います。
<h1>「常にゼロベースで考えて進む」</h1>
プレイドのコーポレートサイトに、エンジニアリングチームの文化について書かれているページがあり、そこには以下のような記述があります。
<blockquote>
カオスと問題を楽しむ 
フレームややり方は決めずに、常にゼロベースで考えて進むのが重要であり何より面白い作業だと考えています。
</blockquote>
このように、プレイドには「フレームややり方は決めずに、常にゼロベースで考えて進む」ことを良しとする文化があります。
僕がすごく共感していて、実際にプレイドで仕事をする上で「良い」と感じているのが、この「常にゼロベースで考えて進む」という考え方・スタンスです。プレイドには多様なメンバーが所属していますが、ベースとしてこの考え方が根付いているように感じます。
そして、これによって『「型を守る」ことから始めないソフトウェア開発』がとてもやりやすくなっているように思います。意識しなくても気づいたら、そういう方向に思考が向いているというか、自然とそうなっているというか。
型（フレームややり方）を最初から作らずに、まずは問題をしっかり認識・理解した上で、自分たちにとって最適なやり方を作っていく。自然とそういう思考になるような、力学や雰囲気がプレイドには存在しています。
仮にそういう力学や雰囲気がないと、ついつい「フレームややり方」ありきで問題を解決しにいってしまうのではないでしょうか。
<h1>大変だけど、楽しいし、価値があること</h1>
ゼロベースで考えることはとても大変ことです。自分たちのプロダクトやチーム、個人のことを真剣に見つめ直す必要があります。辛くなる時ももしかしたらあるかもしれません。
ゼロベースで考えたことで、スピードがもの凄く遅くなっていては元も子もありません。フルスクラッチで解決策を考えるとはいえ、時間をかけすぎてはいけない、そういったプレッシャーの中で物事を考える必要があります。
それでも、その思考のプロセスが楽しいのです。これまでたくさんは使ってこなかった脳の部分をたくさん使う感じがします。
それが自分自身を成長させますし、何より、プロダクトやチームが抱えている問題を本質的に解決するための近道であり、さらには長期的なプロダクトの成長やユーザーへの価値向上に繋がると信じています。
それができる環境で僕は今働いていて、こうやって言葉を並べるだけではなく、自分の仕事をどんどん価値に繋げていきたいと、日々取り組んでいます。
<h1>おわりに</h1>
最近、「プレイドで働く上で楽しいこと、良かったことはなんですか？」と社外の人に質問される機会が何度かあったのですが、毎回上に書いたようなことを答えています。
具体的なエピソードを書いていないですが、それはまた別の機会に紹介できればと思います。
なお、この記事の内容は、あくまでも、僕個人の考え、僕個人から見たプレイドについての考えです。
プレイドのエンジニアチームは、幅広いスキル・バックグラウンド・ビジョンを持った多様なエンジニアで構成されており、なので、全然違うことを考えているエンジニアもいます。
この記事では、こういうことを考えているエンジニアもいますよ、という一例を紹介しました。
<hr>
ウェブ接客プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい！ KARTE自体の開発に興味がある！というエンジニア（インターンも！）を募集しています。
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a> 
または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> 
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>

最初から「型破り」でもいいんです。「型を守る」ことから始めないソフトウェア開発、という考え方について紹介します。

「型を守る」ことから始めないソフトウェア開発 ー 常にゼロベースで考える | PLAID engineer blog

「型を守る」ことから始めないソフトウェア開発 ー 常にゼロベースで考える

みなさん、ごきげんよう。プレイドの@tik-sonです。
現在、PLAIDエンジニア陣で<a href="https://codezine.jp/article/corner/711">CodeZineで連載</a>をしているのですが、 
今回は<a href="https://codezine.jp/article/detail/10674">KARTEを支える監視構成についての記事を書きました。</a>
記事のリード文で紹介しているように、シビアな要件が求められる、大規模解析サービスの監視のポイントや、構成などを書いているので、是非とも御覧ください！
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/0c95bcdc-12bd-491a-baff-7aa28c0af6ed/image--2--2.png" alt="image"> 
<a href="https://codezine.jp/article/detail/10674">大規模解析サービスを支える監視サービスと監視構成のポイント</a>

12.5億UUを解析するKARTEを支える監視構成について記事を書きました。

12.5億UUを解析する大規模解析サービスの監視構成 | PLAID engineer blog

12.5億UUを解析する大規模解析サービスの監視構成

みなさん、ごきげんよう。プレイドの竹村(a.k.a. tik-son)です。 
2018/2/15,16に雅叙園東京で開催された <a href="http://event.shoeisha.jp/devsumi/20180215/">Developers Summit 2018</a>にて<a href="http://event.shoeisha.jp/devsumi/20180215/session/1621/">「マルチクラウドで構築する大規模解析サービス～戦略とポイントについて」</a> というテーマで登壇してきました。 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/dbe903fb-d3a5-46e2-ab12-5babcac9292c/Image-uploaded-from-iOS.jpg" alt="Image uploaded from iOS.jpg (2.7 MB)">
<h1>発表内容</h1>
最近、「マルチクラウド」という言葉をよく聞くようになりましたが、まだ世の中には具体的な話があまり出ていないなと感じていたので、「マルチクラウドでの構築/運用でのポイント」を出来る限り実例ベースでお話しました。 
6000events/secの負荷 を 0.x秒で解析する KARTEの構築/運用を通して培ったマルチクラウドでの様々なノウハウが詰まっているので是非ともご覧いただければと思います。 
発表資料はこちらです。
<div>
<script async class="speakerdeck-embed" data-id="d87b6e822d0149bb89f11cd50e18c9e6" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>
</div>
この発表内容については、<a href="https://classmethod.jp/">クラスメソッド</a>さんにかなりいい感じにまとめてもらっているので、こちらもご覧いただければ理解を更に深めていただけると思います。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/51d7d4df-1512-4fae-b6bf-2f64e376da35/image.png" alt="image.png (211.4 kB)">
<a href="https://dev.classmethod.jp/cloud/aws/devsumi2018-multicloud/">「ほんまに運用できるの？」毎秒6000イベントをミリsec対応するウェブサービスを、マルチクラウドで構築した話を聞いてきた #devsumi</a> 
(タイトルが関西弁感出てるのは、関西弁で発表したからなのだろうか)
<blockquote>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/4f8b255c-b57b-4be9-90b5-1e1391884a7c/image--1-.png" alt="image.png (91.9 kB)">
</blockquote>
発表者冥利に尽きるありがたいお言葉もいただいております。
<h1>デブサミに登壇してみて</h1>
かなり大きな会場、たくさんの方に来場いただいたので、楽しく発表させていただくことができました。 
色々と喋りすぎてしまって、最後の方は結構時間がギリギリだったのはここだけの話です。 
また、Ask the speakerのコーナーでも来場者の方々と色々と質問、意見交換などをさせていただき、とても有意義な時間でした。 
お声がけをいただいた翔泳社さんを初め、デブサミ運営に携わっている皆様ありがとうございました。
一方で、来場いただいたようなDeveloperの方々には、KARTEって自分が思っていた以上に知られていないんだなと痛感し、このようなカンファレンスやTechBlogを通してもっとガンガン外部に発信することの重要性を感じました。 
KARTE内ではマルチクラウドをはじめとした、外に発信できる面白い取り組み/ノウハウがたくさんあるので、今後もこのTechBlogなどで積極的に発信していきたいと思います。
<h1>最後に</h1>
プレイドでは、今回お話したようなマルチクラウドインフラをガッツリ触って成長させたい！というエンジニアを募集しています。 
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html">弊社採用ページ</a>、または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
</div>

Developers Summit 2018にて「マルチクラウドで構築する大規模解析サービス～戦略とポイントについて」話してきました。

Developers Summit 2018に登壇してきました #devsumi |  PLAID engineer blog

Developers Summit 2018に登壇してきました #devsumi

ビッグデータよりストリームデータの時代！KARTEのリアルタイム解析でも使われているストリーム処理について学んでみる。

Engineer Blog

Recent Article

絶対にアプリを死なせない！プロセス分離による堅牢なSDKの実現方法

Google Cloud Next '18でSpinnakerのセッションを聞いてきました!

イマドキの「Docker力」を身につけるPLAID式チュートリアル

Kubernetes to Metaparticle. 分散プログラミングへの新しいアプローチ

刷新したKARTEロゴのプロセス公開ープロダクトが目指す理想像から始めるアプローチ

1泊2日ゼロベースで議論する開発合宿@館山に行ってきました！

「型を守る」ことから始めないソフトウェア開発ー常にゼロベースで考える

12.5億UUを解析する大規模解析サービスの監視構成

Developers Summit 2018に登壇してきました #devsumi

ストリーム処理を１からKappa Architectreまで学ぶ

Archives

Writers

Recent Article

絶対にアプリを死なせない！プロセス分離による堅牢なSDKの実現方法

Google Cloud Next '18でSpinnakerのセッションを聞いてきました!

イマドキの「Docker力」を身につけるPLAID式チュートリアル

Kubernetes to Metaparticle. 分散プログラミングへの新しいアプローチ

刷新したKARTEロゴのプロセス公開 ー プロダクトが目指す理想像から始めるアプローチ

1泊2日ゼロベースで議論する開発合宿@館山に行ってきました！

「型を守る」ことから始めないソフトウェア開発 ー 常にゼロベースで考える

12.5億UUを解析する大規模解析サービスの監視構成

Developers Summit 2018に登壇してきました #devsumi

ストリーム処理を１からKappa Architectreまで学ぶ

Archives

Writers

刷新したKARTEロゴのプロセス公開ープロダクトが目指す理想像から始めるアプローチ

「型を守る」ことから始めないソフトウェア開発ー常にゼロベースで考える