Engineer Blog

Kairi Ueno

Hiroki Tamiya

Yugo Tsuchiya

TomokiIchikawa

Yoshito Ikeda

Haruki Tazoe

Hajime Shiozawa

Kazuki Katsurada

masashi kobayashi

lapla

Takehiko Okayama

Kotaro Ito

Yuhei Yasuda

naoyashiga

Takumi Ishii

Sojiro Nishimura

Katsumi Kobayashi

Kota Momoki

Calloc

Shohei Shiraki

Takaaki Kanetsuki

Yui Taniyama

Kota Yatagai

Shuhei Kondo

kenshin tanaka

KARTE Team

Security Team

Tomoya Koike

Haruki Tosa

Daiki Sakuma

Takuma Shibuya

plaidinc

Takami Yamada

Blocks Team

Takanori Koga

Takumi Katayama

Yu Nishimura

Takuya Ogawa

akira.kasuga

Kosuke Oya

Yoshiyuki Komazaki

mizchi

Ryosuke Suzuki

koichi tanaka

Arnaud Avondet

kazupon

daigo.isamatsu

Jun Kusahana

Shinnosuke Ozawa

Rei Ishikawa

Hiroto Harada

Kei Tamiya

Nobuhiro Ito

kazushi oohira

Yohei Meguro

Kazuto Kojima

Tomoki Koga

Kenichi Suzuki

Takaaki Nakama

Takahiro Tokunaga

Kohei Kadowaki

kantetsu

Makoto Kataigi

Tatsuya Monoi

Jumpei Ikegami

Masahiro Yamauchi

Shinji Eto

Yuta Nishimura

Hideyuki Okada

Wataru Ikarashi

Naoto Kato

Yuki Makino

Atsushi Fujikawa

Naohiko Takemura

Daikichi Sasamori

Atsushi Kobayashi

Naoki Shibayama

Daiki Matsui

Yohei Noda

プレイドでエンジニアをしている田宮です。今回は Cloud Logging と BigQuery 用いて開発した 監査ログ の紹介をします。

マルチプロダクトにおける全操作を網羅する監査ログ収集基盤：設計思想と実装 - 収集編

<h1>はじめに</h1>
<p>こんにちはプレイドの<a href="https://cxclip.karte.io/products/info/message-beta/">KARTE Message</a>チームでエンジニアをしている<a href="https://x.com/prooooograming">土谷</a>です。</p>
<p>今回は大量メール配信を実現するためにKARTE Messageで取っている仕組みを紹介していきます。</p>
<h1>KARTE Messageについて</h1>
<p>本題に入る前に、まずKARTE Messageについて説明します。</p>
<p>KARTE Messageはマルチチャネル(Mail/アプリPush/LINE *)での大量配信を行えるMAツールとなっており、主に以下の機能を備えています。</p>
<ul>
<li>配信の管理
<ul>
<li>配信対象抽出の設定</li>
<li>配信コンテンツの設定・コンテンツへの埋め込み</li>
<li>配信速度・頻度の管理</li>
</ul>
</li>
<li>配信対象の管理
<ul>
<li>誰に配信するのかを取り扱うための配信対象を管理するためのリスト機能</li>
<li>リストに対するフィルタリング機能</li>
<li>リスト同士を組み合わせて配信対象を絞り込む機能</li>
</ul>
</li>
<li>配信コンテンツの管理
<ul>
<li>配信コンテンツをテンプレートとして管理</li>
</ul>
</li>
</ul>
<p>これらの機能に加えてKARTEの特有の機能を利用した配信対象の抽出などもできるようになっています。</p>
<p>* LINEとの連携機能は現状β版として提供しています。</p>
<h1>このブログで出てくる用語</h1>
<p>まずメール配信においてよく使われる用語の説明をします。理解している人は読み飛ばしてください。</p>
<p><code>Eメール</code> : 一般的にEメールはマーケティングメールとトランザクションメールに大別できます。</p>
<p><code>マーケティングメール</code> : 受信者がアクションをしていなくても送信者側が能動的に送信するメールです。メルマガ配信やクーポンメールなど。</p>
<p><code>トランザクションメール</code> :  受信者が何かしらのアクションを起こした時に受等的に送信するメールです。ログインメールやパスワードリセットメールなど。</p>
<p><code>メールバウンス</code> : 送信したメールが何らかの理由で相手のメールサーバーに拒否されて、送信者に戻ることです。メールバウンスはハードバウンスとソフトバウンスに大別できます。</p>
<p><code>ハードバウンス</code> : メールの拒否理由が恒久的な問題の場合のメールバウンスのことです。メールアドレスが存在しないなど。</p>
<p><code>ソフトバウンス</code> : メールの拒否理由が一時的な問題の場合のメールバウンスのことです。受信者のメールボックスがいっぱいなど。</p>
<p><code>IP/ドメインレビュテーション</code> : メール送信時に利用するサーバーのIPアドレスやFromドメインに対して付けられる評価をレピュテーションと呼びます。スパムメールのようなメールをたくさん配信しているとレピュテーションが下がり、メールプロバイダー(GmailやYahoo!メールなど)から受信を拒否される場合があります。レピュテーションの管理はメールプロバイダーがやっていたり、第三者機関がやっていたり、さまざまなパターンがあります。</p>
<p><code>SPF</code> : SPFレコードというDNSレコードを利用して、送信されたメールの送信元IPを確認することで送信者がなりすましをしていないかを確認する仕組みです。</p>
<p><code>DKIM</code> : DKIMレコードというDNSレコードを利用して、送信されたメールの内容が第三者に改竄されていないことを確認する仕組みです。</p>
<p><code>DMARC</code> : SPF/DKIMの確認に引っかかった時に、どのように対応すべきかを送信元のサーバーが表明しておく仕組みです。</p>
<h1>大量メール配信の運用における課題</h1>
<p>マーケティングメールが大量に送信されている現在の環境では、同様に大量のスパムメールも送信されています。メールプロバイダーはメールの大量送信に対して、スパムメールかどうか・送信者がスパマーではないかという判定を厳しく行なっています。</p>
<p>そのためマーケティングメールをエンドユーザーに届けるためには、送信したメールがスパムメールでないことを証明する必要があります。</p>
<p>メールプロバイダーは送信されたメールがスパムメールでないことを確認するために、以下のような項目を確認しています。</p>
<ul>
<li>SPF/DKIM/DMARCの設定確認
<ul>
<li>これらのDNSレコードの設定がされていないとスパムメールと判断される場合があります。</li>
</ul>
</li>
<li>IPレピュテーション・ドメインレピュテーションの確認
<ul>
<li>送信元のIPレピュテーションやドメインレピュテーションが低いと、スパムメールと判断される場合があります。</li>
</ul>
</li>
<li>メールコンテンツの正当性の確認
<ul>
<li>メール内のコンテンツにhttpのセキュアではないリンクがあったり、不審なスクリプトなどが含まれていたりすると、スパムメールと判断される場合があります。</li>
</ul>
</li>
<li>メール配信量の急増の検知
<ul>
<li>特定IPからのメールの配信量が急増すると、スパムメールと判断される場合があります。</li>
</ul>
</li>
</ul>
<p>上記のようなスパムメールかどうかの大量のチェックが各メールプロバイダーごとで設定されているため、マーケティングメールをエンドユーザーに届けることが簡単ではないことが課題となっています。</p>
<h1>KARTE Messageにおける大量のメールをエンドユーザーに届けるための仕組み</h1>
<p>ここからは、KARTE Messageで行なっているマーケティングメールを正常にエンドユーザーに届けるための仕組みを紹介します。</p>
<h2>AWS SESを利用したマルチテナント構成</h2>
<p>大量メール配信においてIPレピュテーションを高く保つことは、上述した通り非常に重要です。これを実現するには、スパムメールと判定される可能性のある質の低いメールの送信を極力避け、メールプロバイダーに確実に受信される質の高いメールを送信する必要があります。</p>
<p>そのため、質の高いメールの配信量を最大限に増やすことが有効なアプローチの一つです。これにより、仮に少量の質の低いメールが送信されたとしても、全体におけるその割合を低く抑えることができ、結果としてIPレピュテーションを高く維持することにつながります。</p>
<p><img src="https://ik.imagekit.io/plaid/913abcd7-570a-481a-bc9b-b9cb0c8ff3e4/blog_image1.png" alt="blog_image1.png"></p>
<p>KARTE Messageでは、それを実現する仕組みとしてマルチテナントなメール配信を行なっており、KARTE Messageが所有しているIPアドレスをクライアントごとに固定せず、全てのIPに均等に振り分けて送信しています。</p>
<p><img src="https://ik.imagekit.io/plaid/c3e46daa-6c2d-4f66-b27e-b7a349813334/blog_image2.png" alt="blog_image2.png"></p>
<p>結果として冒頭で述べた通り、KARTE Messageを利用しているクライアント全配信量が母数となるので、特定のクライアントで質の低いメールが多少送信されても影響を小さくすることができます。</p>
<p>また、複数のクライアントの配信をKARTE MessageのIPで送信しているため、配信はほぼ24時間常に行われています。そのため、1クライアントが急な大量配信をしたとしてもKARTE Message全体では配信量の急増にはなりにくく、メール配信量の急増によるIPレピュテーションの低下を防ぐことができ、送信されたメールもスパムメールと判定されづらくなります。</p>
<p>こういったIPレピュテーションの運用は、1クライアントでやろうとすると配信量や配信時間の問題で運用が難しくなる場合があります。KARTE Messageではマルチテナント配信にすることで、その運用負荷をクライアントから取り除いています。</p>
<h2>まとめ</h2>
<p>マルチテナント配信以外にも、KARTE Messageではメール配信の細かなモニタリングを行ったり、SPF/DKIM/DMARCの設定の補助機能なども提供することで、なるべくマーケティングメールの運用負荷を下げるような機能提供を行なっています。</p>
<p>KARTE Messageでは、メールという長年コミュニケーションツールとして中心になっている技術であるからこそ難しくなっている部分を管理することで、価値を届けるプロダクトを作っています。</p>
<p>興味がある方は<a href="https://recruit.plaid.co.jp/product">採用ページ</a>をご覧ください。お待ちしております！</p>


KARTE MessageというMAツールでメールの大量配信を安定的に行うためのシステム設計やIP運用の考え方などを説明

KARTE Messageで採用している大量配信を実現するためのアーキテクチャ

KARTE Messageの大量メール配信を支える技術

こんにちは！10月初旬から4月末までの7ヶ月間、ソフトウェア開発のインターンとしてプレイドで働いていた[上野海吏](https://x.com/kairi_noel)(@kairi_noel)です。

プレイドで7ヶ月間の開発インターンで体験したことと得られた学び

AIエージェントによるセキュリティレビューの試みを紹介します。

AIエージェントによるセキュリティレビューことはじめ

この記事では、MongoDB Atlas Stream Processing を使った BigQuery へのレプリケーションシステムについて解説します。

MongoDB Atlas Stream Processing を使った BigQuery へのレプリケーション

npmのprivate registryからGitHub Packages Registryに移行する

Dockerfile効率化のベストプラクティスを、リードタイム(CI/CDの実行時間)を短縮し開発生産性を向上させる為に行うべき事という観点でまとめました。
1.Docker Daemonへの転送ファイル削減
2.Docker Imageのサイズ削減
3.cacheの有効活用

Docker Buildにおけるリードタイム短縮のための3つの改善ポイント | PLAID engineer blog

Docker Buildにおけるリードタイム短縮のための3つの改善ポイント

2019年10月から2020年2月まで開発チームで取り組んだアンケートフォーム(β版)のリリースまでのリアルな道のりを記しています。エンジニア、デザイナー、プロダクトマネージャーにはぜひ読んで欲しい内容です。

KARTEのアンケートフォーム(β版)公開までの道のり

<p>こんにちは、エンジニアの <a href="https://twitter.com/kargo113">@kargo</a> @nichimu です。KARTEのDatahubというプロダクトに携わっており、KARTEのデータ及びお客様のデータを活用したプロダクトの開発を行っています。<br>
今回は、KARTEにおいて活用しているコンテナネイティブのワークフロー基盤であるKubeflow Pipelineの組み込みについての概要をご紹介したいと思います。</p>
<h1>Kubeflow とは</h1>
<p>ここ数年でMLOpsという言葉が浸透するようになり、機械学習の実運用についての具体例がたくさん見受けられるようになりました。<br>
<a href="https://www.kubeflow.org/docs/about/kubeflow/">Kubeflow</a> はそのような機械学習の実運用をスムーズに行うためのオープンソースのプラットフォームです。Kubernetes上で動作することを前提とされているので、GKEやEKS、オンプレミスのKubernetes基盤にデプロイすることができます。直近では最新のv1.0が公開されているようにかなりのスピードで発展してきており、コミュニティも盛んです。<br>
Kubeflowは様々な機能がありますが、今回はその中でも Kubeflow Pipeline というコンテナのワークフロー基盤を活用した事例についてご紹介していきます。<br>
Kubeflow Pipelineの基本的な使い方についてはそれだけで1つのブログが書けるボリュームですので、以下の内容では使い方については触れません。それを前提とした上で、活用方法について述べていきます。基本的な使い方は<a href="https://www.kubeflow.org/docs/about/kubeflow/">ドキュメント</a>がわかりやすいので是非ともご参考にして頂ければと思います。</p>
<h1>Components について</h1>
<p>弊社では、KARTEに蓄積されたデータを用いて、クラスタリング・需要予測・レコメンデーション・購買予測・不正検知など様々な取り組みを行っています。<br>
Kubeflow Pipelineで動かすPipelineは大きく分けて</p>
<ul>
<li>学習用パイプライン</li>
<li>推論用パイプライン</li>
</ul>
<p>の2つがあります。これらを各タスクごとに管理しています。</p>
<p>各タスクごとにコンポーネントはなるべく共通化したく、<a href="https://www.tensorflow.org/tfx">TFX</a> の概念を大いに参考にさせて頂きました。TFXは機械学習タスクに必要なコンポーネントが丁寧に抽象化されており、今回は以下の図のようなコンポーネントを参考にしました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/2149e535-f318-4b6a-ba94-70c8adc5bb2d/tfx.svg" alt=""></p>
<p>実際に学習用パイプラインで構築したコンポーネントは</p>
<ul>
<li>ExampleGen</li>
<li>SchemaGen</li>
<li>Transform</li>
<li>Trainer</li>
<li>Evaluator</li>
<li>Pusher</li>
</ul>
<p>の6つです。</p>
<p>ExampleGenでは、BQにある膨大なデータからクエリによりデータを抽出<br>
SchemaGenでは、抽出したデータのスキーマを自動で判定<br>
Transformでは、LabelEncorder等により前処理を実行<br>
Trainerでは、GridSearch等を用いて最適なモデルの学習<br>
Evaluatorでは、学習済モデルの評価を行い、モデルの妥当性を検証<br>
Pusherでは、評価されたモデルをデプロイする<br>
といった実装になっています。<br>
これらをPipelineとして単純に直列に以下の図のように繋いでいます。<br>
各コンポーネントでのデータの受け渡しはGCSを用いており、データのPATHを受け渡すようにしています。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/5ae769ac-5242-4cba-a50c-a349015431de/kubeflow-1.svg" alt=""></p>
<p>推論パイプラインでは、<br>
ExampleGen, SchemaGen, Transformerまでは同様で、これにデプロイしたモデルを用いたPredictorというコンポーネントを直列に繋いで推論を行っています。</p>
<p>また、直列で繋いでいる理由として大量のリソースを消費するものに関しては、各コンポーネント内で外部にジョブを投げているからです。</p>
<p>例えば、ExampleGenにおいてはApache Beam SDKを用いて実装しているので、大規模分散処理に関してはDafaflow上で実行することが可能です。さらに、Trainerにおいても、学習ジョブはAI Platform Trainingで実行しているため、こちらも大規模並列学習が可能になっています。<br>
つまり、Kubeflow Pipelineをデプロイしているクラスタのリソースは最小で、必要に応じて外部のマネージメントサービスを活用することで、簡単なタスクから複雑なタスクまで幅広く対応できるようになっています。</p>
<h1>Pipelines SDK の活用</h1>
<p>Kubeflow Pipeline には <a href="https://www.kubeflow.org/docs/pipelines/sdk/sdk-overview/">Pipeline SDK</a> と呼ばれるものも用意されており、外部からでも簡単にパイプラインの実行や管理ができるようになっています。これを活用しフロントエンドと連携をしています。<br>
例えば、</p>
<pre><code>client = kfp.Client(
    host=&quot;YOUR_KUBEFLOW_HOST&quot;, 
    client_id=&quot;OAUTH_CLIENT_ID&quot;
)
res = client.run_pipeline(
    experiment_id=&quot;YOUR_EXPERIMENT_ID&quot;,
    job_name=&quot;JOB_NAME&quot;,
    pipeline_id=&quot;PIPELINE_ID&quot;,
    params=&quot;ARGUMENTS&quot;,
)

</code></pre>
<p>といったように指定したパイプラインの実行ができます。<br>
paramsに任意の引数を渡すことで柔軟にパイプラインの実行が可能です。</p>
<p>wait_for_run_completionやget_runメソッドも用意されているので、パイプラインの実行状況を確認することも容易です。</p>
<p>補足ですが、私たちの環境ではCloudIAP認証を用いているため、client_idが必要です。また、実行するサービスアカウントにIAP で保護されたウェブアプリ ユーザーという権限を付与する必要がある点にも注意が必要です。</p>
<h1>フロント画面との連携</h1>
<p>KARTEの管理画面で使用している技術を簡単に述べると、フロント: Vue.js、バックエンド: Node.js、DB: MongoDBで構成されています。<br>
管理画面から任意のパラメータを入力し、Kubeflow Pipelineのパイプライン処理を実行をさせた上で、モデルの結果はいつでも管理画面から取得できる状態にしたいというのが今回の要件です。</p>
<p>現状、Pipeline SDKにはpythonのものしかなく、バックエンドがNode.jsであるKARTEで使おうと思うと、Node.jsにあるPython-shellを使用するかFlask等を使ってRESTの口をつくるかの2通りありました。<br>
その中で、我々は、新たにPythonベースのコンテナをGKEに立てて、Node.jsベースのコンテナとkubeflow clusterの橋渡しとなるようなinternalなAPIとして用いる方針をとりました。<br>
PythonベースのコンテナでPipeline SDKを使えるようにすることで、KARTE管理画面からKubeflow Pipelineを実行できるようにしました。</p>
<p>また、PipelineのジョブパラメータはMongoDBに保存しておくことで、いつでもKARTE管理画面からジョブの実行結果を確認できるようにしました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f84d0fa8-a21d-4fd4-8975-c8d3c24297d7/backend.png" alt=""></p>
<p>このようにKARTEの管理画面からも簡単に任意のパラメーターでパイプラインを実行し、結果を取得することが可能です。</p>
<p>こういったSDKもきちんと用意されており、連携も簡単にできる点も素晴らしいですね。</p>
<h1>今後の課題</h1>
<h4>サービスアカウント問題</h4>
<p>現状のKubeflow Pipelineの仕組みではパイプラインをKubeflowにデプロイする段階でSecretをコードで指定する仕組みになっています</p>
<pre><code>dsl.ContainerOp(
    name=&quot;NAME&quot;,
    image=&quot;IMAGE&quot;,
    command=[&quot;COMMAND&quot;],
    arguments=[&quot;ARGUMENTS&quot;],
)
.apply(gcp.use_gcp_secret(&quot;user-gcp-sa&quot;))

</code></pre>
<p>そのため、実行するパイプラインごとに引数等でサービスアカウントを指定することができません。こちらも柔軟に変更できた方が権限管理は非常に便利になるのですが、現状は未対応なので場合によっては裏側で色々と権限管理を頑張る必要性が出てきます。</p>
<h4>Kubeflow? TFX? AIPlatform?</h4>
<p>少し余談にはなりますが、このあたりきちんと使い分けられている方は少ないのではないでしょうか。<br>
Kubeflowはドキュメントにしたがってデプロイするとやや大きめなMachineTypeでNodePoolが作成され、GPU Node Poolも作成されます。つまり、このクラスタ内のリソースを使うのだろうと思っていたのですが、exampleを見ると Data Proc や AI Platform にジョブを投げているものもあります。さらに、TFXではTensoflow Transformerというものがあり、これはDataFlowにジョブを投げるものとなっています。こうなってくるとかなりややこしく、結局どういう構成がベストプラクティスなのかが見えづらい状況です。<br>
あくまで私たちの仕組みでは、Kubeflow Pipeline自体のリソースは最小限に、コンポーネントの各ジョブは外部リソースを使ってスケールさせるという選択肢をとったに過ぎないので、この内容がみなさまの実際のケースに沿って最適な選択の一助となれば幸いです。</p>


KARTEにおけるフロントエンドと連携させたKubeflow Pipelineの活用方法について解説します

KARTEにおけるKubeflow Pipelineの活用 | PLAID engineer blog

KARTEにおけるKubeflow Pipelineの活用

2019年以降、Slack APIがどのように変化し何に注意すべきかについてご紹介します。主にBlock Kit、Modal、Home tabなどSlack上での新しい表現や、Granular permissionsと呼ばれる新しい権限モデルへの対応方法について詳しく説明しています。

2020年のSlack App開発者が知るべき最新のSlack API仕様 | PLAID engineer blog

2020年のSlack App開発者が知るべき最新のSlack API仕様

<p>こんにちは、エンジニアの <a href="https://github.com/komukomo">@komukomo</a> です。2020/01/30 に行われた <a href="https://inthecloud.withgoogle.com/anthos-day-2001/register.html">Google Cloud Anthos Day</a> に 「GKEにおけるセキュリティ対策と運用」というタイトルで登壇させていただいので、こちらのブログでもその内容を簡単にまとめておきます。（他の登壇者の方の資料も<a href="https://inthecloud.withgoogle.com/anthos-day-2001/register.html">公式サイト</a>にて公開されています）</p>
<hr>
<p>我々が開発している <a href="https://karte.io/">KARTE</a> ではユーザの行動データを扱っており、その中にはセンシティブなデータも含まれているので KARTE を開発する上ではセキュリティというのは重要なトピックです。ということで今回お話したのはセキュリティに関する内容で、直接プロダクトの KARTE とは関係ないのですが、</p>
<ul>
<li>GKE でのセキュリティに関する考え方</li>
</ul>
<p>と、個別機能の紹介とユーザ目線での注意点や感想ということで</p>
<ul>
<li><a href="https://cloud.google.com/kubernetes-engine/sandbox/">GKE Sandbox</a></li>
<li><a href="https://cloud.google.com/binary-authorization/">Binary Authorization</a></li>
<li><a href="https://cloud.google.com/anthos/config-management/">Anthos Config Management</a></li>
</ul>
<p>について発表してきました。内容としては、これからGoogle Kubernetes Engine (GKE) を導入しようとしている方や運用しはじめの方、機能の概要を知りたい方向けのお話となっています。</p>
<p>こちらにスライドとざっくりお話した内容を載せておきます。</p>
<script async class="speakerdeck-embed" data-id="b9e34200315a473fae23b66f07ca4168" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>
<h1>GKEにおけるセキュリティ対策</h1>
<p>最初のトピックは GKE でのセキュリティ対策の話で、中身を省いて結論のみ書いてしまうと、</p>
<ul>
<li>ユーザの管理範囲と Google の管理範囲を意識しましょう</li>
<li>まずは GKE 公式のドキュメントにそって運用していきましょう</li>
</ul>
<p>ということで基本的すぎる感じになってしまいましたが、それでも重要なことだとは思うので、ここにも当日紹介したドキュメントのリンクを貼っておきます。</p>
<p>GKE の記事:</p>
<ul>
<li><a href="https://cloud.google.com/kubernetes-engine/docs/concepts/security-overview">Security overview</a></li>
<li><a href="https://cloud.google.com/kubernetes-engine/docs/how-to/hardening-your-cluster">Hardening your cluster's security</a></li>
<li><a href="https://cloud.google.com/kubernetes-engine/docs/security-bulletins">Security bulletins</a></li>
</ul>
<p>こちらは GKE に限らず、Kuberentes の記事:</p>
<ul>
<li><a href="https://www.cncf.io/blog/2019/01/14/9-kubernetes-security-best-practices-everyone-must-follow/">9 Kubernetes Security Best Practices Everyone Must Follow</a></li>
<li><a href="https://kubernetes.io/blog/2016/08/security-best-practices-kubernetes-deployment/">Security Best Practices for Kubernetes Deployment</a></li>
</ul>
<p>以降は個別の GKE の機能のお話です。</p>
<h1>GKE Sandbox</h1>
<p><a href="https://cloud.google.com/kubernetes-engine/sandbox/">GKE Sandbox</a> は、信頼できないワークロードをクラスタで動かすようなケースで有用な機能です。<br>
内部では <a href="https://gvisor.dev/">gVisor</a> が使われていますが、この仕組みは使う前にざっくりとでも中身を知っておくとといろいろと判断する上で役に立ちます。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/69ebe27d-0498-4443-96bb-bc1888ce20d6/Screen-Shot-2020-01-31-at-13.11.04.png" alt="Screen-Shot-2020-01-31-at-13.11.04"></p>
<p>gVisor では kernel の System Call をインターセプトして、kernel の機能を emulation するようなレイヤを実装しています。（さらっと書きましたが、なかなか凄まじい実装です。コードは<a href="https://github.com/google/gvisor">こちら</a>。）<br>
このようなレイヤを実装することで、コンテナは System Call を直接実行できなくなり、Host はセキュリティを考慮して制限された System Call のみ処理するようになるので、kernel の脆弱性を悪用するような攻撃から Host を守ることができます。</p>
<p>この gVisor をGKE上で使えるようになっているのが、 GKE Sandbox です。</p>
<h2>注意点</h2>
<p>使用する上で気をつけておくとよさそうと感じたのは、互換性、パフォーマンス、gVisor の責任範囲についてです。</p>
<h3>互換性</h3>
<p>kernel の機能を emulation している部分があるので、そもそも使いたい機能が使えるかはまず確認しておくとよいかと思います。GKE Sandbox にも gVisor にも互換性に関するドキュメントがあるので両方読んでおくと確実かと思います。</p>
<ul>
<li><a href="https://cloud.google.com/kubernetes-engine/docs/concepts/sandbox-pods?hl=en#limitations-incompatible">(GKE Sandbox) Incompatible features</a></li>
<li><a href="https://gvisor.dev/docs/user_guide/compatibility/">(gVisor) Compatibility</a></li>
</ul>
<p>自分は GKE Sandbox を最初試したとき <a href="https://kubernetes.io/docs/tasks/access-application-cluster/port-forward-access-application-cluster/">Port Forward</a> が使えないということを知らずにデバッグしようとしていて、無駄に調査に時間をかけてしまいました😅</p>
<h3>パフォーマンス</h3>
<p>こちらもgVisorがSystem Callをemulationしているため gVisor を使うとそのワークロードのパフォーマンスが劣化する可能性があります。逆にいうと、System Call を激しく使わない数値計算のようなワークロードはそれほど影響はないと考えられます。<br>
実際に GKE Sandbox を使う場合にはもちろんその時に計測するかと思いますが <a href="https://gvisor.dev/docs/architecture_guide/performance/">gVisor のPerformance Guide</a> もあるのでこちらも参考になるかと思います。</p>
<h3>gVisorの責任範囲</h3>
<p>仕組みをしっていれば当たり前の話かもしれませんが、gVisor を使えばサンドボックス化は完璧、というものではありません。例えば Pod 間通信の制御をするなら別途設定が必要です。自社でサンドボックスのような基盤が必要なサービスを運用する場合は、gVisor の挙動を把握した上で適宜必要なレイヤーの制限をかけていく必要があります。<br>
gVisor がどのような目的で作られ、どのような脅威を軽減するのかについては <a href="https://gvisor.dev/docs/architecture_guide/security/">Security Model</a> に詳しく書かれています。</p>
<h1>Binary Authorization</h1>
<p>次の話は<a href="https://cloud.google.com/binary-authorization/">Binary Authorization</a>。こちらは信頼できるイメージのみがデプロイされることを保証できる機能です。クラスタでBinary Authorization を有効にすると、Pod 作成の前に Policy のチェックが入ります。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/66682698-9e64-4edf-8df2-0d15a91021ce/Screen-Shot-2020-01-31-at-13.35.02.png" alt="Screen-Shot-2020-01-31-at-13.35.02"></p>
<p>Policy の設定としては image の Path のホワイトリストの他、 <a href="https://cloud.google.com/binary-authorization/docs/making-attestations">attestation</a> という概念があるので、信頼できる検証者によって検証されたイメージのみ許可、といった設定が可能です。（※発表スライド内では&quot;署名&quot;と書いてしまっていますが、英語では attest なので多分&quot;証明&quot;、&quot;検証&quot;という訳の方が正しいですね。）</p>
<p>設定可能な <a href="https://cloud.google.com/binary-authorization/docs/policy-yaml-reference">Policyの仕様</a> はとてもシンプルなので、ざっと<a href="https://cloud.google.com/binary-authorization/docs/example-policies">設定例</a> と合わせて読めばすぐに把握できるかと思います。</p>
<p>運用時は、いろいろと例外的な状況も発生するかと思いますが、Dry Run（Policyチェックしてログは出すが制限しない）や、Break Glass（ Policy を無視してデプロイできるようにするannotation）という機能もあり、こういった運用時の考慮もされています。</p>
<h2>注意点・感想</h2>
<p>Binary Authorization の注意点としては、PolicyはGCPのプロジェクトごとで、クラスタごとの設定はある程度できるのですが Namespaceごとの細かい設定はできません。そのため、大きなクラスタで複数チームを Namespace で管理している場合は Policy 設定が難しいかもしれません。</p>
<p>ちなみに Mercari さんではGKEのBinary Authorizationではなく、その内部で使われている<a href="https://github.com/grafeas/kritis">kritis</a> を<a href="https://tech.mercari.com/entry/2019/12/23/084839">自社でフォークして使用している</a>とのことです。</p>
<p>また、「何かを強制する」機能全般に言えることですが、Dry Run や Break Glass の機能があるとはいえ、管理するProjectが大きくなればなるほど導入が大変になるものです。（有効化したものの全対応が難しくいつまでたっても dryrun 状態...のように）<br>
導入するつもりなら早めに、迷っているなら修正が難しくなる前に判断するのがよいかと思います。</p>
<h1>Anthos Config Management</h1>
<p>最後に<a href="https://cloud.google.com/anthos/config-management/">Anthos Config Management</a> （以下、ACM）。こちらは、セキュリティというよりは運用の話ですが、Namespace や RoleBinding など様々な設定を管理するための機能です。</p>
<p>ACMはいわゆる <a href="https://www.weave.works/blog/what-is-gitops-really">GitOps</a> で クラスタの設定管理をするツールで、クラスタに ACM のオペレータを入れておくと、そのオペレータが指定した Git Repository と同期し設定をクラスタに反映してくれます。（ちなみに、とくに管理可能なオブジェクトの制限は今の所ないようで Namespace や RoleBinding だけでなく、Deployment や Service でも同期してくれます。そのため ACM でアプリケーションのようなものもデプロイ可能ですが、反映の順序は考慮されないそうなのであくまでも設定系のオブジェクトのみにしておいた方が良さそうです。）</p>
<p>単一クラスタ、単一 Namespace しか扱っていない場合はさほどありがたみはないかもしれませんが、複数クラスタ、Namespace を運用していて、似たようなポリシーを全体に適用したいケースなどに有用かと思います。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/24dbe497-853a-4a1a-8f86-e14c60707833/Screen-Shot-2020-01-31-at-13.35.41.png" alt="Screen-Shot-2020-01-31-at-13.35.41"></p>
<p>Git Repository との同期だけであればその他の <a href="https://fluxcd.io/">flux</a> や <a href="https://argoproj.github.io/">argo</a> などでも可能かとは思いますが、ディレクトリの階層構造でNamespace に階層構造のようなものを持たせられる、という点は特徴的です。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/13096746-712c-4544-b2bb-5a1dcdd9754b/Screen-Shot-2020-01-31-at-13.35.49.png" alt="Screen-Shot-2020-01-31-at-13.35.49"></p>
<p>例えば ACM で管理するポリシーの Repository を上の図のようなディレクトリ構成（緑は何らかのk8sオブジェクトのyaml、オレンジは Namespace の yaml とします）にした場合、Namespace が3つ (audit, service-a, service-b) 作成され、<code>all-policy</code> は全てのNamespace に反映、<code>app-policy</code>は <code>service-a</code>と<code>service-b</code>の Namespace にのみ反映、といった挙動になります。</p>
<p>ちなみに ACM の他にも、こういった階層構造を使うというアイデアはあるようです。<br>
https://github.com/kubernetes-sigs/multi-tenancy</p>
<h2>感想</h2>
<p>ACM は仕組みも動作もシンプルなので、Anthos を使っていてクラスタ、Namespace が複数あるような環境ならば入れておいて特に損はなさそうかなと感じました。ACM の導入についても、既に多くのクラスタにいろいろな設定をいれて管理していたとしても、ACM 管理用の repository に対象のyamlを入れてそのオブジェクトが管理対象になる（ <code>configmanagement.gke.io/managed: enabled</code> という annotation がつきます）のを待つだけなのでそこまで大変ではなさそうです。</p>
<h2>Policy Controller</h2>
<p>ACM の基本的な機能は以上なのですが、追加オプションとして、 <a href="https://cloud.google.com/anthos-config-management/docs/concepts/policy-controller">Policy Controller</a> という機能もついており、こちらは <a href="https://github.com/open-policy-agent/gatekeeper">Gatekeeper</a> を使ったポリシーの Enforcer です。（ACM の機能とは全く別機能のような気がしますが、現状 ACM の中の機能として提供されていたのでおまけとして紹介しています。）</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/0099943d-6ac9-4d92-aa5f-74580eafe43e/Screen-Shot-2020-01-31-at-14.49.23.png" alt="Screen-Shot-2020-01-31-at-14.49.23"></p>
<p>例えば <a href="https://kubernetes.io/docs/concepts/policy/pod-security-policy/">PodSecurityPolicy</a> の場合は、「特権コンテナ禁止」といった特定の条件の制限ができるかと思いますが、こちらは任意の Kind の field をチェックできるため柔軟に設定をすることが可能です。公式の例では、Ingress の domain に重複がないか、Namespace に特定の prefix がついているか、などをチェックするサンプルがありました。</p>
<p>何をどう制限するか、というのは <a href="https://www.openpolicyagent.org/docs/latest/policy-reference/">Rego</a> という言語で書くことになるのですが、<a href="https://cloud.google.com/anthos-config-management/docs/how-to/creating-constraints-and-templates">よく使うテンプレートは予め用意されている</a>ので Rego を知らなくてもある程度使うことができます。</p>
<h1>最後に</h1>
<p>Google Cloud Anthos Dayで話したGKEのセキュリティとその周りの機能の紹介でした。Kuberentes も GKE でも次々と新機能がでてくるので追っていくのは大変ですが、全てのユースケースで必要なものではないものも多いので、しっかりそれぞれの機能を把握した上で適切に運用していきたいですね。</p>
<hr>
<h1>おまけ</h1>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/c94b1c36-a2d1-45ee-ae26-2b5bd16a8c2f/anthosday-plaid.jpg" alt="anthosday-plaid"><br>
<a href="https://github.com/MasayaAoyama">@amsy810</a> さんに撮っていただいた写真。ありがとうございます👍</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/aab76dea-068f-413c-832b-cfdbaa6baac5/20200130A_L260.jpg" alt="20200130A_L260"><br>
こちらは Google Cloud Anthos Day 後の懇親会。Googler、登壇者、スポンサー、様々なAnthos/k8sな人たちと話しました。これからのさらなる盛り上がりを感じたとともに、我々もどんどんアップデートしていかないとと感じました！...ということで、スピード感を持って一緒に開発していく仲間は常に募集しているので、興味のある方は<a href="https://meet.plaid.co.jp/">弊社採用ページ</a>または <a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> からお気軽にご連絡ください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>


2020/01/30 に行われた Google Cloud Anthos Day に 「GKEにおけるセキュリティ対策と運用」というタイトルで登壇させていただいので、こちらのブログでもその内容を簡単にまとめておきます。

Google Cloud Anthos DayでGKEのセキュリティ対策と運用について話してきました | PLAID engineer blog

Google Cloud Anthos DayでGKEのセキュリティ対策と運用について話してきました

<p>こんにちは。プレイドで2019年8月から現在までDevインターンとして働いている大矢です。2020年4月からは正社員として働く予定です。<br>
この記事では、プレイドのインターンでどんなことをしたか、何を学んだか、そして入社を決めた理由について書いていきたいと思います。</p>
<h1>はじめに</h1>
<p>簡単に自己紹介をします。僕は大学では情報工学を専攻していて、自然言語処理の研究をしています。<br>
2019年の8月からプレイドでインターンを始めて、週4日程度で通い、今月で約半年になります。<br>
プレイドでインターンをする以前にも、他社のインターンでWebアプリの開発をしたり、自然言語処理の技術を使った開発をする機会は何度かありました。研究が落ち着いた頃、開発経験を積みたいと思いインターンを探していました。</p>
<h1>インターンを始めるまで</h1>
<p>プレイドのインターンの求人（ <a href="https://www.wantedly.com/projects/387546">https://www.wantedly.com/projects/387546</a> ）には</p>
<ul>
<li>求められるレベルが非常に高い</li>
<li>圧倒的に成長できる</li>
<li>社員と同じチームで働くことができる</li>
</ul>
<p>というように書いてあり、求められるレベルが非常に高いことにビビりつつも、ちょっと背伸びした環境にいたほうが成長できるということはなんとなく知っていたので、面接を受けてみることにしました。面接では、プレイドのインターンの制度について聞いたのが印象に残っています。<br>
プレイドに参加したインターン生は、インターン担当の社員、メンターと数ヶ月おきに面談を行います。面談までの期間の成果や働き方をみて、継続が難しいと判断された場合には契約の更新が行われない場合がある、というものです。<br>
最初は戸惑いましたが、この制度はとても良いものだと思いました。まず、求人に書いてあった「求められるレベルが非常に高い」「圧倒的に成長できる」に対する説得力が格段に上がりました。求人にこのようなことを書いてある会社は他にもありますが、この会社で働けば確実に成長できるなと感じました。<br>
また、自分にとっても良い刺激になるなと考えました。3ヶ月おきに評価があるため、それまで気が緩むことなく常に全力で働ける。そして契約の更新が行われた場合には、一定の自信になりますし、更新が行われなかった場合にも、学生なので生活に困るということはないし、挫折を味わうことで成長につながるのではないかと思いました。<br>
つまり、インターン生にとってもこの制度はプラスだと思い、インターンに参加することを決めました。</p>
<h1>インターンでやった仕事</h1>
<p>プレイドでは、エンジニアのチームは1チーム1〜5人程度に分かれ、そのチームで2〜3ヶ月の期間（フォーカスと呼びます）目標を立てて開発をしていきます。僕は、入社してから1ヶ月間はAPIチームというチームで働いていたのですが、フォーカスの区切りのタイミングで基盤チームというところを希望し、行かせてもらうことができました。<br>
それぞれのチームでやった仕事について紹介したいと思います。</p>
<h3>APIチームでの仕事</h3>
<p>インターンに参加して初めに与えられたタスクは、KARTEが提供する、開発者向けのAPIを開発するというものです。社員が取り組むような実践的で非常にやりがいのある仕事であると同時に、このタスクに関してはほとんど仕様が決まっていなかったので、僕にとってはチャレンジングな仕事でした。また、Node.js や Mongo DB についても全く経験がなかったため、技術的にも初めての状態でした。<br>
実際に取り組み始めてみると、そもそもKARTEのことをもっと知らないと、仕様を決めることもできないと感じました。以前に参加したインターンでは、仕様が決まったタスクが渡されることがほとんどだったので、そのプロダクトについて詳しくなくても、ある程度はできてしまうものでした。<br>
KARTEについて学ぶには、KARTE Dojo という、わかりやすい動画が用意されています。僕はその動画を見て、KARTEとはどんなもので、どういう機能がよく使われているのかということを理解しました。とは言っても、実際のユーザがどのように使っているか、APIにどのようなニーズがあるかまではわからないので、社員と相談しながら仕様を決めていきました。<br>
結果的に、無事に1つのAPIの実装を終えることができました。</p>
<h3>基盤チームでの仕事</h3>
<p>ちょうどフォーカスの区切りの頃、モノリシックなKARTEのシステムをマイクロサービス化するということを主に行なっているチーム（基盤チーム）があり、僕はとても興味を惹かれたので、9月からは基盤チームにジョインすることになりました。基盤チームでは他にも、開発環境をよくするための取り組みや、既存のサービスのパフォーマンスを改善するための取り組みを色々と行なっています。<br>
僕はチームとしてこのような仕事に打ち込めることが非常に有意義だと思いました。なぜなら、APIの開発をしていた時に、テストの不便さや、開発環境のパフォーマンスの悪さを感じつつも、目の前の仕事を早くこなさなければという気持ちが優先してしまい、具体的な改善作業をするには至らなかったからです。<br>
基盤チームでは、いろいろな事をしましたが、今は主にテストの改善をしています。まずは、不安定なテストを計測する仕組みを導入しました。 具体的には、github に push するたびにCircle CI で実行されるテストの結果を、Google BigQuery に送り、Google Data Portal で可視化しました。この可視化により、e2e（エンドツーエンド）テストの不安定なシナリオを特定できるようになったり、「不安定な気がする」ではなく「何%の確率で落ちているから不安定だ」と数値で示せるようになりました。<br>
また、不安定なテストにはある程度共通の原因があることもわかりました。改善については、テストケースに一つ一つ修正を入れていくというよりかは、今あるテストを壊して、不安定になる原因を排除しつつ作り直すというような方針で進めています。<br>
不安定なテストは開発スピードに大きく影響するため、非常にやりがいがあり責任のある仕事だと感じています。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/23177920-367c-4182-a4ee-8db534cf03f7/photo1.jpg" alt="photo1"></p>
<h1>インターンで感じたこと、学んだこと</h1>
<h3>仕事の進め方について</h3>
<p>インターンでも社員と同様に信頼して仕事を任せてもらえているという実感がありました。<br>
APIチームで開発をしているときに、プレイドで初めての仕事だったため、わからないことはどんどん質問するようにしていました。これまでのインターンやアルバイトなどで、そのように指導されていたからです。とにかく早く成果物を完成させるということに、重きを置きすぎていました。しかし、プレイドで仕事を始めて1〜2週間ほど経った時、メンターから「遠回りしても、自分一人で解ける範囲を増やすためにもっと時間を使って良いよ」という言葉をいただきました。<br>
実際にこのことを意識しながら仕事をしてみると、より解ける範囲が増えていくことに気づきました。問題に直面したとしても、次に何をするべきか考え、手を動かすことができました。<br>
こうして、自分が解ける範囲がどんどん増えて行くことを実感し、仕事が楽しく感じましたし、自信にもなりました。<br>
この時に、メンターが、インターン生が作る成果物だけでなく、インターン生の成長にも大きな価値があるという風に意識しているのだと感じました。</p>
<h3>APIについて</h3>
<p>APIチームでは、仕様を考えていく際に色々なことを学びました。<br>
APIはKARTEでできないことを外でしてもらうためのサービスなので、既存の管理画面からGUIで操作が可能なことを提供しても意味がありません。自分なりに、KARTEのユーザだったらどうするか、ということを意識しました。また、サービスの内部で使っているAPIは、仕様を変更した時の影響範囲が把握できるため、変更が難しくありません。しかし、外部のAPIの場合には多数のユーザがそのAPIをすでに利用している可能性があるため、破壊的な変更をすることが困難になります。そのため、APIにどのような機能を持たせるかは非常に慎重に検討する必要があり、必要最低限の機能を備えるのが良いということを学びました。</p>
<h3>基盤（テスト）について</h3>
<p>基盤チームでは、主にテストの改善をしていて、技術的に学ぶことが非常に多かったです。<br>
テストにも何種類かあり、ユニットテスト、システムテスト、e2eテストなどがあります。僕は初め、e2eテストをたくさん作れば、コスパよく網羅的にシステムのテストができるとなんとなく思っていました。<br>
しかし実際には、e2eテストはもろく、不安定になりやすいもので、テスト対象のシステムのソースコードが同じでも、成功するときもあれば失敗するときもあるといったものでした。そのため、外部の環境になるべく依存しないテストを多く作り、e2eテストはシステムのコアな部分を守る必要最小限のものにするのが理想的であるということを学びました。</p>
<h1>プレイドへの新卒入社を決めた理由</h1>
<p>入社を決めた理由はいくつかありますが、プレイドの文化には特に良い印象を持ちました。<br>
例えばプレイドには「承認より謝罪」という文化があります。<br>
これは、「自分で考えてやるべきと思ったことは、誰かの承認を得なくても、とりあえずやってみて良い」というようなものです。他にも色々な文化があるのですが、多くの文化に共通する考えがあると思っています。それは、「なるべくポジティブに考えたり、人のポジティブな側面を信じる方が、トータルで得られるメリットが大きい」というような考えです。<br>
「承認より謝罪」の文化の話でいうと、承認を得るために余計なことを考える必要がなかったり、失敗したとしてもそこから得られる学びがあって、それと比較したら失敗することによるデメリットは（多くの場合は）小さい、といった考え方になると思います。<br>
実際にプレイドに来て、このような考え方がプラスだと実感できた場面はいくつもありました。APIチームでメンターから「遠回りしても良いよ」という風に言われて実践してみたときもそうでした。このような文化のある会社で働けることは、自分の人生にとってプラスだと思いました。<br>
正直、僕はプレイドから内定をいただいたときに、こんな優秀な人たちの中でやっていけるのだろうかと考えました。僕にはすぐに人と比較してしまったり、自信をなくしてしまったりしてしまう癖がありました。でも、最近はそんなこと考えても時間の無駄だなと思っています。優秀なメンバーと一緒に働けることは自分の成長に大きなプラスになりますし、たまに自信をなくすくらいがちょうど良いと考えています。<br>
入社してからは今以上に多くの困難があると思いますが、成長の機会と捉えて、前向きに働いていきたいと思います。</p>
<h1>最後に</h1>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい！ KARTE自体の開発に興味がある！というエンジニア（インターンも！）を募集しています。<br>
詳しくは<a href="https://meet.plaid.co.jp/">弊社採用ページ</a>または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/76095c7b-50a0-4ae7-af87-8b346f0d0c69/photo2.jpg" alt="photo2"></p>


プレイドのインターンで学んだことと、入社を決めた理由  | PLAID engineer blog

プレイドのインターンで学んだことと、入社を決めた理由

<p>エンジニアの<a href="https://twitter.com/jumpei_ikegami">池上</a>です。<br>
私の横着によってイベントから1ヶ月以上経ってしまいましたが、2019/12/11(水)に、ラクスルさんとの共同主催で「Vue.js for 2020」というイベントを開催しました！</p>
<p><a href="https://plaidtech.connpass.com/event/153623/">【PLAID × ラクスル】Vue.js for 2020 - connpass</a></p>
<p>会場はプレイドのオフィスを使い、LTや、スポンサーブース、懇親会など盛りだくさんの内容でした。</p>
<p>イベントの詳細については下記のイベントページからご覧いただけますが、<a href="https://twitter.com/takepepe">takepepe</a>さんによる<a href="https://github.com/takefumi-yoshii/vuex-guardian">vue-guardian</a>の実装に関する30分間のセッションがあったり、スポンサー企業を主催2社も含めて6社取ってブースを設けてもらったり、お祭り感のあるイベントになりました。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/3e4e5ec4-0b6e-487f-ad42-b9b9ef7a362f/plaid_booth.jpg" alt="plaid_booth"></p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/f052e23b-556f-44f7-b184-6ba6fb2db86c/raksul_booth.jpg" alt="raksul_booth"></p>
<p>運営自ら楽しみすぎて写真を全く撮っていなかったですが、懇親会もとても盛り上がりました！（なぜかピザとお寿司の写真だけあったので貼りますw）</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/0094c3e5-1130-4c48-b210-97548b9a6c3a/pizza.jpg" alt="pizza"></p>
<p>登壇内容の詳細等については、ラクスルさんのエンジニアブログに詳細にまとまっていたので、こちらも合わせてご覧ください！</p>
<p><a href="https://tech.raksul.com/2020/01/07/vue-for-2020-event-report/">【PLAID × ラクスル】Vue.js for 2020 イベント開催レポート | Raksul ENGINEERING</a></p>
<p>イベントレポートは以上です！<br>
今後もプレイドとして、他の会社さんと共同で技術系のイベントを開催し、技術コミュニティに貢献していきたいと考えています。面白そうな話があれば、ぜひ<a href="https://twitter.com/jumpei_ikegami">池上</a>などプレイドメンバーまでご相談くださいー。</p>
<hr>
<p>ちなみに、プレイドでは、Vue.jsを0系の頃からゴリゴリ使って大規模アプリケーションを作っています。プレイドで働くことに興味がある方がもしいたら、<a href="https://meet.plaid.co.jp/">弊社採用ページ</a>または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>


2019/12/11(水)に、ラクスルさんとの共同主催で「Vue.js for 2020」というイベントを開催しました！会場はプレイドのオフィスを使い、LTやtakepepeさんのセッション、スポンサーブース、懇親会など盛りだくさんの内容でした。

Vue.jsに関するイベントをラクスルさんと共催しました！ | PLAID engineer blog

Vue.jsに関するイベントをラクスルさんと共催しました！

<p>Microservicesは面白い。ほとんどすべて必要なことはそこに書かれているように思う（言い過ぎ）。<a href="https://martinfowler.com/articles/microservices.html">https://martinfowler.com/articles/microservices.html</a> 訳 <a href="http://kimitok.hateblo.jp/entry/2014/11/09/211820">http://kimitok.hateblo.jp/entry/2014/11/09/211820</a></p>
<p>&quot;適切に&quot; 分離し、&quot;適切に&quot; それらの間の依存さえ解決出来れば、コンポーネントを個別で管理し運用し、進化させ続けることが出来る。開発チームは自分達の関心範囲が明確になり、集中しビジネスレベルで責任を持つことさえできる。</p>
<p>ただし、多分 &quot;適切な&quot; 人が読んだら、に限る。これは半分言葉だけの問題で、&quot;マイクロ&quot; と &quot;サービス&quot; が共に少しミスリーディングなせいか、現実問題どのように切ったらいいかがよくわからないからだ。</p>
<p><code>Self Contained Systems</code> は正直単なる Microservices の具体的解釈の一つ（ほぼAlias）に過ぎないと思うが、明示的に1レイヤー増やしていること（Microservicesでは暗黙的なだけ）で、事業の進め方や組織ポリシーを反映させやすく、扱いやすい気がしている。その割に知られていない気がしているのでご紹介。</p>
<h2>Self Contained Systems</h2>
<p>詳しくは下記を参照。<br>
<a href="https://speakerdeck.com/rstrangh/self-contained-systems-1">https://speakerdeck.com/rstrangh/self-contained-systems-1</a> だいたい書いてあるスライド<br>
<a href="https://scs-architecture.org">https://scs-architecture.org</a> 本丸のサイト<br>
<a href="https://www.infoq.com/articles/scs-microservices-done-right/">https://www.infoq.com/articles/scs-microservices-done-right/</a> infoqの記事</p>
<p>ざっくり言えば、Microservice を複数束ねたもの （+ 必要であればFront/Api） を SCS: Self Contained System と呼び、それらをTeamにAssignしよう、というもの。<a href="https://micro-frontends-japanese.org/">Microfrontends</a> に親しい人にはそちらの解釈に近いように感じるかもしれない。Frontも含まれないものも表現できる意味で少し適用しやすい。（front側はurlベースでの協調がメイン。基本url切っちゃおうということ）</p>
<p>イメージ（別にモノレポの制約とかはない）</p>
<ul>
<li>repo
<ul>
<li>system1 = product1 (Teamにassign）
<ul>
<li>service1.1</li>
<li>service1.2</li>
<li>...</li>
<li>api</li>
</ul>
</li>
<li>system2
<ul>
<li>service2.1</li>
<li>service2.2</li>
<li>...</li>
<li>front</li>
</ul>
</li>
<li>...</li>
</ul>
</li>
</ul>
<p>System間は通常のMicorservicesと同様に、単純なRestやEvent BusをVersion管理して依存を切る。<br>
System内はコードを直接依存させても良いし、versionを意識せず開発し、Deployはsystemの粒度で同期して行われることを想定する。（Canaryを使いたいケースでは使えば良い）versionを意識した開発は気が滅入る。できうる限り考慮したくない。<br>
ある意味、SCSsの一つのSystemは、<code>多少構造化されている小さいMonolith</code> だと言える。Monolithの良さは凝集性に、デメリットはスケール性にあるが、一つのTeamを小さく=一つのSystemを小さくする制約が付けられれば、良い点だけが享受できる。</p>
<p>Systemそのものの考え方はそれで良いとして、ここでの最大の関心は、Systemの境界、ひいてはTeamの境界をどう引くか、というところにある。</p>
<h2>Teamをどのように機能させたいかと、Systemの切り方</h2>
<p>Teamの境界をどう考えるか、は <code>Teamをどのように機能させたいか</code> と関連している。これは多くの場合、事業構造/組織ポリシーそのものと関連している。（つまり、それぞれの企業ごとに別の解がある）（注1）</p>
<p>例えば、Plaidの場合は（少し特殊なところかもしれないが、）事業のベースを抽象度が少し高い設計をする代わりに、その具現化のために、メンバーの発想力とモチベーションを生かすことを想定している。また間違いによるエラーの許容度も高く設計していて、大きく、素早く開発サイクルを回すことをちょっとした競合差分として設定している。そのため、Teamに対してサービスレベルでの意識を持ってもらう構造になること、できうる限り大きい幅広の範囲で裁量がわたるような構造にすることが、組織ポリシーとしても重要で、それは事業構造から来ている。</p>
<p>具体的には、Designer/Business/Developer が1Teamで動けるようにして、Featureよりもなるべく大きい Productを持つようにし（Productと呼ばないケースも多いが）、アーキテクト設計から、クライアント提供方針、（必要であれば）価格/コスト、マーケティングまでをある程度裁量を持たせる粒度で切る必要がある。<br>
その時、1Productのサイズは、その1Team（Plaidの場合TeamのサイズはDeveloperのみでは2~5人程度を目安）が1サイクル（Plaidの場合2~3ヶ月）でまわせるサイズを考える。これは提供できるものの制約にもなるが、それがそのままSystemの単位になる。</p>
<p>これはPlaidにおけるSystemの切り方の一つの例（注2）だが、もちろん他にも色々考えられる。</p>
<p>例えば、安定性/障害耐性等が高まることが事業構造上競争優位になるような場合、なるべく小さく、（SCSsのように一気通貫性を高めAgilityを上げるのではなく）職能によるレイヤーで切って固く進めた方が良いかもしれない。</p>
<p>結局次のような質問に答えつつ、Systemの粒度をまず決める必要がある。</p>
<ul>
<li>チームのサイズをどのくらいが適切と考えるか</li>
<li>事業構造とTeamの機能のさせ方をどう考えるか</li>
<li>事業フェーズをどのように考えるか</li>
</ul>
<p>注1: 個人的にはこれも <code>逆</code> と書くのはミスリーディングだな、という気がしているけれど、business architecture → org structure  = system architecture を目指す 逆コンウェイ戦略 といいたいことは多分同じ。</p>
<blockquote>
<p>'Inverse Conway Maneuver' recommends evolving your team and organizational structure to promote your desired architecture. Ideally your technology architecture will display isomorphism with your business architecture <a href="https://www.thoughtworks.com/radar/techniques/inverse-conway-maneuver">https://www.thoughtworks.com/radar/techniques/inverse-conway-maneuver</a></p>
</blockquote>
<p>注2:<br>
もちろん、System Architecture寄り (DDDとか) の切り方に引っ張られた方が良い場合もある。というか結構ある。そこら辺は、、柔軟に判断するw</p>
<h2>終わり</h2>
<p>結局systemっていう言葉を導入しただけなので、なんてこともないが、microserviceそのものを使っていると多分悩んだであろうところが、ある程度社内で悩まずに進めている。正直結構うまくハマっている好例だと思うので、誰かの参考になれば。</p>
<p>CI/CD戦略とかk8sの使い方とか、モノレポとかversion管理とか、そこの具体が当然また面白いところではあるし、実際に進めているところのHard thingsとかがまた面白いところだと思うが、そこは基盤チームの誰かが書くと思う &amp; 弊社に来てくれればいくらでも説明しますので、気軽に遊びに来てくれれば良いんじゃないかと思います。</p>


Self Contained Systemsの紹介 | PLAID engineer blog

Self Contained Systemsの紹介

<p>エンジニアの mizchi です。本記事は plaid advent calendar の 8日目になります。</p>
<p>フロントエンドに携わる人なら、フロントエンド開発にまつわるものは、ブラウザの中で開発が完結するはずだ、と考えたことがないでしょうか。僕は個人的にブラウザ上で開発が完結すべきであって、技術的にも不可能ではない、と思っています。これは開発環境と実行環境が同じであるべきという <a href="https://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%A9%E3%83%B3%E3%83%BB%E3%82%B1%E3%82%A4">アラン・ケイ</a> の Smalltalk と同じ発想です。</p>
<p>筆者はブラウザ上で Git/GitHub の操作ができる <a href="https://nedi.app/">https://nedi.app/</a> というエディタを作成したり、そこから markdown のプレビューだけを高速化したり <a href="https://mdbuf.netlify.com/">https://mdbuf.netlify.com/</a> というMarkdown プレビューツールを作ったり、最近は <a href="https://relaxed-franklin-8384b4.netlify.com/">https://relaxed-franklin-8384b4.netlify.com/</a> (名前はまだない)という開発ツールを趣味半分仕事半分で作っています。PWA、オフラインキャッシュ、 WebWorker、node ツールチェインが発達した今なら、これが可能なのではないか？ ということで、その環境を試作した話です。</p>
<h2>ゴール: フロントエンドでフロントエンドをビルドする</h2>
<p>ブラウザ上でフロントエンドが開発できると、何が嬉しいでしょうか。まず、ブラウザさえあればよいので、開発構築が容易になります。特にプログラミング教育では、いかに最初の一歩を踏ませるかが大事で、その上で視覚的なインパクトが伴うフロントエンドや、ゲームエンジンは特に入門向きだと思っています。(HTML/JS/CSS が入門向けの環境かどうかは、Web 開発以外の観点で議論の余地があると思いますが…)</p>
<p>また、開発者向けの実用的な側面でも、現代の GUI の開発は、ビルドに伴うファイル転送とプレビューなどの必要で発生している各種 IO への負荷が大きい問題を解決できる可能性があります。今までは書き出すしかなかったメモリ上の中間状態を引っこ抜いたり、プロセス的な距離が近くなるので開発ツールの効率を考え直したり、そのための差分検知のあり方が大きく変わるはずです。</p>
<p>ツールとプレビューがセットになった環境があると、動かせるコードのシェアが容易になります。ReactNative の開発者ならば、 <a href="https://snack.expo.io/">https://snack.expo.io/</a> で簡単なコードのシェアをしたことがあるのではないでしょうか。</p>
<p>というわけで、フロントエンドでフロントエンドをビルドする、またはその開発ツールについて考えると、次のテーマが浮かび上がってきます。</p>
<ul>
<li>永続層: ファイルシステム</li>
<li>ツールチェインの解決</li>
<li>ネイティブプラグイン</li>
<li>エディタ</li>
</ul>
<h2>永続層: ファイルシステム</h2>
<p>現実には永続化とファイルストレージの問題があります。手軽な永続層として使われる localStorage は単なる KVS、しかも同期ブロッキングな API なので、プログラミングで大量のデータを扱うには不向きで、 IndexedDb は非同期で高速ですが、 <strong>ホスト OS の空き容量サイズが一定値を下回ると消える可能性がある</strong> という挙動で実装されてあることが多く、現実に発動することは稀ですが、大容量を扱う可能性があるものとしては、完璧に信頼できるストレージではありません。</p>
<p>仮想ファイルシステムは、一旦は揮発する開発環境として扱う、という従来のブラウザツールによくあるポリシーを採用するのは不可能ではないのですが、 2019 年現在、 <a href="https://wicg.github.io/native-file-system/">Native File System</a> という API が提案され、Chrome で開発者フラグを建てると使うことができます。これに活路が見いだせるかも？と期待しています。</p>
<p>これは、限定的なホスト環境へのファイル読み書き機能です。この機能を使って、一旦はブラウザストレージに書き込んだものを、単一ファイルへの内部状態の書き出しを実装すれば、非効率とはいえ、ホスト環境のディスクへの永続化が可能です。まだ試していないですが、簡易なファイルソケットとして実装すれば、双方向の RPC も実装できるかもしれません。(となるとブラウザ単独で完結するという旨味もなくなるんですけどね…)</p>
<p>Native FileSystem 現在は単体ファイルの Read or Write, またはディレクトリの Read のパーミッションしかないのですが、 単体ファイルへの Read &amp; Write や、ディレクトリへの Read &amp; Write パーミッションがあると、使い勝手の良いブラウザ開発環境のストレージが実装できる可能性があります。</p>
<p>とはいえ、歴史的にはブラウザからのファイルシステムへのアクセスは、 ActiveX 経由の悪意あるディスクトラバースとして悪用された過去があるので、セキュリティ的に危険な機能です。慎重に議論されて実装される必要があるとは思っています。</p>
<p>参考:</p>
<ul>
<li><a href="https://developer.mozilla.org/ja/docs/Web/API/IndexedDB_API/Browser_storage_limits_and_eviction_criteria">ブラウザーのストレージ制限と削除基準 - Web API | MDN</a></li>
<li><a href="https://www.html5rocks.com/ja/tutorials/offline/quota-research/#toc-chrome">モダンブラウザのストレージ容量と調査方法まとめ - HTML5 Rocks</a></li>
<li><a href="https://mizchi.hatenablog.com/entry/2019/09/08/090057">Chrome(Canary) の Native File System API で ローカルファイルの読み書きをする - mizchi's blog</a></li>
</ul>
<h2>プリプロセス | バンドリングの課題</h2>
<p>永続ストレージ問題は(問題はあるものの)解決されたとして、次に立ちふさがるのは現代のフロントエンドツールチェインです。</p>
<p>node.js 向けのツールチェインは、古くから isomorhic や universal javascript という概念があるのですが、多くはブラウザ向けに動くように調整された shim と一緒にビルドすることが可能です。</p>
<p><a href="https://qiita.com/kyrieleison/items/4ac5bcc331aee6394440">Universal / Isomorphic JavaScript について - Qiita</a></p>
<p>しかし、ここに標準ライブラリの net や fs といったモジュールを使うと話がややこしくなります。素朴な http 通信に限ったとしても、ブラウザはアクセス先に CORS の制約を受けます。このため、特にプロキシなどを用意しない場合、 CDN ぐらいしかアクセスできません。こうなると npm から tar.gz を落とす、といった、npm/yarn のツールチェインの入り口が閉じられてしまいます。</p>
<p>fs もブラウザ環境での永続層を想定しない結果として、 fs のよく使われるポリフィルは存在しません。一応、 <a href="https://github.com/jvilk/BrowserFS">https://github.com/jvilk/BrowserFS</a> という IndexedDb をバックエンドにできるツールがあるのですが、あまり現代的ではない古い設計なのと、素朴な read &amp; write を行うだけで、シーケンシャルなファイルアクセスができず、とても遅いです。</p>
<p>この結果、 React や Vue のような、フレームワークのランタイムは比較的に簡単に扱うことが可能なのですが、ブラウザでパースできない JSX や Vue SFC を扱うためのツールチェインをブラウザ側にもってくるのが、ひと手間かかります。具体的には、ユニバーサル性を謳うどのツールも、ツールチェインの依存のどこかで fs を無意識に依存のどこかで含んでいて、それらをモック化しつつビルドするのは、一手間かかります。</p>
<p>ライブラリのコアがブラウザでも動くことを謳いながら、ツールチェインのどこかで Isomorphism が失われるのは他の環境でもよく発生します。例えば eslint のプラグイン や textlint のプラグインは、外部ファイル参照の解決に fs を使いに行くものが多いので、ここをなんらかのインメモリキャッシュに差し替えたりしなければなりません。逆に言うと、それさえすれば動くものも多いです。</p>
<h2>解決策: CDN</h2>
<p>Proxy を設置しない場合、 CDN でフロントエンドのツールを引っ張ってくる必要があるのですが、幸いなことに便利な CDN がいくつかあります。</p>
<ul>
<li><a href="https://www.jsdelivr.com/">https://www.jsdelivr.com/</a> npm のファイルへの CDN</li>
<li><a href="https://unpkg.com/">https://unpkg.com/</a> npm へのファイルへの commonjs でビルドしたものを返してくれる CDN</li>
<li><a href="https://www.pika.dev/cdn">https://www.pika.dev/cdn</a> npm へのファイルのうち、 package.module で ESM でビルドしたものを返してくれる CDN</li>
</ul>
<p>内部パスやカスタムローダーで特殊なファイルを解決する際は jsdelivr, module が指定されていたら pika.dev, それ以外は unpkg などの使い分けすると効率よく引っ張ってこれそうです。 npm は unpublish が特別な場合を除いてできないので、一度引っ張ってきたらローカルキャッシュに入れてしまっても構わないはず。</p>
<h2>ネイティブプラグインの問題: WebAssembly は使えるか?</h2>
<p>フロントエンドでフロントエンドを開発しようとすると次に問題になるのはネイティブプラグインです。有名所で、 node-sass などが C で書かれた libsass でコンパイルされたプラグインですね。</p>
<p>現代のフロントエンドは、 その為の開発ツールは基本的に JS で書かれてはいるのですが、またそうではないものも wasm で提供されるようになりはじめています。例えば <a href="https://github.com/kkos/oniguruma">正規表現エンジンの oniguruma</a> は Atom などで使われ、Sublime や Atom や VSCode で連綿と引き継がれてきた使われる共通の TextMate 仕様のコードハイライト定義で使われていたのですが、これが <a href="https://github.com/NeekSandhu/onigasm">NeekSandhu/onigasm: Oniguruma regex library on the web using WebAssembly</a> という wasm 版 oniguruma が提供されるようになったことで、 VSCode Online のウェブ版のビルドが実現されています。</p>
<p>とはいえビルドサイズが膨らむことが多く、PWA のオフラインキャッシュと組み合わせてロード時間を短縮する必要があったりします。</p>
<p>wasm のパッケージを登録できる <a href="https://wapm.io/">https://wapm.io/</a> を眺めていると、想像していたより幅広いツールが日々ビルドされています。(使い物になるかはともかく…)</p>
<p>最近登録されたものを見てると、 wasi でファイルシステムが触れるようになったのが大きいですね。jq の wasm ビルドがあったり、極端なものだと、 wasm でビルドされた python があったりします。</p>
<ul>
<li><a href="https://wasi.dev/">WASI |</a></li>
<li><a href="https://wapm.io/package/jq">https://wapm.io/package/jq</a></li>
<li><a href="https://wapm.io/package/python">https://wapm.io/package/python</a></li>
</ul>
<p>とはいえ wasi も結局ブラウザで使うにはモックかインメモリキャッシュに差し替える必要があるので、これらはだいぶ辛そう…</p>
<h2>というわけで、作ってみた</h2>
<p>決めたこと</p>
<ul>
<li>超巨大ファイルストレージは扱わない(超巨大ファイルを扱うための git 組み込みもしない)</li>
<li>FS も複雑なものを扱わない想定でフラットに展開する</li>
<li>ブラウザ上で動く rollup コンパイラでインメモリに展開し、ライブラリは CDN から引く</li>
<li>エディタは vscode で実績がある monaco-editor で、 TypeScript を編集してフロントエンドのコードをプレビューする、という単目的なツール</li>
</ul>
<p>できたのがこれ</p>
<p>URL: <a href="https://relaxed-franklin-8384b4.netlify.com/">https://relaxed-franklin-8384b4.netlify.com/</a></p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/70c48f8c-2a80-4900-a271-91adcc5f78bf/b4d3778564f04badf9b6562a331b256a.png" alt=""></p>
<p>ソースコード <a href="https://github.com/mizchi/bundle-on-browser">https://github.com/mizchi/bundle-on-browser</a></p>
<p>注意: 読み込みが遅いしバギーです。リロードで動かなかったりしたら、 DevTool &gt; Application &gt; Clear Site Data でキャッシュを破棄してください。</p>
<p>ドラッグアンドドロップできる可変レイアウトは <a href="https://github.com/mizchi/react-unite">https://github.com/mizchi/react-unite</a> という昔作った Unity 風のレイアウトシステムを引っ張り出しました。タブが他のペーンに移動できたりして楽しいと思います。</p>
<p>lodash, preact, react, vue, svelte で動作確認をしています。(workspace タブの preset を見てみてください)</p>
<p>CDN の一回目の読み込みは遅いですが、二回目以降はキャッシュされて早いです。これによって、ブラウザ上でバンドルしてるにも関わらず、十分高速なプレビューが実現できています。</p>
<p>NativeFileSysetem が有効になっているならば、 Cmd+S で現在のファイルシステムのダンプを示す json を保存でき、Cmd+O でそれを読み込むことができます。</p>
<h2>ブラウザ上のコンパイラの実装について</h2>
<p><a href="https://github.com/mizchi/web-compiler">https://github.com/mizchi/web-compiler</a> では、 ブラウザ上で動く rollup に、以下の機能を組み込んで、それ自体がブラウザで動くようにバンドラをコンパイルしました（ややこしい）</p>
<ul>
<li>ESM のバンドル</li>
<li>typescript の読み込み(tsx の解決)</li>
<li>npm のバージョンの解決</li>
<li>CDN からのファイル実体の解決</li>
<li>svelte の読み込み(なんとなく)</li>
<li>terser による minify</li>
</ul>
<p>その結果、4MB あって読み込みが重くなってしまったのですが、ブラウザでもサーバーでも、<code>npm install @mizchi/web-compiler</code> で次のコードが動くようになりました。</p>
<pre><code class="language-js">import { compile } from &quot;@mizchi/web-compiler&quot;;
const pkg = {
  dependencies: {
    &quot;lodash.flatten&quot;: &quot;*&quot;
  }
};

const code = `export default 1`;
const out = await compile({
  entry: &quot;/index.js&quot;,
  files: {
    &quot;/index.js&quot;: code
  },
  pkg,
  tsConfig: `{
    compilerOptions: {
      target: &quot;es5&quot;
    }
  }`
});
console.log(out);
</code></pre>
<p>ファイルシステム上の絶対パスと、そのエントリーと、解決すべきパッケージの dependencies が書かれた package.json と、その tsconfig.json です。これらを仮想 FS として、足りないものは CDN から引いています。</p>
<p>rollup のプラグインの規約がとてもわかり易いので、ハックしやすかったです。 <code>rollup(...).generate()</code> はブラウザ環境で動くことを知っていれば、あとは何でもできると思います。</p>
<h2>エディタ</h2>
<p>VSCode で使われてる monaco-editor を使っています。</p>
<p><a href="https://github.com/microsoft/monaco-editor">https://github.com/microsoft/monaco-editor</a></p>
<p>VSCode は electron(node) への依存が極力切り離されているので、ブラウザで起動可能なビルドが作れます。(<a href="https://github.com/microsoft/vscode/blob/master/scripts/code-web.js">https://github.com/microsoft/vscode/blob/master/scripts/code-web.js</a> を参照)</p>
<p>試してみたところ、永続層が実装されていないのでインメモリで揮発してしまうのですが、ここを実装すると任意のバックエンドの VSCode が作れそうでした。</p>
<p>ここまでわかったので、さらに VSCode をハックして monaco 上で TypeScript の設定を読んだり、仮想 FS 上で TS の補完を扱ったりできたり、といったものを実装したのですが、それについては別途 12/9 の ginza.js で話す予定です。</p>
<p><a href="https://ginzajs.connpass.com/event/154596/">Ginza.js#7 - connpass</a></p>
<h2>未来</h2>
<p>現状、フロントエンド開発すべてを Web に移す、といったことはまだ無理ですが、用途を絞れば、たとえば用途特化のオーサリング環境や学習用の開発環境などとしては十分実用的なものが作れると思います。</p>
<p>PWA によってオフラインツールが作りやすくなった今、みなさんも思い思いのエディタを自作してみてはいかがでしょうか。以上、フロントエンドでフロントエンドをビルドする話でした。</p>


フロントエンドでフロントエンドをビルドする

Engineer Blog

Recent Article