日本語を理解するチャットボットに挑戦した話

<html><head></head><body>プレイド エンジニア / Hunter 
山内 雅浩 @algas
<a href="http://2017.dockercon.com/" target="_blank" rel="noreferrer">DockerCon 2017</a> で発表された <a href="http://mobyproject.org/" target="_blank" rel="noreferrer">Moby Project</a> の一部である "LinuxKit" を使ってみました。実際に触ってみることで理解できたことやハマったこと、プロジェクトの思想を少しでも多くの人に共有したいと思って今回の記事を書きました。
<h2 id="対象読者">対象読者</h2>
本記事は主に以下のような方々をターゲットとしています。
<ul>
<li>Docker 環境の構築に不安や不満がある人</li>
<li>クラウド環境の設計・構築に携わっている人</li>
<li>Moby Project という名前は聞いたことがあるけど中身を理解していない人</li>
</ul>
<h2 id="LinuxKit とは？">LinuxKit とは？</h2>
https://github.com/linuxkit/linuxkit
<h3 id="概要">概要</h3>
LinuxKit は複数の Docker コンテナを含む軽量の Linux VM を作るためのツールです。 
誤解を恐れずに言うと "Docker VM" です。 
Docker コンテナやコンテナの作成手段を置き換えるものではありません。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/daf5cb72-5255-45ee-b670-b650bd919e5b/----------2017-07-14-11.19.33.png" alt="moby os architecture">
(https://www.slideshare.net/Docker/dockercon-2017-general-session-day-1-solomon-hykes-75362520 からの引用)
<h3 id="特徴">特徴</h3>
<blockquote>
"LinuxKit, a toolkit for building custom minimal, immutable Linux distributions."
</blockquote>
<ul>
<li>Custom 
Dockerコンテナイメージを組み合わせて構成します。自作のコンテナも当然使えます。</li>
<li>Minimal 
アプリケーションを実行するための最低限のコンポーネントだけを動かすようにします。不要な機能を入れないことで、容量を小さく実行速度を上げセキュリティレベルを高めます。</li>
<li>Immutable 
LinuxKit の構成を変える場合には新しくビルドして差し替えるので全く別のものになります。</li>
</ul>
以下のプラットフォームに対応しています。
<ul>
<li>ローカル
<ul>
<li>HyperKit (macOS)</li>
<li>Hyper-V (Windows)</li>
<li>qemu (macOS, Linux, Windows)</li>
<li>VMware (macOS, Windows)</li>
</ul>
</li>
<li>クラウド
<ul>
<li>Amazon Web Services</li>
<li>Google Cloud</li>
<li>Microsoft Azure</li>
<li>packet.net</li>
</ul>
</li>
</ul>
<h2 id="LinuxKit は何に使うの？">LinuxKit は何に使うの？</h2>
<h3 id="複数のコンテナを1つのVMとして定義できる">複数のコンテナを1つのVMとして定義できる</h3>
例えば、メインのアプリケーションとロガーやWebサーバ、画像変換アプリケーションを同じホスト上に同居させたくなったとしましょう。 
これを Docker コンテナを使って実現するには以下のような方法がありました。
<ol>
<li>同じコンテナにまとめてしまう 
コンテナシステムにおける「1プロセス1コンテナの原則」に反する悪手。コンテナ内でプロセスを管理する必要があります。</li>
<li>ホストの機能で実現する 
アプリ以外を Docker コンテナの外側、つまり Docker Engine が動いているホスト上で動作させてしまう方法です。できれば Docker で解決したいですよね？</li>
<li>コンテナ間通信を使う 
標準では <code>docker-compose</code> を使えば実現できます。同じホスト上で複数のコンテナを動作させてコンテナ間を link でつなぐ必要があるのと、複数のコンテナを制御・管理する必要があるのがデメリットです。</li>
</ol>
例えば "Amazon EC2 Container Service" や "Azure Container Service" のようなホスト型のオーケストレーション機能では実現が困難だったりします。 
LinuxKit を使うと設定ファイル1つで簡単に設定できますし、機能が VM 単位でまとめられているので管理するのも楽です。
<h2 id="LinuxKit の設定ファイル yaml を読む">LinuxKit の設定ファイル yaml を読む</h2>
LinuxKit をビルドするための yaml ファイルの例として公式の <code>sshd</code> の yaml を読んでみましょう。 
https://github.com/linuxkit/linuxkit/blob/master/examples/sshd.yml
<pre><code class="language-yaml hljs"># VM を起動する時にだけ使う
kernel:
 image: "linuxkit/kernel:4.9.35"
 cmdline: "console=ttyS0 page_poison=1"
# init システム用のイメージで root のファイルシステムに直接展開する
init:
 - linuxkit/init:14a38303ee9dcb4541c00e2b87404befc1ba2083
 - linuxkit/runc:2310ad9d266cf5d9c4d07613bd2135ed7eb8a21f
 - linuxkit/containerd:c977f27c234d55b85172813b8451f67ea86be4a3
 - linuxkit/ca-certificates:67acf038c44bb191ebb704ec7bb39a1524052cdf
# 次の services の前に短時間だけ実行する
onboot:
 - name: sysctl
 image: "linuxkit/sysctl:d1a43c7c91e92374766f962dc8534cf9508756b0"
# containerd で長時間実行する
services:
 - name: getty
 image: "linuxkit/getty:5ab31289889d61a5d2ecbeea8e36ce74ac54737c"
 env:
 - INSECURE=true
 - name: rngd
 image: "linuxkit/rngd:1516d5d70683a5d925fe475eb1b6164a2f67ac3b"
 - name: dhcpcd
 image: "linuxkit/dhcpcd:4b7b8bb024cebb1bbb9c8026d44d7cbc8e202c41"
 - name: sshd
 image: "linuxkit/sshd:89b2e91d7d1bf2f40220be0e3ed586e74746cceb"
# 外部からファイルを読む込む
files:
 - path: root/.ssh/authorized_keys
 source: ~/.ssh/id_rsa.pub
 mode: "0600"
 optional: true
# 信頼する Docker コンテナ
trust:
 org:
 - linuxkit
</code></pre>
上記は単純な例なので項目数が少なく、把握するのは難しくないと思います。 
特徴的な設定は以下の3つです。
<ol>
<li>getty: コンソールでログインする</li>
<li>sshd: ssh daemon を動かす</li>
<li>files: ssh 公開鍵をローカルからコピーする</li>
</ol>
詳細は <a href="https://github.com/moby/tool/blob/master/docs/yaml.md" target="_blank" rel="noreferrer">Reference</a> で確認してください。
<h2 id="LinuxKit で sshd を動かしてみる (macOS)">LinuxKit で sshd を動かしてみる (macOS)</h2>
LinuxKit で sshd を動かし、ssh クライアントで接続します。
<h3 id="設定手順">設定手順</h3>
<code>$HOME/.ssh/id_rsa.pub</code> が存在していることを前提としています。 
もし上記のファイルがない場合には、<code>ssh-keygen</code> コマンドで公開鍵のペアを作成してください。
<ol>
<li>moby と linuxkit をインストール 
<code>brew tap linuxkit/linuxkit</code> 
<code>brew install --HEAD moby</code> 
<code>brew install --HEAD linuxkit</code></li>
<li>sshd をビルドする 
<code>git clone https://github.com/linuxkit/linuxkit.git</code> 
<code>cd linuxkit/example</code> 
<code>moby build sshd.yml</code></li>
<li>sshd を起動する 
<code>linuxkit run sshd</code></li>
<li>ip address を確認する 
<code>ifconfig</code> コマンドで eth0 の ipv4 アドレスを記録しておきます。</li>
<li>docker network を作成する 
<code>docker network create --driver bridge --subnet=192.168.65.100/24 --gateway=192.168.65.101 linuxkit</code></li>
<li>socat コンテナを用意する 
sshd linuxkit に接続するための proxy を用意します。 
https://github.com/linuxkit/linuxkit/issues/1674 
<code>docker run -p 127.0.0.1:8080:8080 --name linuxkit-proxy -it --rm alpine sh</code> 
<code>/ # apk -U add socat</code> 
<code>/ # socat TCP-LISTEN:8080,fork TCP:[linuxkit_vm_ip]:22</code> 
事前に確認した ipv4 アドレスを <code>[linuxkit_vm_ip]</code> のところに入れてください。</li>
<li>socat コンテナに network を追加する 
<code>docker network connect linuxkit linuxkit-proxy</code></li>
<li>sshd コンテナに接続する 
<code>ssh -o StrictHostKeyChecking=no localhost -p 8080 -l root</code></li>
</ol>
以上です。 
linuxkit を終了するには、コンソールで <code>halt</code> コマンドを入力します。
<h3 id="設定でハマったところ">設定でハマったところ</h3>
<ul>
<li>コンソールから脱出できない 
<code>halt</code> コマンドで LinuxKit を終了させる方法に気づくまでは、何度も <code>exit</code> しては auto login されるのを繰り返していた。</li>
<li>ssh クライアントから sshd に接続できない 
sshd を動かすのは難しくないけど ssh クライアントで接続するのが簡単ではなかった。</li>
<li>Docker のネットワーク設定方法がわからない 
普段はほとんどデフォルトのままで使っているので Docker のネットワークをカスタマイズしたことがなかった。linuxkit のデフォルトの ip address レンジと docker のそれを合わせるのがポイントです。</li>
</ul>
<h2 id="Moby Project という思想">Moby Project という思想</h2>
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/4cfccbff-5196-4c57-a8b5-1a25e45c5c63/moby-project-logo-1.png" alt="moby project">
Docker が Moby Project を作った理由は一体何でしょうか。 
Moby Project 以前の Docker に足りなかったもの、それは Docker コンテナを「現実の環境で動作させる仕組み」です。 
Docker コンテナを動作させるためには以下のものが必要です。
<ol>
<li>Docker コンテナを動かす仕組み = Docker Engine</li>
<li>Docker Engine を動かす仕組み = OS</li>
<li>OS または OS が動作するインスタンスを管理する仕組み</li>
</ol>
しかし、これらを管理・制御するための仕組みとして Docker Engine 以外は Docker の外側の世界のものでした。 
Moby Project では上記にそれぞれ対応するシステムがあります。
<ol>
<li>Docker コンテナを動かす仕組み = Containerd</li>
<li>Containerd を動かす仕組み = LinuxKit</li>
<li>LinuxKit を管理する仕組み = InfraKit</li>
</ol>
しかも、Moby Project で用意された上の3つは、それぞれ別のソフトウェアに置き換えることが可能です。その Pluggable である性質が、Moby Project の大きな特徴の1つです。 
Docker やそれ以外のチームが作った Docker を動かす仕組みはこれまでにもありましたが、Moby Project はコンテナ運用の新しい仕組みによって Docker を再定義するものと言えます。
<h2 id="まとめ">まとめ</h2>
LinuxKit は Docker コンテナを活かしつつ新しいコンテナ実行環境を提供する仕組みです。 
新しく Docker を使ったシステム構築する際には LinuxKit を使うのが選択肢の1つになると思います。 
出てきたばかりで情報が少ないのが LinuxKit を使う上での一番の障壁ですが、今後普及してくるに連れて改善していくことでしょう。
InfraKit についての記事も書こうと考えているのですが、今回は長くなってしまったので次の機会に書くことにします。
<h2 id="エンジニア募集中">エンジニア募集中</h2>
ウェブ接客プラットフォーム「<a href="https://karte.io/" target="_blank" rel="noreferrer">KARTE</a>」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい！ KARTE自体の開発に興味がある！というエンジニア（インターンも！）を募集しています。 
詳しくは<a href="https://plaid.co.jp/recruit/engineer.html" target="_blank" rel="noreferrer">弊社採用ページ</a> 
または<a href="https://www.wantedly.com/companies/plaid/projects" target="_blank" rel="noreferrer">Wantedly</a> 
をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>
</body></html>

LinuxKit の Tutorial です。LinuxKit を実際に動かしてみる方法と Moby Project による
 Docker の未来について書いています。

LinuxKit で実現する新しい Docker 実行環境