こんにちは。プレイドインターンの岡田です。
2月初めごろからエンジニアのインターンをさせていただいています。 
未経験で飛び込んだエンジニアでしたが、優しく面白い社員さん達に技術を教わりながらbugfixや機能追加などのお仕事をさせていただいてます。
さて、今回はプレイドの講演があったので、9月13日(火)に慶應義塾大学 日吉キャンパスで開幕した<a href="http://db-event.jpn.org/webdbf2016/index.html">WebDB Forum 2016</a>に参加してきました。その様子をご紹介します。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/ac15a42d-a576-45ce-a1ae-f45aeae42bc1/kanban-1.jpg" alt="">
<h2>WebDB Forumとは</h2>
WebDB Forumは情報処理学会データベースシステム研究会、日本データベース学会、電子情報通信学会データ工学研究専門委員会が主催で、WebとDB技術に興味のある研究者、大学院生、学部生、企業やオープンソースコミュニティの技術者が最新研究動向や成果について議論し、交流を行うイベントです。
参加者は例年300から400人で、半数以上はWebとDB技術において最先端の研究を行っている大学院生・学部生のようです。
プレイドはこのイベントのスポンサーをさせてもらっているので、受付後にもらえる紙袋やパンフレットの裏に社名が載っています！Googleや東芝と並んでいるのが嬉しいですね！
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/d862d412-986e-47a9-a635-aa28e0080d9e/IMG_8576.jpg" alt="">
<h2>WebDB Forumの様子</h2>
テーマはビッグデータ、IoT、機械学習、データ分析、データ構造など様々で、テーマごとにいくつかの会場に分かれて同時に複数のセッションが行われていました。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/9a152a6f-6d04-4002-9354-99b750da29eb/---2016-09-13-13-54-20.jpg" alt=""> 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/4899c171-7d8f-4c68-a894-113d7d18e1fc/---2016-09-13-12-35-04.jpg" alt="">
技術報告のほかに招待講演「ビッグデータと秘密計算」と「データ処理基盤」のセッションを聴講しましたが、どちらも質疑応答の時間にアツい議論が交わされていて圧倒されました。
休憩時間には大会議室前で飲み物と軽食が提供され、企業の方と学生が交流している様子や、聴講を終えた人たちがコーヒーを飲みながら意見を交わしている様子などが見受けられ、とてもいい雰囲気が漂っていました。
学生なら無料で参加できますし(学生証提示が必要です)、先生方の研究発表や企業の方の技術報告などが聞けて交流もできるなんて、とても素敵なイベントです。WebやDB技術に興味のある学生は次回、参加してみてはいかがでしょうか。
<h2>プレイドの技術報告紹介</h2>
<a href="http://blog-plaid.com/event/2642/?draftsforfriends=7UMtQCI4RFrXGZAcwN4sUDkz8aMNHORC">「GCP NEXT World Tour in Tokyo」でプレイドのGCP活用事例を紹介</a>した@makinoyが「ビッグデータの高速・分散処理」というテーマでKARTEの解析エンジンについて技術報告をしました。(当ブログでも<a href="/streaming-algorithm/">大規模データを解析するストリーミングアルゴリズムをサクッと見てみる</a>の記事を書いています)
タイトルは 「大規模分散リアルタイム解析エンジン Brook」
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/0dec0269-574a-40b1-a62f-91662015435a/P9130345.jpg" alt="">
私たちが提供している「KARTE」は、Webサイトへの訪問者をリアルタイムに可視化し、会員登録や購買に繋げるためのウェブ接客を可能にするサービスです。
KARTEはリリースから1年半で累計ユーザー数5億UUを解析してきました。
今回は、そのKARTEを支える独自解析エンジン「Brook (ブルック)」の紹介をします。
Webサイト上で現実のようなコミュニケーションをするためには、 「いま」の来訪者がどういう人で、どういう行動をしているのかを知る必要があります。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/2e5045c6-5827-4b31-ae18-25f1a1090447/---2016-09-13-14-54-11.jpg" alt=""> 
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/6f213078-db8c-483d-a6a5-89b43a3b4153/---2016-09-13-14-55-35.jpg" alt="">
それを実現するためには最新のユーザーの解析結果を計算し、結果に応じたアクションを決定するための時間を0.x秒にしなければなりません。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/afdc84b2-5736-429c-a143-47f0bcaa48e8/P9130347-2.jpg" alt="">
通常、データの解析には大きく2つの方法があります。
<ul>
<li>数時間〜数十秒で大量のデータをMapReduceするバッチ処理
<ul>
<li>BigQuery、 Prest、Spark、Hadoop</li>
</ul>
</li>
<li>1秒以内で直近の短期間少量のデータをMapReduceするストリーミング処理
<ul>
<li>Spark Streaming、Storm</li>
</ul>
</li>
</ul>
これらの技術では、Web上でリアルのようなおもてなしをするために1秒以内に大規模な蓄積データの解析結果を返すこと、またその結果を使ったアクションの実行を可能にしたいという想いを実現することができませんでした。
そこで、それを可能にするために開発したのが「Brook」です。
Brookではあらかじめ解析軸を一つだけ定義しておくことによって次のことを可能にしています。
<ul>
<li>実時間(秒以内)で、イベントログ送信と同期的に結果整合性のある解析結果に基づいたアクションができる</li>
<li>解析軸は固定だが、スキーマレスな解析、次元数が多い大きめのデータを扱える</li>
<li>全てが分散化されているので大規模のデータを扱えスケーラブルである</li>
</ul>
解析軸を複数設けずに1つに制限することで、0.x秒で全データの解析処理を行うことができ、KARTEでのリアルタイム接客が可能になっているのです。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/d08565a2-5d40-4c83-ad48-017346c27445/P9130346-1.jpg" alt="">
20分の発表でしたが、他にもデータフロー、Hadoopと比較したBrookの特徴、スキーマレス統計処理、解析に用いているアルゴリズムなど、盛りだくさんの内容でした。 
学生さんをはじめ、聴講に来ていただいた方々ありがとうございました！
以上、WebDB Forumとプレイドの技術報告の様子をご紹介させていただきました。
KARTEやBrookのことを少しは伝えられたでしょうか。 
今回はあまり紹介できませんでしたが、KARTEやBrookの技術をもっと知りたい方は、ぜひプレイドのオフィスに遊びに来てください！
<h2>最後に</h2>
ウェブ接客プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、 KARTEを支える技術に興味を持つエンジニア（インターンも！）を募集しています。
詳しくは<a href="https://www.wantedly.com/companies/plaid/projects">こちら</a>（Wantedly）をご覧ください。 もしくはお気軽に、こちらの「話を聞きに行きたい」ボタンを押してください！

WebDB Forum 2016でKARTEを支えるリアルタイム解析エンジン「Brook」の発表をしてきました。

WebDB Forum 2016 で独自解析エンジン「Brook」の技術報告をしてきました | PLAID engineer blog

WebDB Forum 2016 で独自解析エンジン「Brook」の技術報告をしてきました

CircleCI上で、BrowserStackを利用したマルチブラウザJavascript Test,Selenium Test を実現している方法についてご紹介します。Selenium webdriver, CircleCI, BrowserStack

40通り以上の自動マルチブラウザテストをSelenium x CircleCI x BrowserStackで実現する| PLAID engineer blog

40通り以上の自動マルチブラウザテストをSelenium x CircleCI x BrowserStackで実現する

こんにちは。プレイドの野田(<a href="https://twitter.com/positiveflat">@positiveflat</a>)です。 
弊社株式会社プレイドでは、ウェブ接客プラットフォームの<a href="https://karte.io/">KARTE</a>というサービスを開発・提供しています。今回は、私たちのチームの開発方針に触れ、その方針を実現するための取り組みの一部として行っている、我々の製品の品質を維持するGUIテストの仕組みについてご紹介いたします。
<h2>目次</h2>
<ul>
<li>プレイドの開発方針とGUIテストの位置付け</li>
<li>GUIテストの自動化が進むにつれて起こる問題</li>
<li>CircleCI上でのテストの並列実行による総実行時間の短縮</li>
<li>CircleCI Enterpriseの導入によるテストの高速化</li>
<li>Ghost Inspectorを使ったGUIテストスクリプト開発の高速化</li>
<li>課題</li>
<li>最後に</li>
</ul>
<h2>プレイドの開発方針とGUIテストの位置付け</h2>
弊社の開発チームでは、以下の方針のもと、フラットな組織でスピード感のある開発を目指しています。
<ul>
<li>全員が自分で判断する</li>
<li>全員がゼロベースで考える</li>
<li>全員が成長する</li>
</ul>
これらの実現のために、あえてマネジメントを置かずに自由でフラットなチーム体制で開発を行っています。
スピードを重視したまま各メンバーが自走するには、失敗を許容し、トライアンドエラーを許容する文化が必要であると考えています。とにかく試してみて、失敗したら考え直します。
一方で、お客様に安心して使っていただくために、当然品質は担保しなければなりません。KARTEは現在、大企業から中小企業、地方の商店まで、多数のお客様に導入いただいております。
私たちは日々KARTEの新機能の追加や既存機能の改善を行っており、ほぼ毎日本番環境に変更を反映させています。
本番環境に反映させた変更に問題があると、直接お客様の業務に影響を与える可能性があります。また、接客サービスの配信に関わる箇所に関しては、お客様のサイトを閲覧している来訪者にも正しく接客ができなくなる可能性があります。
ユーザーに安定的にサービスを提供し、一方で開発のスピードを高速化するためには、トライアンドエラーのサイクルの中に品質を保証する仕組みを導入していく必要があります。
そこで、我々は重要なシナリオに関してはGUIテストの自動化を行い、正しくアプリケーションの操作が行えることを自動でテストできるような仕組みを作っています。
<h2>GUIテストの自動化が進むにつれて起こる問題</h2>
日々の開発の中で、追加した変更が生む欠陥をできるだけ早期に発見できるようにするために、リモートブランチに変更がpushされる度にCIツールのプロセスが回り、ユニットテスト（UT）や自動化されたGUIテストが流れるようにしています。
ちなみに、GUIテストはSelenium webdriverを使用してテストスクリプトを書いています。リリース時にはCircleCI上でproduction buildを作成したりもしていますが、これについての説明は本記事の主題と外れるので割愛します。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/eba4a7e4-148a-4033-8ab6-6e3a02ecfff2/flow-1.png" alt="">
自動化されたGUIテストを流すことには、以下のようなメリットがあります。
<ul>
<li>人手よりも短時間でテストを実行することができる</li>
<li>人手では気が付きにくいバグも発見することができる</li>
<li>regressionの早期発見ができる</li>
</ul>
一方で、GUIテストの自動化が進むにつれて、以下のような問題も起きます。
<ul>
<li>テストコードが長くなると、テストを流すのに時間がかかり、テスト待ちが起きる</li>
<li>UIを変更した際に、テストコードのメンテナンスに時間がかかる</li>
</ul>
弊社では、上記の課題を解決するために、様々な取り組みをしてきましたので、ここからはその取り組みを紹介します。
<h2>CircleCI上でのテストの並列実行による総実行時間の短縮</h2>
弊社では、上でも触れたように、githubのブランチへのpushごとにCircleCIのプロセスが走るようにしています。その中でGUIテストとUTが流れ、そのブランチを紐付けたPull Request上にテストの結果を表示して、レビュー前に確認できるようにしています。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/045c0a75-c978-42fa-974a-191da5603361/CIProcess-1.png" alt="">
CircleCIの並列化は、CircleCIの管理画面でコンテナ数を増やした後に、circle.ymlで並列実行したいコマンドに以下のようにオプションを渡すだけで簡単にできます。
<pre><code class="language-yml">test:
 override:
 [並列実行したいコマンド]:
 parallel: true
</code></pre>
(参考: https://circleci.com/docs/parallel-manual-setup/ )
<h2>CircleCI Enterpriseの導入によるテストの高速化</h2>
テストやビルド、デプロイのためのCIツールとして、<a href="https://circleci.com/enterprise/">CircleCI Enterprise</a>を使用しています。当初はCircleCIのコンテナ数ごとの課金の通常プランを使用していましたが、テストの実行時間に課題がありました。
<a href="https://codeship.com/">codeship</a>や<a href="https://travis-ci.org/">Travis CI</a>などの他のCIツールも試してみましたが、現在はマシンスペックをコントロールすることができるCircleCI Enterpriseを導入しています。
CircleCI Enterpriseですと、コンテナは独自にインスタンスを立てて管理する必要がありますが、pushが少ない深夜はインスタンス数を減らすなど、独自に工夫して管理しています。
<h2>Ghost Inspectorを使ったGUIテストスクリプト開発の高速化</h2>
新しい機能が頻繁に追加されたり、既存の機能が頻繁にアップデートされたりすると、更新すべきGUIテストのスクリプトが多くなり、更新が追いつかなくなります。
そこで、Ghost Inspectorというサービスを使い、テストスクリプト作成を簡易化する取り組みにもチャレンジしています。Ghost InspectorはSelenium IDEベースのウェブサービスで、実際の画面操作をレコーディングして、テストケースに落とし込むことができます。
Ghost Inspectorでは、下図のようにChromeの拡張機能を使ってレコーディングをスタートすることができます。
<img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/da4a6914-c5dc-4801-8574-5d4a589bf0f7/GI1-2.png" alt="">
レコーディングしたテストはAPI経由で実行可能なので、CircleCIなどのCIツールからも呼び出すことが可能です。 また、テスト結果はビデオで録画されているため、テストが失敗した場合はどこでテストが失敗したかを確認することができます。
ただし、CircleCIで使用しているインスタンスはプライベートネットワーク上にあるため、Ghost Inspectorからそのままアクセスすることはできません。
通常プランのCircleCIのインスタンスを使用する場合は、<a href="https://ngrok.com/">ngrok</a>などを利用してトンネルを掘り、外からアクセスを可能にする方法が便利です。CircleCIから実行する場合のcircle.ymlは、大まかに以下のようになります。
<pre><code class="language-yml">test:
 override:
 - [環境変数の設定やビルドの設定コマンド];
 - [KARTE(テスト対象サービス)の起動コマンド];
 background: true
 - npm install ngrok -g #ngrokのインストール
 - ngrok authtoken &lt;auth_token&gt; #authtokenの設定
 - ngrok http -subdomain=&lt;testhostname&gt; 8020;
 background: true
 - sleep 120
 - curl &quot;https://api.ghostinspector.com/v1/suites/&lt;suite name&gt;/execute/?apiKey=&lt;api_key&gt;&amp;startUrl=https://&lt;testhostname&gt;.ngrok.io/&quot; &gt; ghostinspector.json
 - if [ $(grep -c '&quot;passing&quot;:false' ghostinspector.json) -ne 0 ]; then exit 1; fi
 fi
</code></pre>
このサービスの便利なところは、レコーディングを使ってテストを追加するGUI操作ができれば誰でもテストを作ることができるようになるところです（ただし、実際はUIの更新の待ち時間の調整など、微調整が必要でした。）。
最終的にはテストコードを書いた方が良い場合でも、新しい機能や変更があった機能に対してGUIのテストをまず早い段階で用意しておくことは、回帰テストとしては有効だと考えられます。
<h2>課題</h2>
以上のように、プレイドでは攻めの開発方針を実現するために、CIによるテストの自動化など様々なことに取り組んでおります。
しかし、テストカバレッジは今後も上げていかなければならないですし、それと共にテストの実行時間は長くなるので、依然として課題は残ります。レコーディングによるテスト自動化も、レコーディング後に継続的に実行できるように微調整が必要なため、なかなかうまくフローに組み込めないなどの課題もあります。
今後もこれらの課題の解決の解決に取り組みつつ、開発方針を維持できるような仕組みづくりをしていきたいと考えています。
<h2>最後に</h2>
テスト自動化に関しては、この他にもPCやスマートフォンなどの複数端末上でのテストを自動化し、並列実行する取り組みなども行っていますが、それについても後日このブログで紹介させていただきます。
ウェブ接客プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、 KARTEを支える技術に興味を持つエンジニア（インターンも！）を募集しています。
詳しくは<a href="https://www.wantedly.com/companies/plaid/projects">こちら</a>（Wantedly）をご覧ください。 もしくはお気軽に、こちらの「話を聞きに行きたい」ボタンを押してください！
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
 (function(d, s, id) {
 var js, fjs = d.getElementsByTagName(s)[0];
 if (d.getElementById(id)) return;
 js = d.createElement(s); js.id = id;
 js.src = "https://platform.wantedly.com/visit_buttons/script.js";
 fjs.parentNode.insertBefore(js, fjs);
 }(document, "script", "wantedly-visit-buttons-wjs"));
</script>

スピード重視の開発体制を実現するために、KARTEの開発で取り組んでいるテスト自動化について紹介します。Selenium webdriver, CircleCI, Ghost Inspector