<p>こんにちは。エンジニアの@ikemonnです。02019/11/13に<a href="https://www.wantedly.com/companies/datadog/post_articles/196576">Datadog Summit Tokyo</a>で「マルチクラウドな大規模サービスKARTEを支えるDatadog」というテーマで登壇してきました。</p>
<p>(イベント終了後にブログを書いた気でいましたが、書いていなかったのでその振り返りです。)</p>
<p>KARTEは下記のような特徴のサービスです。</p>
<ul>
<li>マルチテナント</li>
<li>低レイテンシ―/高負荷</li>
<li>大規模システム</li>
<li>マルチクラウド構成</li>
</ul>
<p>こういった特徴のKARTEをどのように運用コストを抑えて監視しているかについて話しました。1Datadogを例として話していますが、他の監視ツールを使っていても活かせる内容だと考えていますので、ぜひご覧ください！</p>
<script async class="speakerdeck-embed" data-id="47b0e8337a5b469ca6d08394d8c06bc1" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>
<h2>概要</h2>
<p>KARTEは下記の特性を持った低レイテンシ―/高負荷なサービスです。</p>
<ul>
<li>秒間トラッキングイベント数 105,000 event(2020年3月時点)</li>
<li>ユーザの解析から最適なアクションを返すまで0.x秒以内</li>
</ul>
<p>インフラはGCP/AWSで構成されており、SREチーム2-3名で運用しています。2(マルチクラウド化への変遷については<a href="/google-cloud-day-digital-2020/">こちら</a> )</p>
<p>上記のサービスの特徴とインフラの特徴を踏まえて、KARTEでは監視ツールとして<a href="https://www.datadoghq.com/ja/">Datadog</a>を愛用しています。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/fd5819b5-5273-4850-b9e0-1f8e33e9b1f1/-2020-07-28-12.34.02.png" alt=""></p>
<p>そして、下記のポイントを抑えて監視をすることで少人数での運用を実現しています。</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/8ab451db-f95a-484c-9d3a-7494ed750a50/-2020-07-28-12.34.20.png" alt=""></p>
<p>Datadogにすべて集約</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/ddf68fd8-672b-4f81-b320-1ecc3d67f766/-2020-07-28-12.58.07.png" alt=""></p>
<p>3Custom Metricsの積極活用</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/bb00499a-a8df-45e0-805e-70c246738ba6/-2020-07-28-12.58.18.png" alt=""></p>
<p>4Layerを分けたDashboard</p>
<p><img src="https://ik.imagekit.io/newt/61b151f921640c0018173598/c36eeb7b-2233-466c-807b-d0a2425348f3/-2020-07-28-12.58.30.png" alt=""></p>
<p>このようにKARTE、マルチクラウドインフラ、Datadogの相性を考えながら最適な運用方法を日々模索しています。</p>
<p>より具体的な内容について知りたい方はぜひスライドや動画をご覧ください！</p>
<script async class="speakerdeck-embed" data-id="47b0e8337a5b469ca6d08394d8c06bc1" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>
<iframe width="612" height="344" src="https://www.youtube.com/embed/_Z4HBiwODbc?feature=oembed" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
<h3></h3>
<h2>最後に</h2>
<p>マルチクラウド構成、高負荷低レイテンシーなKARTEのインフラを一緒に支えていく仲間は常に募集しています！興味のある方は<a href="https://meet.plaid.co.jp/">弊社採用ページ</a> または <a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a> からお気軽にご連絡ください！</p>


こんにちは。エンジニアの@ikemonnです。2019/11/13にDatadog Summit Tokyoで「マルチクラウドな大規模サービスKARTEを支えるDatadog」というテーマで登壇してきました。

Datadog Summit Tokyoに登壇しました！| PLAID engineer blog

Datadog Summit Tokyoに登壇しました！

継続的なセキュリティ対策をするために脅威分析をしました

<p>プレイドのエンジニア兼ハンター <a href="https://github.com/algas">@algas</a> です。<br>
この記事では Privacy Sandbox の中でも Web 広告に関連する Edge Computing の技術を紹介します。<br>
Ad Selection (広告の選択) の技術である <a href="https://github.com/michaelkleber/turtledove">TURTLEDOVE</a> と <a href="https://github.com/jkarlin/floc">FLoC</a> が <a href="https://www.chromium.org/Home/chromium-privacy/privacy-sandbox">Privacy Sandbox</a> で提案されています。<br>
この2つは個人を特定するデータをブラウザから送信せずに興味の似ているユーザの大規模なグループに広告を配信する技術です。<br>
TURTLEDOVE はブラウザで広告オークションを行う仕組みで、FLoC はブラウザで広告の興味モデルを学習させるグルーピングの仕組みです。<br>
どちらの技術もブラウザから個人を特定するデータを送らないという目的があります。</p>
<h2>ブラウザから個人を特定するデータを送信したくない3つの理由</h2>
<p>なぜブラウザから個人を特定するデータを送信しない仕組みが必要なのでしょうか？<br>
これには大きく3つの理由があります。</p>
<ol>
<li>
<p>プライバシーの保護<br>
ここ数年で GDPR のように企業が必要以上に個人を特定するデータを集めないようにする世界的な流れがより強まっています。データの取り扱いを正しく行えない企業には厳しい罰則や社会的な批判が強まることは避けれません。不要なデータを企業が持たなければ問題も起こりません。</p>
</li>
<li>
<p>ユーザが自分のデータ利用を制御できない<br>
これまではユーザを同定するためなどにブラウザの Cookie を使っていましたが、最近では情報漏えいを防ぐために Cookie を使わない方針になってきています。Cookie の代替として fingerprinting などの技術が一部の Web サイトで使われています。しかし、これらの技術にはユーザが制御できないという問題があります。個人を特定するデータがブラウザの外に出なければ制御できない対象もなくなります。</p>
</li>
<li>
<p>個人端末やブラウザの性能向上<br>
多くの Web ユーザはスマートフォンのブラウザからサイトにアクセスします。スマートフォンやブラウザの性能は日々向上しているのでサーバで処理しなくてもブラウザ側でできることが増えてきました。ブラウザでデータを処理することができればサーバやネットワークの負荷を減らすことができます。</p>
</li>
</ol>
<h2>技術要素</h2>
<h3>TURTLEDOVE</h3>
<p><a href="https://github.com/michaelkleber/turtledove">https://github.com/michaelkleber/turtledove</a><br>
TURTLEDOVE は Privacy Sandbox が提案するブラウザでの広告オークションの仕組みです。</p>
<p>Web広告の表示に重要な以下の2つのデータがあります。</p>
<ol>
<li>
<p>興味データ<br>
ウェブサイトの訪問者が何に興味を持っているかのデータです。<br>
このデータに基づいてどんな種類の広告を出すか決定されます。</p>
</li>
<li>
<p>アドオークションの勝者<br>
アドオークションというWeb広告のオークションでどの広告を表示するかが決められます。<br>
アドオークションの勝者が広告を出すことができます。<br>
アドオークションの詳細は <a href="https://support.google.com/adsense/answer/160525?hl=ja">広告オークションについて</a> を参照してください。</p>
</li>
</ol>
<p>これまではサイト運営や広告サーバがこの2つのデータを保持していました。</p>
<p>TURTLEDOVE の提案はこれらのデータをサーバではなくブラウザで処理してしまうように変更することです。<br>
ブラウザでデータを処理することによって訪問者のプライバシーを保護することにつながります。<br>
広告主は訪問者の興味に基づいて広告を出すが、他の情報との結びつけができなくなります。<br>
同様にウェブサイトや広告ネットワークは訪問者の興味について学習できません。</p>
<p>TURTLEDOVE は &quot;Two Uncorrelated Requests, Then Locally-Executed Decision On Victory&quot; の略語です。<br>
Two Uncorrelated Requests は「コンテンツ連動広告」と「広告主が特定した興味」の2つのデータを意味しています。<br>
前者は広告を表示するページのURLが含まれているデータ、後者は興味のデータのみで行動履歴と紐付けできないようになっています。<br>
Then Locally-Executed Decision On Victory は勝利した広告をアドネットワークがブラウザに表示することを意味しています。<br>
ただしこの判定はブラウザ内でローカルに実行されてブラウザの外に情報を送ることができません。</p>
<p>サーバからブラウザに広告データの扱いを移行することでプライバシーの保護以外にもメリットがあります。<br>
広告主が &quot;interest group&quot; をどう作って使っているかの透明性を確保できることやグループへの所属時間を制限できることです。<br>
ここで interest group は「広告主やアドネットワークがある種の広告に興味を持っていると信じている」人々の集合のことをいいます。</p>
<p>TURTLEDOVE の目的は主に以下の3つです。</p>
<ol>
<li>
<p>広告効果を改善したい<br>
サイト訪問者が興味を持つ広告を見続けられるようにします。<br>
嫌いな種類の広告を見なくていいようにします。</p>
</li>
<li>
<p>グルーピングの透明性を確保したい<br>
訪問者の興味を広告配信者がなぜ知っているのかに答えられるようにします。<br>
広告のターゲティングを止められるようにします。</p>
</li>
<li>
<p>プライバシーを保障したい<br>
広告主が訪問者の興味について学習できないようにします。<br>
ウェブサイトが interest group について学習できないようにします。</p>
</li>
</ol>
<p>広告が表示される流れは以下のとおりです。</p>
<ol>
<li>ブラウザが interest group に加入する<br>
ブラウザが特定の interest group に一定期間参加するAPIリクエストを広告主が実行します。オリジンはサイト所有者と同じウィンドウかiframeから呼び出されます。</li>
<li>2つの無相関リクエスト<br>
contextual リクエスト<br>
interest group リクエスト</li>
<li>オンデバイスオークション<br>
レスポンスには広告、メタデータ(広告の複数回利用の制限)、ローカル入札のためのオブジェクト、入札関数が含まれます。</li>
<li>オークションに勝った広告を表示する</li>
</ol>
<h3>FLoC</h3>
<p><a href="https://github.com/jkarlin/floc">https://github.com/jkarlin/floc</a><br>
Federated Learning of Cohorts (FLoC) は Privacy Sandbox が提案するブラウザによる興味ベース観測の仕組みです。<br>
企業が個人の閲覧履歴を観測するのに代わって、興味が似ている人々のグループ(cohort or flock)の動きを観測します。</p>
<p>典型的なWeb広告は3つのカテゴリを元に何を出すか決めています。</p>
<ol>
<li>
<p>ファーストパーティーとコンテンツ情報<br>
どのページに広告を出すか<br>
例：「バイクのWebページにこの広告を出そう」</p>
</li>
<li>
<p>広告を見ようとしている人の興味についての一般的な情報<br>
どういう人に広告を出すか<br>
例：「クラシック音楽好きのためのこの広告を見せよう」</p>
</li>
<li>
<p>閲覧者が取った直前の特定アクション<br>
何をした人に広告を出すか<br>
例：「カートに入れた靴のクーポンを出そう」</p>
</li>
</ol>
<p>人々の興味関心はWebの閲覧履歴を観測することで推測できます。もしサーバではなくブラウザで似たような興味関心を持つ人をグループ化できれば、特定の個人の閲覧履歴を集めることなく興味ベースの広告を出すことができるようになります。<br>
この仕組みを実現するのが FLoC です。<br>
FLoC は興味が似ている人々を集めて機械学習でラベルを生成します。このラベルを元にグループ化することで個人的すぎる情報を開示せずに大きなクラスタを形成することができます。<br>
広告配信側にはラベルしか伝わらないのでプライバシーを保護できます。</p>
<p>FLoC のキー(ラベル)をflockと呼びます。flock は短い文字列で表現され数千人で共有されます。個人の閲覧履歴はブラウザで切り離されます。ブラウザはユーザの行動によって flock を更新することがあります。</p>
<p>ブラウザはサイトの訪問履歴に基づくflockを開発するために機械学習アルゴリズムを使います。</p>
<ul>
<li>訪れたサイトのURL、ページのコンテンツなど</li>
<li>Web履歴を含む入力データがブラウザ内にだけ存在して外部にアップロードされないこと</li>
<li>ブラウザは差分プライバシーのような他の匿名化手法も利用することでさらにプライバシーを保護できます</li>
<li>flock の数が十分に小さいことで詳細な情報を運べなくします</li>
</ul>
<h2>関連技術</h2>
<p>TURTLEDOVE と FLoC 以外の技術を簡単に紹介します。</p>
<h3>Federated Learning</h3>
<p>Federated Learning とはエッジコンピューティングで機械学習を行う手法のことです。<br>
一般的な機械学習では大規模な中央サーバにデータを集約してモデルの学習をしますが、Federated Learning ではスマートフォンのような末端の端末でモデルの学習をします。</p>
<p>個人の行動履歴が直接クラウドに送信されず、各端末で学習されたモデルデータのみがクラウドに送信されて共有モデルの改善に使われます。<br>
たとえば Android 向けソフトウェアキーボード GBoard で Federated Learning が使われています。<br>
<a href="https://ai.googleblog.com/2017/04/federated-learning-collaborative.html">https://ai.googleblog.com/2017/04/federated-learning-collaborative.html</a></p>
<h3>差分プライバシー</h3>
<p>差分プライバシー (Differential Privacy) は公開された統計量に対してプライバシーの保護が十分であるかどうかを定義する指標のことです。<br>
差分プライバシーは利用者が持っている背景知識やアルゴリズムに関わらずに統計量のプライバシー安全性を保証します。</p>
<p>なぜ公開された統計量のプライバシー保護には差分プライバシーが必要なのでしょうか。<br>
公開された統計量の閲覧者においては攻撃者と一般データ利用者を区別できないので鍵の共有を使って完全秘匿性を実現することはできません。<br>
攻撃者にも見える形で完全秘匿性を達成すると公開した統計量が無意味(完全なランダムと同じ)になります。<br>
したがって弱い秘匿性の実現が必要となります。<br>
その弱い秘匿性の実現方法の1つが差分プライバシーです。</p>
<p>差分プライバシーには「ε-差分プライバシー」と「(ε, δ)-差分プライバシー」の2つの定義があります。<br>
詳しくは <a href="https://www.jstage.jst.go.jp/article/isciesci/63/2/63_58/_pdf/-char/ja">差分プライバシーとは何か</a> などを参照してください。</p>
<h2>参考文献</h2>
<ul>
<li><a href="https://www.chromium.org/Home/chromium-privacy/privacy-sandbox">https://www.chromium.org/Home/chromium-privacy/privacy-sandbox</a></li>
<li><a href="https://web.dev/digging-into-the-privacy-sandbox/">https://web.dev/digging-into-the-privacy-sandbox/</a></li>
<li><a href="https://github.com/michaelkleber/turtledove">https://github.com/michaelkleber/turtledove</a></li>
<li><a href="https://github.com/jkarlin/floc">https://github.com/jkarlin/floc</a></li>
<li><a href="https://security.googleblog.com/2019/06/helping-organizations-do-more-without-collecting-more-data.html">https://security.googleblog.com/2019/06/helping-organizations-do-more-without-collecting-more-data.html</a></li>
<li><a href="https://blog.chromium.org/2019/08/potential-uses-for-privacy-sandbox.html">https://blog.chromium.org/2019/08/potential-uses-for-privacy-sandbox.html</a></li>
<li><a href="https://blog.chromium.org/2020/01/building-more-private-web-path-towards.html">https://blog.chromium.org/2020/01/building-more-private-web-path-towards.html</a></li>
<li><a href="https://blog.chromium.org/2019/11/making-new-experiences-possible-on-web.html">https://blog.chromium.org/2019/11/making-new-experiences-possible-on-web.html</a></li>
<li><a href="https://blog.chromium.org/2019/05/improving-privacy-and-security-on-web.html">https://blog.chromium.org/2019/05/improving-privacy-and-security-on-web.html</a></li>
<li><a href="https://www.blog.google/products/chrome/building-a-more-private-web/">https://www.blog.google/products/chrome/building-a-more-private-web/</a></li>
<li><a href="https://ai.googleblog.com/2017/04/federated-learning-collaborative.html">https://ai.googleblog.com/2017/04/federated-learning-collaborative.html</a></li>
<li><a href="https://federated.withgoogle.com/">https://federated.withgoogle.com/</a></li>
<li><a href="https://www.jstage.jst.go.jp/article/isciesci/63/2/63_58/_pdf/-char/ja">https://www.jstage.jst.go.jp/article/isciesci/63/2/63_58/_pdf/-char/ja</a></li>
<li><a href="https://www.kspub.co.jp/book/detail/1529199.html">https://www.kspub.co.jp/book/detail/1529199.html</a></li>
</ul>
<h2>まとめ</h2>
<p>この記事では PrivacySandbox の中からWeb広告に関する Edge Computing の技術である TURTLEDOVE と FLoC について解説しました。54また関連技術として Federated Learning と差分プライバシーを簡単に紹介しました。</p>
<p>CX（顧客体験）プラットフォーム「<a href="https://karte.io/">KARTE</a>」を運営するプレイドでは、Webの未来を作りたいエンジニア（インターンも！）を募集しています。<br>
詳しくは<a href="https://meet.plaid.co.jp/">弊社採用ページ</a>または<a href="https://www.wantedly.com/companies/plaid/projects">Wantedly</a>をご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください！</p>
<div class="wantedly-visit-button" data-visit-button-id="lyE_IgY4VF5ukBo_EUKZLg" data-width="300" data-height="60"></div>
<script>
  (function(d, s, id) {
    var js, fjs = d.getElementsByTagName(s)[0];
    if (d.getElementById(id)) return;
      js = d.createElement(s); js.id = id;
      js.src = "https://platform.wantedly.com/visit_buttons/script.js";
      fjs.parentNode.insertBefore(js, fjs);
    }(document, "script", "wantedly-visit-buttons-wjs"));
</script>


Privacy Sandbox, Ad Selection, Web Browser, Edge Computing, FLoC, TURTLEDOVE,  Federated Learning, Differential Privacy