PLAID Engineer Blog

PLAID Engineer Blog


KARTEを提供する株式会社プレイドのエンジニアブログです。プレイドのエンジニアのユニークなパーソナリティを知ってもらうため、エンジニアメンバーたちが各々執筆しています。

PLAID Engineer Blog

深層強化学習は量子猫の夢を見るか?

Masahiro YamauchiMasahiro Yamauchi

PLAID Advent Calendar 2019 3日目担当の @algas です。今年は量子コンピュータを個人的に勉強しています。最近では量子スプレマシーが話題になりましたね。会社の業務では量子コンピュータを直接使っているわけではないので今のところは完全に個人の趣味です。ソフトエンジニアとして生きていれば遠くない将来に業務で量子コンピュータを使うこともあると思っています。

概要

本記事では Google の論文 “Universal Quantum Control through Deep Reinforcement Learning” の中で使われている技術とそれが必要な背景を解説したいと思います。論文自体の内容に関する考察までは本記事では扱いません。論文の概要は Google AI Blog "Improving Quantum Computation with Classical Machine Learning" でも紹介されています。

対象読者

量子コンピュータや機械学習に多少の知見がある読者を対象とします。アドベントカレンダーのネタなのにそんなに軽くないです。それぞれの技術の専門家の方はぜひ元論文を読んでみてください。

背景

現状の量子コンピュータを使って実用的な問題を解くための主な課題として以下の3つがあります。

  1. 量子ビット数が少ない
    量子ビットの数が多いほど高い精度の計算や多くのパターンの組み合わせの計算ができるようになります。
  2. 量子状態を維持できる時間が短い
    量子コンピュータで問題を解いている間は量子状態を維持する必要があります。
    量子状態を長い間維持できる方がより複雑な問題を解くことができます。
  3. ノイズやエラーのために信頼性が高くない
    古典コンピュータではノイズの除去やエラー訂正が実用上で十分なレベルに達しています。
    それに比べて量子計算でのエラー訂正は簡単ではありません。量子状態を維持する時間が短いので大規模計算で訂正処理をするのが困難です。量子ビットを測定すると量子状態が壊れるので測定せずに訂正する方法が必要です。

この3つ目の課題を解くのが紹介する論文の手法です。

論文の解説

量子コンピュータのノイズ

量子コンピュータのノイズには主に以下の2つがあります。

  1. 量子ビット自体への干渉
    • 量子コンピュータでは量子ビットに情報が保持されます。光子や音量子が量子ビットの近くを通ることによって量子力学的に干渉することがあります。
    • 量子ビットの値を確定するためには「測定」する必要があります。測定の精度によって量子ビットの値が間違っていることがあります。
  2. 量子ビットを制御する道具によるノイズ
    • 量子ビットが載ってる物理基板の電気信号や電磁場によってアナログのノイズが混じってしまうことがあります。
    • 熱によるホワイトノイズ以外にも、外部の電波源、DAコンバータなどもノイズの発生源になります。

ノイズの図

論文の概要

量子コンピュータのノイズ問題を解決するために「深層強化学習を使った新しい量子制御フレームワーク」を作りました、という内容の論文です。
フレームワークの応用用途には以下があります。

量子計算中の情報の漏れがノイズの主な原因の1つです。理論的には情報の漏れを完全に予測できればノイズを改善できます。量子コンピュータ全部をシミュレーションできればこれが実現できます。しかし現実的には量子コンピュータ全部をシミュレーションするのは計算効率の問題や大規模な計算においては難しいので完全には予測できません。その代わりに物理モデルを改良することで量子計算のいくつかのパラメータを最適化してノイズを減らすことができます。

論文の結論

既存の手法の確率勾配降下法(SGD)よりも桁違いで良い結果が得られたそうです。
“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 4)

“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 4)

On-Policy Trusted-region Deep Reinforcement Learning

深層強化学習の図です。
“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 1)

“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 1)

深層強化学習の技術については以下によくまとめられています。本記事と合わせてお読みください。
深層強化学習アルゴリズムまとめ

http://people.csail.mit.edu/hongzi/content/publications/DeepRM-HotNets16.pdf

https://medium.com/@jonathan_hui/rl-trust-region-policy-optimization-trpo-explained-a6ee04eeeee9

Quantum Unitary Gate

量子回路図です。
“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 2)

“Universal Quantum Control through Deep Reinforcement Learning” (Fig. 2)

量子コンピュータに知見がない方は以下も合わせてお読みください。
ゲート方式量子コンピュータの概要
Quantum logic gate

本記事のまとめ

量子コンピュータの直近の主な課題の1つであるノイズ問題を改善する手法を提案する論文の背景と論文内に登場する技術を紹介しました。背景の状況や要素技術が理解できると論文の内容にも興味を持てるのではないでしょうか。

参考文献

CX(顧客体験)プラットフォーム「KARTE」を運営するプレイドでは、KARTEを使ってこんなアプリケーションが作りたい! KARTE自体の開発に興味がある!というエンジニア(インターンも!)を募集しています。
詳しくは弊社採用ページまたはWantedlyをご覧ください。 もしくはお気軽に、下記の「話を聞きに行きたい」ボタンを押してください!

Comments