Microservicesは面白い。ほとんどすべて必要なことはそこに書かれているように思う（言い過ぎ）。https://martinfowler.com/articles/microservices.html 訳 http://kimitok.hateblo.jp/entry/2014/11/09/211820 "適切に" 分離し、"適切に" それらの間の依存さえ解決出来れば、コンポーネントを個別で管理し運用し、進化させ続けることが出来る。開発チームは自分達の関心範囲が明確になり、集中しビジネスレベルで責任を持つことさえできる。 ただし、多分 "適切な" 人が読んだら、に限る。これは半分言葉だけの問題で、&q…
Naoki Shibayama
こんにちは、プレイドの @nashibao です。今回は少し前に話題になった Metaparticle というプロジェクトについて紹介します。 Metaparticleは a standard library for cloud native applications on Kubernetes.と唄っていますが、要はjava/javascript/goなどのapplication code上にdocker/k8sのInfrastructure/Orchestrationのうち、Applicationとして関心がある部分は組み込んでしまおう、というプロジェクトです。 多機能のサービスを開発していると、様々なところで有限のベストプラクティス（ただし単一では無い）に沿った…
Naoki Shibayama
プレイドの @nashibao です。 弊社は大量のログデータを収集し、人軸で解析するサービスを展開しています。収集したデータの利用方法には様々な目的と様々な手法がありますが、そのうちの大きな一つに、中・大規模のデータに対して、アドホックなクエリをインタラクティブにかけアグリゲーション結果を得る というものがあります。 このようなアグリゲーションの問題において、クエリの自由度 x データ規模 x レイテンシーを共存するのはなかなか難しい問題になります。(1) 元ネタは結構有名かと思いますが、Square が開発している、CrossfilterGitHub - crossfilter/crossfilter: Fast n-dimensional filtering…
Naoki Shibayama
プレイドの @nashibao です。 弊社では結構BigQueryを使い倒させていただいていて、社内向けのバッチ解析やChartIO/ModeAnalytics等を介した社外向けのレポーティングとしての利用だけでなく、ABテストなどの集計系では（Query数のコントロールのためにキャッシュは介していますが）ほぼ直接アプリケーションのバックエンドとして利用しています。 またStreaming Insertが思ったより安定しているので、ニアリアルタイムにイベントを反映することができ、適当なQueryを投げ込んでPBの集計を気軽にやって、数百万使って唖然としてとりあえず寝て忘れる、みたいなことをしています。 先日も"GCP NEXT World Tour in…
Naoki Shibayama
こんにちは、プレイドの @nashibao です。 ちょっと前になりますが、PySparkの勉強会向けにPySparkの機械学習ライブラリであるmllibを弄ってみたりして面白かったので共有しようと思います。 コンテンツ 実験の動機 PySparkの紹介 MLLibのアルゴリズムの拡張 感想 この検証はPyData Tokyo #3の発表にかこつけて行われたので、その時の発表資料も貼っておきます。 PyData Tokyo Meetup #3での発表資料 実験の動機 分散環境での機械学習は実装が面倒なので、どこで実験するかは結構重要かな、と思います。その中でPythonが研究者周りでよく使われてる & ライブラリが豊富 & Spark扱いやすそう、…
Naoki Shibayama