PLAID Engineer Blog

PLAID Engineer Blog


PLAID Engineer Blog
Naoki Shibayama
Author

Naoki Shibayama

Bigqueryの内部処理について徹底解剖してみた

プレイドの @nashibao です。 弊社では結構BigQueryを使い倒させていただいていて、社内向けのバッチ解析やChartIO/ModeAnalytics等を介した社外向けのレポーティングとしての利用だけでなく、ABテストなどの集計系では(Query数のコントロールのためにキャッシュは介していますが)ほぼ直接アプリケーションのバックエンドとして利用しています。 またStreaming Insertが思ったより安定しているので、ニアリアルタイムにイベントを反映することができ、適当なQueryを投げ込んでPBの集計を気軽にやって、数百万使って唖然としてとりあえず寝て忘れる、みたいなことをしています。 先日も"GCP NEXT World Tour in Tokyo"に…

Naoki ShibayamaNaoki Shibayama

機械学習 x PySparkでアルゴリズム開発をサクサクやる検証

こんにちは、プレイドの @nashibao です。 ちょっと前になりますが、PySparkの勉強会向けにPySparkの機械学習ライブラリであるmllibを弄ってみたりして面白かったので共有しようと思います。 コンテンツ 実験の動機 PySparkの紹介 MLLibのアルゴリズムの拡張 感想 この検証はPyData Tokyo #3の発表にかこつけて行われたので、その時の発表資料も貼っておきます。 PyData Tokyo Meetup #3での発表資料 実験の動機 分散環境での機械学習は実装が面倒なので、どこで実験するかは結構重要かな、と思います。その中でPythonが研究者周りでよく使われてる & ライブラリが豊富 & Spar…

Naoki ShibayamaNaoki Shibayama

プレイドのエンジニアブログを始めました!

株式会社プレイドのCTOシバヤマです。 この度、エンジニアブログを開設することにしました。 背景には、社外の人にプレイドの中のエンジニアのユニークなパーソナリティを知ってもらいたい、というのがあります。 弊社のエンジニアには多様なメンバーがいて、言語解析や動画解析をやっていたメンバー、制御・ロボティクスをやっていたメンバー、並列言語コンパイラをやっていたメンバー、大手ゲーム会社出身、検索エンジンの会社出身、長くDSP畑のメンバーなどなど、ここでは書ききれないほど経験値が多種多様です。 年齢も23歳~38歳(平均31歳?)というレンジで、研究畑の人もいれば、文系の人もいるし、大手からベンチャーを渡ってきた人も、新卒もいます。 社内でミーティングをしていると、他のメンバ…

Naoki ShibayamaNaoki Shibayama