PLAID Engineer Blog

PLAID Engineer Blog


PLAID Engineer Blog

cedar_format_image

大規模データを解析するストリーミングアルゴリズムをサクッと見てみる

こんにちは、プレイドの @makinoy といいます。 私たちはKARTEというサービスを提供していますが、解析色が非常に強いサービスなので社内では解析周りのアルゴリズムの利用検討をよく行っています。 その流れで、最近ストリーミングアルゴリズムについて検討したので、代表的なものをちょっとここで書いてみることにします。 この紹介では、”大規模データ解析のためのストリーミングアルゴリズムをサクっと見てみる”をテーマにしようと思います。 ストリーミングアルゴリズムとは、一連のデータの流れであるストリームを処理するアルゴリズムです。 データは次々にやってくるので、基本的にひとつのデータ単位(イベント)に対して1回だけ処理をするのが特徴です。大量なデータを処理するために、ひとつ…

Yuki MakinoYuki Makino

機械学習 x PySparkでアルゴリズム開発をサクサクやる検証

こんにちは、プレイドの @nashibao です。 ちょっと前になりますが、PySparkの勉強会向けにPySparkの機械学習ライブラリであるmllibを弄ってみたりして面白かったので共有しようと思います。 コンテンツ 実験の動機 PySparkの紹介 MLLibのアルゴリズムの拡張 感想 この検証はPyData Tokyo #3の発表にかこつけて行われたので、その時の発表資料も貼っておきます。 PyData Tokyo Meetup #3での発表資料 実験の動機 分散環境での機械学習は実装が面倒なので、どこで実験するかは結構重要かな、と思います。その中でPythonが研究者周りでよく使われてる & ライブラリが豊富 & Spar…

Naoki ShibayamaNaoki Shibayama

ArduinoとDatadogでオフィスの温度と湿度を可視化する

こんにちは、プレイドの @ikemonn です。 プレイドではKARTEというサービスを提供しており、私は主にインフラ側を担当しております。 今回は私の自宅で眠っていたArduinoとインフラの監視で利用しているDatadogを使用してオフィスの温度・湿度を可視化しようと思います。 概要 Datadogとは、システムモニタリングツールで、Karteではサーバの監視やAPIのレスポンタイムの可視化、AWSの利用金額のモニタリング等に利用しています。 AWSやSlack、PagerDutyなど様々なサービスとの連携もしやすく重宝しています。 今回は下記のような手順で温度・湿度をArduinoで計測しDatadogにデータを投げてグラフとして表示させます。 Arduino Un…

Daiki MatsuiDaiki Matsui