2011年10月08日のツイート
@muraken720: まとめBig Dataのバッチ処理, Hadoopリアルタイム処理,CEP. Fast Data.Complex Event Processing .おまけTwitter の Storm もあるよ!
@muraken720: 仕組み的には昔からお馴染みの話しではあるのだが、データの大量さが違うということか。
@muraken720: 驚きの山火事監視!
@muraken720: ストリームコンピューティングでのウィンドウという概念が重要。スライディングウィンドウ。ストリーム上のある範囲で区切って処理する。時間、個数、など。時系列データの中にある範囲内の平均、最大、最小を算出。ソートなど。
@muraken720: 利用場面。データサンプリング。大量データのデータ間引き処理&分析。
@muraken720: 扱うデータはGBのデータ。この5秒、この5分、今日何が起きたかを分析する。ペタバイトとか、過去情報の分析はHadoopとか。役割違うよ。
@muraken720: リアルタイムデータをストレージに保存せずにそのまま処理する。直近の事実を掴む。
@muraken720: CEP勉強会なう。ストリーミングコンピューティングとは。Big Data、そしてFast Data.