いきなりコードをバーンっと出すのもアレだしナニなので、既存のBigDataを意識したストリーム処理ライブラリ(Spark Streaming)を振り返りつつ、Apache Flinkのリアルタイムストリーム処理用のライブラリの話から。

昨今のリアルタイムストリーム処理

OCaml に入門してみた。その１

最近、プログラミングしながら色々と思うことがあり、OCamlを触ってみようと思い立った。とりあえず OCamlのマニュアルを読み始めてみたので、そのログというか、雑な翻訳みたいなものを残しておこうと思う。

OCamlに入門してみた。その３ — The Module system

引き続き OCaml の公式マニュアルを進めている。前回は OCaml マニュアルの1章までだったので、今回は2章から。

OCaml に入門してみた。その２

引き続き OCaml の公式マニュアルを進めている。前回は OCaml マニュアルの1.4章までだったので、今回は1.5章から。

1.5 Imperative features

11/9のAWSブログで、EMR 5.1.0でApache Flinkが使えるようになったとアナウンスされていたので、どのようなものか調べてみた。

概要

一言で表すと分散ストリーム処理を行うためのストリーミングデータフローエンジンらしい。 ストリームデータをリアルタイム処理することはもちろん同じ方式でバッチ処理も実装することができるとのこと。