引き続き OCaml の公式マニュアルを進めている。前回は OCaml マニュアルの1章までだったので、今回は2章から。
引き続き OCaml の公式マニュアルを進めている。前回は OCaml マニュアルの1.4章までだったので、今回は1.5章から。
最近、プログラミングしながら色々と思うことがあり、OCamlを触ってみようと思い立った。とりあえず OCamlのマニュアルを読み始めてみたので、そのログというか、雑な翻訳みたいなものを残しておこうと思う。
Apache Flinkを使ったバッチ処理を作ってみてから大分経ってしまったが、今回はリアルタイムストリーム処理を作ってみようと思う。
いきなりコードをバーンっと出すのもアレだしナニなので、既存のBigDataを意識したストリーム処理ライブラリ(Spark Streaming)を振り返りつつ、Apache Flinkのリアルタイムストリーム処理用のライブラリの話から。
前回の宣言通り、実際にコードを書いてみたいと思う。 私はJavaよりScalaが好み & この手の最近のフレームワークはScalaの方が実装が楽だったりするのでScalaで実装していく。
まずは、 sbtの設定。
name := "flink-sample"version := "1.0"scalaVersion := "2.11.7"libraryDependencies ++= Seq(…
11/9のAWSブログで、EMR 5.1.0でApache Flinkが使えるようになったとアナウンスされていたので、どのようなものか調べてみた。
一言で表すと分散ストリーム処理を行うためのストリーミングデータフローエンジンらしい。 ストリームデータをリアルタイム処理することはもちろん同じ方式でバッチ処理も実装することができるとのこと。
