Apache Flinkを使ったバッチ処理を作ってみてから大分経ってしまったが、今回はリアルタイムストリーム処理を作ってみようと思う。
いきなりコードをバーンっと出すのもアレだしナニなので、既存のBigDataを意識したストリーム処理ライブラリ(Spark Streaming)を振り返りつつ、Apache Flinkのリアルタイムストリーム処理用のライブラリの話から。
前回の宣言通り、実際にコードを書いてみたいと思う。 私はJavaよりScalaが好み & この手の最近のフレームワークはScalaの方が実装が楽だったりするのでScalaで実装していく。
まずは、 sbtの設定。
name := "flink-sample"version := "1.0"scalaVersion := "2.11.7"libraryDependencies ++= Seq(…