アナウンス: Spark v2.3.3をリリースしました & イベント告知

Takeshi Yamamuro
nttlabs
Published in
3 min readFeb 18, 2019

NTT研究所の山室です,Sparkのコミッタを勤めています.今回のv2.3のリリースマネージをしたので作業記録のために共有します.

[ANNOUNCE] Announcing Apache Spark 2.3.3

Spark 2.3.3 Release Notes

今回のリリースには結果が誤っているクエリの修正(下記)など致命的なものも含まれているため,v2.3系をお使いの方は早めのアップグレードを推奨します.

  • [SPARK-26709] OptimizeMetadataOnlyQuery does not correctly handle the files with zero record
  • [SPARK-26706] Fix Cast$mayTruncate for bytes
  • [SPARK-26366] Except with transform regression
  • [SPARK-26233] Incorrect decimal value with java beans and first/last/max functions
  • [SPARK-26078] WHERE .. IN fails to filter rows when used in combination with UNION
  • [SPARK-25714] Null Handling in the Optimizer rule BooleanSimplification
  • [SPARK-25591] PySpark Accumulators with multiple PythonUDFs
  • [SPARK-25081] Nested spill in ShuffleExternalSorter may access a released memory page

近々開催されるSpark関連のイベントも併せて紹介します.2019.3.14に日本Hadoopユーザ会主催で「Hadoop / Spark Conference Japan 2019」が行われます.2016年に開催された同様のイベントでは参加者が1000人を超え,非常に盛況でした.現在詳細なプログラムは調整中で,近日中に公開される予定です.Sparkに関連する情報を日本で集めたい方は非常に良い機会だと思いますので,イベントへの参加をお待ちしております.

2019.3.14 Hadoop / Spark Conference Japan 2019, Tokyo

また2019.4.23から3日間,アメリカの西海岸でSpark最大規模のイベントSpark + AI Summitが開催されます(昨年度の参加者が4000+人程度).Sparkに関係する開発者・研究者やユーザが一堂に集まり,最新の開発状況・研究プロダクトやユースケースなどが紹介されます.これからSparkを利用しようと検討されている方,既に仕事で活用していて最新情報を収集されたい方などには非常に良い機会だと思いますので,参加を検討されてみてはいかがでしょうか.

2019.4.23–25 Spark + AI Summit, San Francisco

終わりに

私たちNTTは,オープンソースコミュニティで共に活動する仲間を募集しています.ぜひ弊社ソフトウェアイノベーションセンタ紹介ページ及び,採用情報ページをご覧ください.

--

--

Takeshi Yamamuro
nttlabs
Writer for

R&D engineer, Ph.D. in CS (Database Systems) — Apache Spark committer, Apache Hivemall PPMC, PostgreSQL enthusiast — LLVM/C/C++03/Java/Scala/Python