AWS EMR provides convenient way to Spin up Zeppelin + Spark cluster. However, there’s some limitations.
Did you know you can exchange variable between Spark(scala) and Pyspark(python) in Apache Zeppelin?
To know more about object exchange between Scala and Python and how it works, please read https://s.apache.org/Ip4E.
이번시간엔 필자가 Contribute하고 있는 오픈소스 프로젝트인 아파치 제플린(Apache Zeppelin)에 대해서 다뤄보도록 하겠다. 이미 잘 알고 계시는 분들보다 이것이 뭔지 잘 모르는 분들의 이해를 돕고자 쓰는 글이니 혹시 잘 알고 계시는 분들은 덧글로 지적 및 코멘트 주시면 감사히 반영토록 하겠습니다 :) 질문이 있으신 분들도 환영합니다 :)
With big data usage growing exponentially, many Kubernetes customers have expressed interest in running Apache Spark on their Kubernetes clusters to take advantage of the portability and flexibility of containers…