Rodando Apache Kafka no Raspberry Pi com Docker.

Como instalar Apache Kafka no Raspberry Pi utilizando Docker!

O que é Apache Kafka?

Apache Kafka é uma plataforma open-source de processamento de Stream’s distribuída, desenvolvida pela Apache Software Foundation, escrita em Scala e Java. O projeto tem como objetivo fornecer uma plataforma unificada, de alta capacidade e baixa latência para tratamento de dados em tempo real.

O que é Docker?

Docker é uma ferramente open-source, de gerenciamento de containers, desenvolvido em Golang. Por ser de alto desempenho, o software garante maior facilidade na criação e administração de ambientes isolados, garantindo a rápida disponibilização de aplicações em containers.

Instalando Docker no Raspberry Pi

Para instalar o Docker, execute no terminal os comandos abaixo:

Instalando as dependências:

sudo apt-get install -y libffi-dev libssl-dev curl
sudo apt-get install -y python3 python3-pip

Instalando Docker e Docker-Compose:

curl -sSL https://get.docker.com | sh
sudo pip3 install docker-compose

Ao finalizar, execute:

sudo usermod -aG docker pi
sudo systemctl enable --now docker

Para conferir se instalou e iniciou com sucesso, execute:

docker version

Resultado:

Client: Docker Engine - Community
 Version:           19.03.8
 API version:       1.40
 Go version:        go1.12.17
 Git commit:        afacb8b
 Built:             Wed Mar 11 01:35:24 2020
 OS/Arch:           linux/arm
 Experimental:      false
Server: Docker Engine - Community
 Engine:
  Version:          19.03.8
  API version:      1.40 (minimum version 1.12)
  Go version:       go1.12.17
  Git commit:       afacb8b
  Built:            Wed Mar 11 01:29:22 2020
  OS/Arch:          linux/arm
  Experimental:     false
 containerd:
  Version:          1.2.13
  GitCommit:        7ad184331fa3e55e52b890ea95e65ba581ae3429
 runc:
  Version:          1.0.0-rc10
  GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dd
 docker-init:
  Version:          0.18.0
  GitCommit:        fec3683

Para rodarmos o Kafka no Docker, crie um arquivo chamado “kafka-compose.yml” com o seguinte conteúdo:

version: '2'
services:
zookeeper:
    container_name: zookeeper
    image: felipeagger/kafka-zookeeper:2.12
    restart: always
    ports:
      - "2181:2181"
broker:
    container_name: broker
    image: felipeagger/kafka-broker:2.12
    depends_on:
      - zookeeper
    restart: always
    ports:
      - "9092:9092"

Finalmente, para subir esses containers, acesse o diretório onde salvou esse arquivo e execute:

docker-compose -f kafka-compose.yml up -d

Saída:

Creating network "kafka_default" with the default driver
Creating zookeeper ... done
Creating broker    ... done

Pronto, temos uma instancia Kafka e Zookeeper rodando no Raspberry Pi.

Kafka containers viewed from Portainer.

Links uteis:

Execução de containers Docker com Raspberry Pi - FilipeFlop

Installing Docker and Docker Compose on the Raspberry Pi in 5 Simple Steps

Apache Kafka