Cara Berhasil Mendapatkan Data Tweet dari Twitter — 2023

Ini adalah satu satunya cara yang berhasil mendapatkan data lebih dari 10.000 tweets atau cuitan setelah beberapa kali percobaan. Setelah membuat artikel terkait hal yang sama, saya mendapatkan banyak informasi adanya kesulitan tentang instalasi hingga penggunaan aplikasinya.

Sehingga di awal tahun ini tepatnya 15 Januari 2023 saya melakukan eksplorasi lagi dari awal terkait penggunaan library twint sampai menemukan cara yang paling cepat, mudah, dan bekerja sesuai ekspektasi.

Hasil pengambilan data tweet di excel/sheet

Tahapan Pengambilan Data

Hasil percobaan ini cukup membahagiakan karena setelah sekian kali percobaan akhirnya saya sudah menemukan formula dari instalasi hingga penggunaan library-nya dengan cara yang paling cepat dan mudah, dibawah ini saya bagi 3 topik yaitu instalasi, persiapan, dan pengambilan data:

Instalasi (Docker)

Pada tahap instalasi hanya ada 1 hal yang perlu kamu install dan cukup mudah kok prosesnya, yaitu Docker. Untuk memudahkan proses instalasi docker-nya kamu bisa download Docker Desktop. Cek pada link ini berdasarkan OS (Operating System) yang kamu gunakan:

Silahkan ikuti langkah-langkah instalasi berdasarkan tahapan yang ada di website tersebut.

Persiapan

Setelah berhasil melakukan instalasi docker-nya, pastikan Docker mu sudah bisa digunakan, untuk melakukan pengecekan kamu bisa gunakan perintah docker — version untuk mengeceknya, yaitu dengan membuka PowerShell atau Terminal, kemudian ketikkan perintah berikut:

docker --version

Jika sudah terinstall dengan benar, maka output yang akan kamu lihat adalah seperti berikut:

Hasil dari perintah: `docker — version`

Setelah Docker berhasil terinstal dan sudah bekerja dengan baik, kita bisa mulai mempersiapkan script nya agar dapat melakukan proses pengambilan data. Berikut adalah tahapan yang diperlukan:

  1. Buat 1 file bernamakan Dockerfile
  2. Isi file Dockerfile tersebut dengan code dibawah ini
# Nama file: Dockerfile

FROM python:3.6-buster

WORKDIR /app

RUN git clone --depth=1 https://github.com/woluxwolu/twint
RUN pip install git+https://github.com/woluxwolu/twint.git

CMD /bin/bash

1. Buka terminal / Powershell dan pastikan sedang di dalam folder dimana Dockerfile (tahap sebelum ini) dibuat, lalu jalankan perintah ini:

docker build . -t twint:latest

# kalau command diatas error, coba dibawah ini (jalanin salah satu aja)
DOCKER_SCAN_SUGGEST=false docker build . -t twint:latest

2. Proses diatas ini bisa memakan waktu yang cepat/lambat bergantung pada koneksi internet kamu sekarang karena cukup banyak yang di download (Total yang perlu di download sekitar 1GB)

3. Pastikan proses build selesai dan berhasil dilakukan dengan menjalankan perintah ini:

docker images -f "reference=twint"

Jika sudah berhasil, kurang lebih outputnya seperti ini:

Hasil dari perintah docker build . -t twint:latest

Gambar diatas menunjukkan proses build sudah bekerja sesuai dengan ekspektasi, sekarang kita bisa lanjut ke tahap pengambilan data

Pengambilan Data

Untuk melakukan pengambilan data, kita masih menggunakan Docker. Ikuti perintah-perintah berikut untuk dapat mengambil data Twitter:

  1. Jalankan perintah berikut di Terminal / Powershell:
    Pastikan terminal mu sedang aktif pada folder dimana hasil crawl datamu itu akan disimpan dan juga dimana file Dockerfile yang sudah dibuat sebelumnya
#-- Pilih berdasarkan OS yang kamu gunakan!

# Windows, kalau kamu pakai PowerShell, jalankan command dibawah ini
docker run --rm -it -v "$pwd:/app" twint

# Mac atau Linux, jalankan command dibawah ini
docker run --rm -it -v "`pwd`:/app" twint

2. Masukan perintah berikut untuk mendapatkan data Twitter:

twint --username jokowi --output output.csv --csv --limit 300

Catatan: Jika kamu ingin mendapatkan data lebih banyak daripada 300 cuitan, cukup ubah angka 300 tersebut dengan berapa banyak data yang kamu inginkan.

3. Setelah selesai, Kamu dapat mencari file output.csv di folder dimana kamu melakukan pengeksekusi perintah tersebut, lalu buka file tersebut dengan aplikasi seperti Microsoft Excel, Google spreadsheet, atau aplikasi lain yang cocok untuk membuka file dengan format CSV. Dengan aplikasi tersebut kamu dapat melihat data yang telah kamu dapatkan.

Berikut adalah demonstasi singkat bagaimana script nya berjalan dengan baik

Demonstrasi singkat menjalankan semua perintah pada artikel ini

Bonus ✨

Hal ini sering ditanyakan oleh pembaca artikel sebelumnya, “Bisa cari tweet berdasarkan rentang waktu ga sih?” Bisa. Berikut ini beberapa perintah yang sering digunakan beserta dengan penjelasan singkatnya:

# Command (perintah) dibawah ini untuk mencari tweet dg kondisi ...


# Cari tweet yg mengandung kata "KPU" atau "pemilu" dengan limit 100, lalu disimpan di file kpu-pemilu.csv
twint --search "KPU OR pemilu" --limit 100 --csv --output kpu-pemilu.csv

# Cari tweet yg di mengandung kata "KPU" dan di tweet dari tgl 1 bulan 2 tahun 2022 dengan limit 100, lalu disimpan di file kpu-2022.csv
twint --search "KPU" --since 2022-02-01 --limit 100 --csv --output kpu-2022.csv

# Cari tweet yg di mengandung kata "KPU" dan di tweet dari tgl 1 bulan 2 tahun 2022 hinggal tgl 30 bulan 5 tahun 2022 dengan limit 100, lalu disimpan di file kpu-2022.csv
twint --search "KPU" --since 2022-02-01 --until 2022-05-30 --limit 100 --csv --output kpu-2022.csv

Semoga informasi ini dapat membantu kamu untuk mendapatkan data Twitter dengan lebih mudah. Jangan ragu untuk berdiskusi dan berbagi informasi bersama jika kamu pernah mengalami kesulitan yang sama. Sekian informasi dari saya, semoga bermanfaat 👋

--

--

Freelance Fullstack Developer. Bootstrapping Online Business. https://helmisatria.com

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store