Twitter Crawling: Sumber Data untuk Melakukan Social Media Monitoring

Iqbal Hanif
Data Folks Indonesia
3 min readAug 31, 2019

Social media monitoring adalah aktivitas pemantauan media sosial dengan berbagai tujuan, mulai dari pemantauan brand suatu produk hingga pemantauan efektifitas layanan pemerintah

Media sosial merupakan salah satu online platform yang paling banyak diakses saat ini. Berdasarkan data survei Asosiasi Penyelenggara Jasa Internet Indonesia (2018), 87.13% pengguna internet di Indonesia mengakses sosial media (kurang lebih 124.82 juta pengguna). Jumlah tersebut terus meningkat seiring meningkatnya jumlah pengguna internet di Indonesia. Beragam akttivitas dilakukan pengguna di media sosial, mulai dari sekedar update status hingga menyampaikan keluhan ke customer care.

Menggeliatnya pertumbuhan jumlah pengguna dan aktivitas di media sosial membuat produsen produk tertarik untuk melakukan social media monitoring, yaitu aktivitas pemantauan media sosial yang terkait dengan brand produk yang dijual oleh produsen tersebut. Dengan begitu, produsen tersebut dapat melakukan improvement terhadap produk mereka sesuai dengan isu-isu terkini yang dikemukakan oleh pelanggannya melalui media sosial. Social media monitoring juga dilakukan oleh lembaga pemerintahan untuk memantau kondisi warganya. Keluhan warga akan terpantau dengan cepat sehingga pengambilan keputusan untuk menyelesaikan masalah tersebut juga dapat diambil dalam tempo yang singkat. Dengan begitu, pelayanan publik akan semakin baik dan kepercayaan warga terhadap pemerintah akan semakin meningkat.

Pertanyaannya: bagaimana melakukan social media monitoring dengan efektif? Salah satu platform media sosial yang cukup populer, Twitter, menyediakan API yang dapat digunakan untuk mengumpulkan (crawling) data Twitter berdasarkan keyword tertentu. Data tersebut dapat di-crawling menggunakan software R dengan mengakses API Twitter melalui Oauth Authentication (detail bisa dilihat di https://developer.twitter.com). R-package yang digunakan untuk melakukan proses tersebut adalah rtweet. Data hasil crawling Twitter sudah terstruktur dengan baik karena memang disediakan untuk para developer (Restuningtyas dan Putri, 2018).

Berikut beberapa contoh analisa dan visualisasi hasil crawling. Sampel kode yang dapat digunakan bisa dlihat disini.

  1. Analisa Peroforma Customer Care E-Commerce di Twitter

Sebelum melakukan crawling, kita harus menyiapkan token dan keyword seperti yang tertera berikut ini:

Token and keywords

Kemudian kita bisa melakukan crawling semua keyword diatas (dan menyimpannya ke dalam format .csv) dengan sintaks berikut:

Twitter crawling

Berikut adalah salah satu contoh visualisasi hasil crawling akun resmi dan akun customer care e-commerce Tokopedia di Twitter yang dilakukan oleh Restuningtyas dan Putri (2018). Crawling dilakukan pada periode minggu kedua di bulan Juli 2018. Dari hasil tersebut, kita bisa mengukur jumlah tweet dan jumlah user yang melakuan mention terhadap akun-akun tersebut, seperti yang terlihat pada gambar di bawah ini.

Tren tweet harian dan user yang melibatkan akun resmi Tokopedia

Disamping memantau jumlah tweet pada akun resmi, kita juga bisa menganalisis sentimen tweet yang melibatkan akun resmi tersebut, apakah positif, negatif, atau netral. Sebaran sentimen dari tweet yang berhasil di crawling dapat dilihat pada pie chart di bawah ini. Dari hasil tersebut, mayoritas sentimen dari tweet adalah netral, disusul dengan sentimen negatif. Fakta tersebut menunjukkan bahwa performa pelayanan Tokopedia harus lebih ditingkatkan sehingga kedepannya mayoritas tweet yang berkaitan dengan akun Tokopedia memiliki sentimen positif.

Sebaran sentimen dari tweet yang berhasil dikumpulkan

2. Word Cloud Kata-kata yang Berkaitan dengan “Pancasila”

Data crawling juga dapat divisualisasikan menjadi sebuah infografis yang cukup menarik, salah satunya adalah word cloud. Word cloud sebuah infografis yang terdiri dari kata-kata yang memiliki ukuran sesuai dengan frekuensi kemunculan kata-kata tersebut. Membuat world cloud dapat dilakukan dengan menggunakan library wordcloud2 dengan sintaks seperti dibawah ini:

Contoh word cloud dapat dilihat pada gambar dibawah. Kata-kata yang dikumpulkan merupakan hasil crawling yang dilakukan pada tanggal 1 Juni, bertepatan dengan Hari Lahir Pancasila. Pada momen tersebut, tweet yang berkaitan dengan Pancasila didominasi dengan kata-kata positif, diantaranya “selamat”, “kebhinekaan”, dan “bertahan”.

Word cloud kata-kata yang berkaitan dengan kata “Pancasila”

REFERENSI

Asosiasi Penyelenggara Jasa Internet Indonesia (APJII). 2018. “Infografis Penetrasi & Perilaku Pengguna Internet Indonesia: Survey 2017”.

Restuningtyas F. R., Putri C. B. 2018. Laporan Kerja Praktik Program Studi Sarjana Statistika di PT. Telekomunikasi Indonesia. Surabaya: ITS.

--

--