Machine Learning Heroes
Beberapa waktu yang lalu, ada yang bertanya kepada saya, “Who are your heroes in machine learning?”
Karena agak kaget dengan pertanyaan tersebut, jadi jawaban saya agak “standar” waktu itu.
Yang saya sebut pertama adalah Ilya Sutskever — co-Founder dan Chief Scientist dari OpenAI.
Saya lupa persisnya pertama kali dengar di mana, tapi suatu ketika saya baru ngeh tentang banyaknya kontribusi fundamental Ilya dalam dunia deep learning (DL) di satu dekade terakhir. Mulai dari keterlibatannya dalam AlexNet bersama Alex Krizhevsky dan Geoffrey Hinton yang mengubah paradigma penelitian di skena kecerdasan buatan (AI), metode dropout untuk regularisasi model DL yang relatif sederhana tapi bekerja dengan sangat baik, word2vec untuk merepresentasikan semantik dari kata-kata dalam data teks, seq2seq untuk melakukan penerjemahan otomatis, hingga AlphaGo yang menggemparkan dunia karena berhasil mengalahkan Lee Se-dol dalam permainan Go — sebuah permainan yang jumlah konfigurasi papannya astronomikal.
Dalam usianya yang masih relatif muda, Ilya sudah memimpin institusi riset AI terkemuka yang timnya terdiri dari orang-orang hebat lainnya di bidang tersebut. Tidak main-main, produk-produk riset dari tim ini beberapa kali menggemparkan dunia, e.g. GPT-3, Codex, dan DALL·E 2. Bukan tidak mungkin jika suatu saat — atau bahkan mungkin sudah — Ilya dan OpenAI menjadi bagian penting dalam terwujudnya Artificial General Intelligence (AGI).
Nama kedua yang saya sebut waktu itu adalah Yoshua Bengio.
Siapa sih yang tidak kenal beliau?
Sebagai salah satu orang yang didapuk sebagai godfathers of deep learning bersama Geoffrey Hinton dan Yann LeCun, Yoshua Bengio yang saat ini aktif sebagai profesor di Université de Montréal mungkin sudah tidak asing bagi Anda. Berbeda dengan Geoffrey Hinton yang kemudian berafiliasi dengan Google dan Yann LeCun yang memilih bergabung dengan Facebook, Yoshua Bengion tetap mengakar pada dunia akademik — suatu keputusan yang saya bisa mengerti — meski industri sekarang rela membayar mahal untuk para peneliti di bidang yang berkembang sangat pesat ini. Bengio juga punya kepedulian dalam membuat teknologi semakin bisa diakses di negara berkembang.
Namun, alasan yang saya sebut waktu itu adalah karena salah satu paper berjudul Transfusion yang idenya tentang penggunaan arsitektur jaringan saraf tiruan (artificial neural networks) yang jauh lebih sederhana untuk kasus citra medis, e.g. X-ray atau mikroskopis, karena memang secara konsep citranya lebih sederhana dibandingkan objek di ImageNet yang menjadi fondasi banyak model computer vision. Konyolnya, belakangan saya baru sadar kalau paper tersebut ternyata ditulis oleh Samy Bengio, saudara Yoshua Bengio yang juga seorang peneliti di bidang AI/ML.
Sekitar satu bulan kemudian, saya masih terngiang-ngiang tentang pertanyaan tersebut. Siapa sih sebenarnya yang jadi jagoan saya di bidang AI/ML ini?
Kalau dipikirkan dengan lebih baik, saya sebetulnya tertarik dengan orang-orang yang termasuk dalam dua kategori besar: punya ide riset yang relatif nyeleneh atau yang punya tulisan atau bahan ajar yang bagus sekali. Dari nama-nama berikut, mungkin ada beberapa yang Anda belum familiar, tapi justru di situ poinnya. Semoga daftar ini memperkaya referensi Anda.
David Ha
Dengan tingginya laju publikasi di bidang AI/ML, banyak juga peneliti yang akhirnya berfokus pada mengalahkan state-of-the-art (SOTA). Asal angka akurasinya bisa naik sedikit, langsung dipublikasikan. Padahal, bisa jadi sebetulnya leaderboard yang ada tidaklah merefleksikan bagaimana seharusnya sistem berbasis AI ini bekerja di dunia nyata.
Oleh karena itu, bagi saya justru menarik untuk melihat orang-orang yang mencoba ide yang bagi sebagian besar orang justru dianggap aneh. David Ha adalah salah satu orang yang menurut saya secara konsisten melakukan hal tersebut. Sebagai contoh, saat orang-orang mencoba mencari bobot (weights) terbaik dari neural networks, David Ha malah meneliti tentang Weight Agnostic Neural Networks.
David Ha juga jadi orang di belakang Quick, Draw! yang hasil datasetnya jadi salah satu bahan ajar favorit saya. Idenya untuk mendobrak penelitian di computer vision yang lebih banyak berfokus pada gambar berukuran kecil dengan representasi pixels dan menggantinya dengan goretan garis untuk menghasilkan sketsa objek membuat kita juga lebih berkontemplasi tentang komponen-komponen utama dari sebuah objek, seperti halnya The Bull karya Pablo Picasso. Tanyakan ini pada diri Anda sendiri,
“Kalau Anda diminta membuat sketsa kucing secara cepat, apakah Anda hanya akan fokus pada kepalanya saja atau termasuk badannya?”
Poin menarik lainnya dari peneliti Google Brain dengan handle Twitter @hardmaru ini adalah keterbukaannya untuk bekerja sama dengan Jürgen Schmidhuber, seorang peneliti AI/ML legendaris yang terkenal dengan model Long Short-Term Memory (LSTM) tapi juga terkenal angkuh dan narsistik. Meski kebanyakan orang tidak suka dengan pembawaan Schmidhuber, tapi David Ha masih mau bekerja sama dan akhirnya juga membuka mata saya bahwa poin-poin yang disampaikan Schmidhuber itu ada benarnya.
When only consulting surveys from the Anglosphere, it is not always clear[DLC] that Deep Learning was first conceived outside of it.
– Jürgen Schmidhuber
Chris Olah
Sudah bukan rahasia lagi kalau sebagian besar orang yang bekerja di bidang AI/ML punya latar belakang pendidikan doktoral. Nama Christopher Olah menjadi anomali karena meski sudah pernah bekerja institusi beken seperti Google Brain dan OpenAI, ternyata dia tidak pernah lulus S1! Pemilik akun Twitter @ch402 ini adalah salah penerima Thiel Fellowship yang mengharuskan dia untuk keluar dari pendidikan formal.
Meski demikian, rasanya Chris Olah tidak perlu diragukan lagi kecerdasannya. Richard Feynman pernah bilang bahwa jika seseorang tidak bisa menjelaskan sesuatu dengan sederhana, maka dia sesungguhnya tidak mengerti. Saya pikir Chris Olah melihat perkataan Prof Feynman ini sebagai sebuah kredo. Coba tanya para pelaku data (spesifiknya di DL) di sekitar Anda, siapa yang tidak pernah baca penjelasan LSTM dari blog Chris Olah? Saking bagusnya, tulisan yang sebetulnya berupa blog ini sudah dirujuk dalam 1980 artikel ilmiah lain!
Di luar blognya yang mengandung banyak tulisan menarik, Chris Olah juga jadi orang yang sadar bahwa dalam riset juga ada utang, seperti halnya technical debt dalam pengembangan perangkat lunak, dan berusaha membayar utang tersebut. Inisiatifnya untuk membuat jurnal Distill membuat saya dan banyak orang lainnya bisa belajar hal-hal yang kompleks seperti Gaussian Process, Bayesian optimisation, hingga Graph Neural Networks, dari artikel yang lugas yang dilengkapi dengan visualisasi yang indah, interaktif, dan informatif.
Karena sekarang Distill dalam keadaan hiatus dan Chris Olah juga jarang menulis di blognya lagi, untuk belajar konsep-konsep yang lebih mutakhir, saya jadi lebih sering melihat tulisan salah seorang peneliti lain di OpenAI: Lilian Weng.
Peter Norvig
Sebelum populernya MOOC seperti Coursera, Udacity, edX, saya rasa paparan saya terhadap kuliah AI dari pengajar ternama di luar negeri adalah dari Peter Norvig. Seingat saya dulu, saat masih di jenjang sarjana, saya sempat menonton beberapa video dari Peter Norvig di YouTube yang menjelaskan konsep-konsep carian seperti cheapest first search dan A*. Video-video ini sudah sangat jadul, dengan setup masih berupa kamera, kertas, dan pulpen, tapi penjelasannya bagus sekali. Sayang saya sudah tidak bisa menemukan lagi video-video legendaris ini.
Lalu, saya cukup yakin kalau buku pegangan kuliah Artificial Intelligence Anda adalah buku Russell-Norvig juga. Bahkan, sudah lebih dari 1541 universitas di dunia memakai buku Artificial Intelligence: A Modern Approach! Buku ini sekarang juga dilengkapi dengan kode implementasi berbagai algoritmanya dalam beberapa bahasa pemrograman dan dibagikan secara gratis di GitHub.
Di luar dua bahan ajar tersebut, ada banyak juga notebook menarik untuk dipelajari dari repositorinya yang bertajuk pytudes. Tidak semuanya berhubungan dengan AI, tapi di situ juga poin menariknya. Karya Norvig yang lain seperti CS212 Design of Computer Programs di Udacity membantu saya untuk membangun pola pikir pengembangan program komputer yang lebih baik. A must-see!
Nah, itu tadi tiga nama yang saya pikir menjadi inspirasi besar saya selama ini di dunia AI/ML. Tentu ada nama-nama lain yang tidak kalah hebat dan berpengaruhnya dalam perkembangan saya sebagai pelaku di bidang ini. Namun, mungkin baru bisa saya bahas di kesempatan yang lain.
Siapa yang menjadi jagoan ML Anda?
