wah bagus sekali review tentang deep learningnya, jujur saya sangat menyukai kontennya karena…
Aulia Rizki Destarani
1

Hi, Nice question.

  • Sebelumnya gambar yang mana ya? Mungkin perlu diperjelas lagi kalau ReLU dan Sigmoid itu termasuk yg non-linear bukan linear. Bisa dilihat dari bentuk fungsi dan kurva nya.
    Mungkin bisa dibaca lagi di https://medium.com/@samuelsena/pengenalan-deep-learning-8fbb7d8028ac#01aa
  • Pada part Backpropagation ini sebagai contoh saya gunakan semua tipe activation function yaitu linear pada output layer dan non-linear(ReLU dan Sigmoid) pada hidden layer.
  • Untuk memilih activation function, pertama kita harus lihat dulu bentuk datanya (input dan output) dan/atau problem apa yang akan kita selesaikan. Apakah itu klasifikasi atau regresi?
  • Misalnya kita punya data tentang Harga Jual Rumah (Output) berdasarkan Luas Tanah, Luas Bangungan, Jumlah Kamar (Input). Rentang nilai output disini misalnya antara Rp. 100jt hingga milyaran. 
    Untuk itu kita bisa gunakan Linear atau mungkin ReLU sebagai activation function pada Output layer, karena nilai output tersebut masih dalam range Linear (- infinity hingga infinity) dan ReLU (0 hingga infinity) tapi kita tidak bisa gunakan Sigmoid karena range dari Sigmoid hanya 0 hingga 1 saja. Sedangkan activation function pada Hidden layer, kita harus gunakan Non-Linear entah itu Sigmoid, Tanh ataupun ReLU.

Mungkin kalau masih belum paham bisa ditanyakan lagi. 
Senang bisa membantu.