Çocuk Kitabı Çizimleri ve Bilgisayarla Görme

Bölümümüz öğretim üyelerinden Prof. Dr. Pınar Duygulu ve doktora öğrencisi Samet Hiçsönmez, çocuk kitapları ile bilgisayarla görmeyi bir araya getiren yöntemler geliştirmiştir.

Çalışmalarında dünyaca ünlü çocuk kitabı çizerlerinin eserlerinden 10 binden fazla resim toplayarak yeni bir veri kümesi oluşturulmuştur (Şekil 1).

Şekil 1. Oluşturulan veri kümesindeki altı çizere ait örnek çizimler.

İlk olarak verilen bir çizimin hangi çizer tarafından çizildiğini bulan bir yöntem geliştirilmiştir. Evrişimsel sinir ağları kullanarak oluşturulan bu yöntemle, verilen bir çizimin, 26 farklı çizerden hangisine ait olduğunu %95 başarım ile bulabilmektedir. Bu sayede çizim kolleksiyonlarının hızlı bir şekilde düzenlenmesi sağlanmaktadır.

Bir sonraki aşamada kullanıcı tarafından sağlanan herhangi bir resmin, istenen çocuk kitabı çizerinin stili ile yeniden oluşturulması problemi ele alınmıştır.

Stil transferi olarak adlandırılan bu problem ilk olarak Gatys ve arkadaşlarının 2015 yılındaki öncü çalışmalarında ele alınmış bir bilgisayarlı görü problemidir. Amaç verilen herhangi bir fotoğrafın, istenen bir çizim stilinde tekrar oluşturulmasıdır. Şekil 2’de örnek bir stil transfer gösterilmiştir. Burada bir doğa fotoğrafı, farklı farklı ressamların stilleri ile yeniden çizilmiştir.

Yapay zeka kullanarak resim oluşturma son dönemde çok popüler bir alan haline gelmiştir. Örneğin yapay zeka ile oluşturulan bir portre geçtiğimiz yıl tam 432 bin dolara satılmıştır.

Şekil 2. Gatys’nin yöntemi ile elde edilen stil transferi örnekleri.

Prof. Dr. Pınar Duygulu ve Samet Hiçsönmez tarafından gelişirilen yöntem daha önce literatürde ele alınmayan bir alana yoğunlaşarak resimleri çocuk kitabı stiline dönüştürmeyi hedeflemiştir. Önerilen yöntem Çekişmeli Üretici Ağlar (Generative Adversarial Networks) olarak adlandırılan, ve ilk olarak 2014 yılında Ian Goodfellow tarafından önerilen yöntemi temel almaktadır. Bu yöntemde üretici olarak adlandırılan bir evrişimsel sinir ağı, hedef stilde resimler üretmeye çalışırken, gene evrişimsel sinir ağından oluşan ayırt edici ağ ise üretilen resimlerin gerçek olup olmadığını tespit etmeye çalışmaktadır.

Şekil 3'te geliştirilen yöntemle elde edilen sonuçlar görülmektedir. Her sütun, Şekil 2'de verilen sıra ile, verilen bir girdi resmini ilgili çizerin stiline çevrilmiş halini göstermektedir.

Şekil 3. En soldaki sütun doğa resimlerini gösterirken, sonraki her sütun farklı bir çizer stili ile yeniden oluşturulmuş sonuçları göstermektedir.