Kolektif İnsan Hareketlerini Bilgisayarlara Nasıl Tanıtabiliriz?
Son yıllarda, gündelik hayatta kamera kullanımının çoğalmasıyla birlikte, elde edilen görüntü ve video verilerinin sayısı da oldukça artmıştır. Özellikle sağlık, güvenlik ve bilgi erişimi uygulamalarının otomatik ve verimli olarak çalışabilmesini desteklemek amacı ile, bu görsel arşivlerde, insan hareketlerinin otomatik olarak analizi ve tanınması çok önemlidir.
Kolektif aktiviteler, diğer adıyla grup aktiviteleri, ikiden fazla kişinin ortak ya da etkileşimli olarak gerçekleştirdiği hareket dizileridir. Bu tür aktiviteler, bireysel insan hareketlerini tanıma işleminden daha karmaşık bir yapıya sahiptirler. Tekil eylemlerin yanı sıra, kolektif aktivite tanımada, kişi-kişi etkileşimleri ve grup-kişi etkileşimleri de çok önemlidir. Bu etkileşimler, kolektif aktivitelerin tanınmasındaki belirsizliği çözmektedir. Örneğin, aşağıdaki şekilde de görüldüğü gibi, kolektif aktivitelerde içerisindeki kişilerin bireysel görünümleri tek başlarına ele alındığında, sırada bekleyen kişi ile, toplu konuşma içindeki kişinin hareketlerinin birbirinden ayırt edilmesi mümkün olamamaktadır. Çünkü görsel olarak bu iki kişi alanından çıkarılan bilgiler çok benzerdir. Kolektif insan aktivitelerini tanımlamak için, bireysel hareketlerin modellenmesinin yanında, kişilerin uzamsal ve zamansal hareketlerinin ve etkileşimlerinin bir arada ele alınması gerekmektedir.
Bölümümüz Öğretim Üyelerinden Doç. Dr. Nazlı İkizler Cinbiş ve doktora öğrencisi ve aynı zamanda bölümümüz Araştırma Görevlisi olan Cemil Zalluhoğlu, verinin otomatik analizi ve kolektif aktivitelerin tanınması ile ilgili bir çalışma yapmıştır. Bu çalışma geçtiğimiz aylarda Journal of Visual Communication and Image Representation dergisinde yayımlanmıştır.
Bu çalışmada, video karelerinden elde edilen bölgelerden çıkarılan bilgileri hem uzamsal hem de zamansal düzlemde derin öğrenme yöntemlerini kullanan yeni birçok akışlı evrişimsel sinir ağı mimarisi (multi-stream convolutional neural network) kullanılmaktadır.
İlgili yayın:
Region based multi-stream convolutional neural networks for collective activity recognition. Cemil Zalluhoglu and Nazli Ikizler-Cinbis. Journal of Visual Communication and Image Representation, Volume 60, Pages 170–179, 2019.
