Görsel Dil mi, O da Ne?: Görsel Dil Teorisi ve Çizgi Romanlarda Hareket — Irmak Hacımusaoğlu
Yazar: Irmak Hacımusaoğlu
Editör: Helin Erden
Irmak Hacımusaoğlu, Koç Üniversitesi’nde psikoloji lisans eğitimini ve Vrije Universiteit Amsterdam’da bilişsel nöropsikoloji alanında yüksek lisans eğitimini tamamlamıştır. Tilburg Üniversitesi, Görsel Dil Laboratuvarı’nda (Visual Language Lab) doktora araştırmacısı olarak çalışmaktadır. Araştırmaları çizgi romanlarda hareket ve zamanı odağına alarak dili ve bilişi anlamlandırmayı hedeflemektedir. Aynı zamanda Aposto! Gazetesi’nde çizimleri ve yazıları yayımlanmaktadır.
Dil ve biliş ilişkisi, özellikle de dilin düşünce üzerine etkisi çokça çalışılmış konular (Ünal, 2020). Dil denildiğinde genellikle aklımıza sözlü diller gelir, sonra da işaret dilleri. Peki ya grafik görseller de belli kurallarla bir araya getirilip sıralanıyor ve bu şekilde anlam kazanıyorsa? Görsellerin taşıdıkları anlamlara olan ‘benzerliği’ (ikonik anlamlandırma; Peirce, 1902) onların bir dil olarak düşünülmesinin önündeki en büyük engel belki de. Oysaki görsel anlatım da birçok sembolik anlamlandırma yöntemi barındırır, örneğin kalp çiziminin gerçek bir kalple ilgisi olmaması ve bu anlamın öğrenilmesi gerekmesi gibi. Öyle ki, kültürlerinde görsel sistemlere maruz kalmayanların görsellerde anlatılanı anlamakta güçlük çektiklerine dair bulgular var (Kennedy & Ross, 1975; Cohn, 2020). Bu yazıda size yeni bir alana yön veren Görsel Dil Teorisi’ni (Cohn, 2013) anlatıp bu teori altında çalıştığım statik görsellerde hareket olgusundan bahsedeceğim.
Dil dediğimiz fenomeni, bir iletişim kanalı ya da modalite aracılığıyla üretilen ses veya işaretlerin, belli kombinatoryel ya da birleştirici kurallarla dizilip zihnimizde belli bir anlamla eşleşmesi durumu olarak özetleyebiliriz (Jackendoff, 2002). İnsanların ise üç farklı iletişim kanalı vardır: sözlü-işitsel, görsel-bedensel ve görsel-grafik kanallar. Sesler sözlü-işitsel kanal aracılığıyla üretilir ve bu seslerin belli kurallara göre dizilip zihinde bir anlamla eşlenmesi durumu sözlü dilleri oluşturur. Görsel-bedensel kanal aracılığıyla üretilen işaretlerin de yine belli kurallara tabi tutulup bir araya getirilmesi işaret dillerini oluşturur (Cohn, 2020). Bu kanal-gramer-anlam üçlemesinin, birbirinden bağımsız olduğunu ama birbiriyle etkileşip birbirine paralel olarak çalıştığını öne sürer Ray Jackendoff’un ‘Paralel Mimari’ fikri (2002). Neil Cohn ise görsel-grafik kanal aracılığıyla üretilen çizimlerin konumunu sorgulamaya başlar. Peki ya üçüncü kanal olan görsel-grafik kanal aracılığıyla üretilen çizimler de belli kurallarla bir araya getirilip sıralanıyor ve bu şekilde anlam kazanıyorsa?
Bu teoriye geçmeden önce Scott McCloud gibi önemli çizgi roman sanatçısı ve teorisyenlerin görsel dil üzerine yazdıklarını belirtmek gerek. McCloud (1993) Çizgi Romanları Anlamak (Understanding Comics) adlı kitabında çizgi roman dilinden bahseder. Yine bu kitapta görsel anlatıların kültürler arası fark ettiğine dair ufuk açıcı gözlemlerini sunar. Örneğin, Japon mangasında paneller arası karakterler sıklıkla değişir fakat Amerikan veya Avrupa çizgi romanlarında bu çok daha az oranda olurken aksiyonla ilgili değişiklikler daha çok bulunur (McCloud, 1993). Burada altını çizmemiz gereken durum ise çizgi romanların kendilerinin bir dil olmadığı; çizgi roman veya başka görsel anlatıların belli bir görsel dil ile üretildikleridir. Nasıl romanlar dildir demiyorsak, çizgi romanlar da görsel bir dil değil, görsel dil ile çizilen sosyokültürel ürünlerdir (Cohn, 2013). Nedir peki bu görsel dil? Temelini dilbilim ve bilişsel bilimin kesişiminden alan Görsel Dil Teorisi (Cohn, 2013), sözlü diller ve işaret dillerinin yanında, çizgi romanlar gibi görsel anlatılarda gördüğümüz sıralı görüntülerin de benzer bilişsel prensiplerle çalıştığı fikriyle ortaya çıkar. Ses birimlerinin gramer aracılığıyla biraraya getirilmesi gibi, görsellerde de çizgiler ve şekiller belli kurallarla bir araya getirilir. Örneğin, Türkçede bir kelimeyi sonuna ekler ekleyerek türetiriz: yapamayıverecekmişçesine. Yapmak fiili tek başına bir anlama sahipken ona gelen ekler, -ecek vb. ancak eklendiği kelime köküyle beraber bir anlam ifade eder. Görsellerde de bu durum mevcuttur. Bir yüz ifadesinin tek başına anlamı varken bu yüzün kenarına eklenen iki eğimli çizgi ancak yüze, yani köküne eklendiği takdirde ‘titreme’ anlamı verir (Cohn, 2018), tabii bu çizgilerin anlamı zihninizde mevcutsa, yani bu eşleşmeyi öğrendiyseniz.
Bu birim seviyesindeki morfolojik kurallar dışında çoklu görüntüleri sıralamak için de kurallar mevcuttur. İsim, sıfat, zarf, zamir gibi kategorileri düşünelim. Sıfatların isimlerin önüne geldiğini düşünürsek, bu sırayı bozmak anlamı da bozar. Sıralı görsellerde de belli bir sıranın ve kategorilerin mevcut olduğunu söyler Görsel Dil Teorisi (2013). Cohn’un davranışsal ve nörobilişsel çalışmaları da sırası rastgele karıştırılmış görüntülerin normal sıraya sahip olanlardan daha uzun süre izlendiğini gösterir. Hatta sözlü dillerde benzer manipülasyonlar yapıldığında aktive olan beyin dalgaları bu durumda da ortaya çıkmaktadır (Cohn, 2020). Üstelik belli çizim sistemlerine maruz kalmış bireylerin beyinlerinde naif olanlara kıyasla farklı tepkiler de görülmüştür. Japon mangasında daha çok kullanılan kompleks gramer yapılarından biri manipüle edildiğinde, büyürken Japon mangası okuyanlarda ortaya çıkan beyin dalgalarının bu görsel dil sistemine maruz kalmamış kişilerde görülen daha farklı olduğu gözlemlenmiştir (Cohn & Kutas, 2017). Bu durumu diğer dil sistemlerine maruz kalmayan bireylerin o dili anlamakta zorluk çekmesine benzetebiliriz.
Bu teoriye göre ‘çizim yeteneğim yok’ diye bir durum da söz konusu değildir; öğrenilmemiş veya yeterince maruz kalınmamış bir görsel dil sistemi vardır. Çocukken herkes benzer çizimler yaparken, dağlar arasından akan dere, güneş ve bacası tüten bir ev gibi, yıllar içinde çizmeye devam etmeyenler ‘yeteneğim yok’ diye adlandırırlar kendilerini. Oysaki her dil öğreniminde olduğu gibi görsel dil gelişimi için de belli bir kritik dönem vardır (Cohn, 2012). Bu açıdan, McCloud gibi ünlü çizgi roman sanatçısı ve teorisyenlerin fark ettikleri bazı olguları formalize edip bilimsel olarak test eden bir teori diyebiliriz Görsel Dil Teorisi’ne. Dünyada tek bir ortak görsel dilin var olup olmadığını soracak olursak da Neil Cohn’un tam olarak bu soruyu merkezine alan TİNTİN Projesi’ne bakabiliriz. Cohn, Japon mangası ve Amerikan süper kahraman çizgi romanlarının farklı görsel sistemler olduğunu gösteren çalışmaları (McCloud 1993; Cohn, 2020) bütün dünyadan toplanılan çizgi ve grafik romanları inceleyerek genişletmeyi hedefliyor. Görece yeni bir alan olduğu için bu konuda çok fazla araştırma olanağı var. TİNTİN Projesi’nin bir parçası olan benim doktora araştırmalarım çizgi romanlarda hareket ve zamanı odağına alıyor. Hareket ve zaman gibi dinamik olguların statik ve iki boyutlu bir medyumda nasıl aktarılabildiği ve zihin tarafından nasıl anlaşılabildiğini araştırıyorum diyebilirim özetle. Bu yazıda ise sadece çizgi romanlarda hareket kısmına odaklanacağım.
Öncelikle, gerçekte hareket etmeyen bir görüntüyle hareketi nasıl anlatırız? Yöntemlerden belki en tipik olanı figürleri anlatılmak istenen hareket halinde sahip olacakları postürleriyle çizmektir (Fig. 1a’daki her bir poz). Koşma postürü, yürüme postürü, zıplama postürü gibi. Bu durumu bir videodan alınan ekran görüntüleri gibi düşünebiliriz. Figürü hareket ederken görmeyiz ama hareketin başında, ortasında veya sonunda alacağı halini görürüz ve böylelikle zihnimiz bir sonraki pozisyonu verilen görüntüye bakarak algılayabilir (Kawabe & Miura, 2006). Figür ya da objelerin arkasına iki ya da daha fazla çizgi çekmek (hareket çizgileri) de bir diğer yöntemdir (Fig. 1b). Bu çizgiler hareketin nereden başladığını ve nereye kadar mesafe kat edildiğini gösterir, yani sadece o anın ekran görüntüsünü görmeyiz; hareket eden objenin daha önce nerede olduğunu da görürüz böylece. Bu işaretler o an resmedilmeyen ve geçmişte gerçekleşmiş anların göstergeleridir. Bazen bir sürü paralel çizgi arka plana eklenir (Fig. 1c). Hareket eden bir araçtan dışarı baktığımızda arkadaki binaların çizgi gibi görünmesine benzetebiliriz bu durumu. Bazense bu çizgiler obje ya da figürün bir kısmını kaplamaktadır (Fig. 1d). Bu son iki yöntemde de hareketin hızına dair bilgi ediniriz. Bir diğer yöntem de hareket eden figürün ya da objenin tamamının ya da bir kısmının birden fazla kez resmedilmesidir. Fig. 1e’ye bakarsak oradaki karaktere üç tane el çizmiş olmam karakterin üç tane eli olduğu anlamına gelmez. Karakterin el salladığını gösterir. Her bir el, farklı bir ana tekabül etmektedir. Böylece statik bir medyumda da olsa birden fazla anı aynı anda görmüş oluruz.
Bu hareket işaretleri, kullanılan görsel sistemlere göre farklılıklar göstermektedir. Buna örnek olarak, görsel kılavuzlar (örn., IKEA mobilya kurma kılavuzları veya uçaktaki güvenlik kartları) ile çizgi romanları kıyaslayabiliriz. Bu kılavuzlarda hareket çizgilerinin tam zıttı diyebileceğimiz ok işaretlerini görürüz. Oklar hareket çizgilerinin aksine geçmişteki değil, gelecekte alınması gereken pozisyonu gösterirken buna çizgi romanlarda pek rastlamayız. Dahası, görsel anlatılardaki hareket olgusunda kültürlerarası farklılıklar da mevcuttur (Hacımusaoğlu & Cohn, 2022). Yukarıda söz ettiğim, okuyucuya sanki hareket eden obje ile aynı hızda hareket ediyormuş hissi veren arkaplan çizgileri özellikle Japon mangasında görülür mesela (McCloud, 1993). Peki, görsel hareketin nasıl anlatıldığını çizerlerinin konuştukları diller etkiler mi? Farklı iletişim modalitelerinin birbirini etkilediğine dair bulgular var. Örneğin, Aymara dilinde arka taraf geleceği, ön ise geçmişi ifade eder; geçmiş bilinip gelecek henüz görülmemiş olduğu için bu şekilde kodlanmışlardır bu dilde. Aymaraca konuşanların gelecekten bahsederken el jestleriyle arkalarını işaret ettiklerini gösterir çalışmalar (Núñez & Sweetser, 2006). Hareket konusunda görsel ve sözlü diller arasında da benzer bir etkileşim söz konusu olabilir mi diye sorduğumuz doktora araştırmalarımdan ilkini anlatacağım bu yazının geri kalan kısmında.
Öncelikle farklı sözlü dillerde hareket olgusunun ne gibi biçimlerde ifade edildiğine bir bakalım. Talmy (1985)’in klasik tipolojisine göre Türkçe, Fransızca, Japonca gibi eylem-çerçeveli (verb-framed) dillerde ana fiil kökü hareketin yönünü belirtir. Hareketin şekli ya da karakteristiklerini belirtmek için ise genelde ek yapılara ihtiyaç duyulur. Örneğin, inmek fiili hareketin yönünü (aşağı) verir. Yürüyerek mi indi, koşarak mı gibi hareket tarzını ise ikincil bir yapı kullanılmadığı takdirde anlamamız mümkün olmaz. Koşarak indim gibi bu ikincil yapıları eklemek opsiyonel olduğu için eylem-çerçeveli dilleri konuşanların, hareket tarzını çok gerekli olmadığı sürece belirtmediği görülmüştür (Berman & Slobin, 1994). İngilizce, Almanca, Felemenkçe gibi uydu-çerçeveli (satellite-framed) dillerde ise ana fiil direkt hareketin tarzına dair bilgi verir (örn. İngilizce: I ran, Türkçe: Koştum) ve yön bilgisi de bu fiillerin ardından genelde zorunlu olarak gelen ek gramatik unsurlarla aktarılır (İngilizce: I ran out; Türkçe: Dışarıya koştum). Bu ikinci grup hem hareket yönünü hem de tarzını direkt kodladığı için bu dilleri konuşanların ister istemez hareket olgusunu daha belirgin ve çarpıcı şekilde ifade ettiği görülmüştür (Slobin, 2003). Bu tipolojik farklılıkların konuşmacıların el jestlerine yansıdığını da gösterir bazı çalışmalar (Özyürek ve diğerleri, 2005). Görsel anlatılardaki hareket olgusu üzerine ise çok az çalışma bulunmaktadır. Tversky & Chow (2017), uydu-çerçeveli dillerden çıkan çizgi romanların, eylem-çerçeveli dillerde üretilenlere göre daha fazla aksiyon odaklı olarak değerlendirildiğini bulmuştur fakat direkt hareketin nasıl resmedildiğine bakmazlar bu çalışmada. Biz de bu bilgilere dayanarak “İki farklı dil grubuna ait çizgi romanlarda hareketin nasıl ifade edildiği birbirinden farklı olabilir mi?” sorusuyla Kuzey Amerika, Avrupa ve Asya’dan toplanan 85 çizgi romandaki (Visual Language Research Corpus; Cohn ve diğerleri, 2023) hareket olgusunu inceledik (Hacımusaoğlu & Cohn, 2022).
Bulgularımız sözlü dillerle görseller arasında potansiyel bir ilişki olduğunu gösterdi. Öncelikle, uydu çerçeveli dillerden çıkan çizgi romanların diğer dillerin çizgi romanlarına göre daha çok hareket işaretleri bulundurduğunu bulduk. Bu grubun dil yapısı gereği hareketi daha belirgin bir şekilde ifade ettiklerine dair geçmiş bulgulara dayanarak, bu sonuç beklentiye uygundu. Spesifik olarak baktığımızda postürel hareket işaretlerinin (Fig. 1a) iki grupta da benzer oranda kullanıldığını gördük. Hareket çizgileri (Fig. 1b) ise uydu çerçeveli dillerin çizgi romanlarında diğer gruba göre daha çok bulunuyordu. Uydu çerçeveli dillerin hareket tarzını odağına aldığından bahsetmiştik. Bu çizgiler de farklı şekiller alarak hareketi modifiye edebildiği için (Fig 2.), bu dil grubunda daha çok kullanılıyor olabileceklerini düşündük. Buna ek olarak hareketi sözlü dillerde olduğu gibi (Talmy, 1985) başlangıç (çıkış noktası), orta nokta (yörünge) ve hedef ya da bitiş noktası olarak da inceledik (Fig. 2). Yine hareket tarzını daha kolay ifade eden uydu-çerçeveli grupta daha çok orta nokta resmedildiğini bulduk. Bunu ise hareket çizgilerine bağladık, hareket eden bir objenin arkasına eklenen bu çizgiler otomatikman hareketin yörüngesini de belirtmiş oluyordu (Fig. 2). Hareket çizgileri aynı zamanda hareketin şeklini de yansıttığı için uydu-çerçeveli diller grubunda daha çok görülmüş olabileceğini tartıştık. Bu iki tipolojik gruptaki bireysel dillere baktığımızda ise bazı grupiçi farklılıklar da gözlemledik. Fransızca ve Almanca hareketi kodlama biçimleri açısından farklı grupta olmalarına rağmen, bu iki dilden çıkan çizgi romanlar sahneleri ya da olayları benzer biçimde bölüyorlardı. Bu durumun konuşulan dillerin görsellere etkisinin yanında görsel dil sistemlerinin (‘Avrupa Görsel Dil’i gibi) kendi özelliklerinin etkisinden dolayı olabileceğini düşündük.
Özetle, hareket olgusunun sadece sözlü dillerde değil görsel dillerde de farklı biçimlerde ifade edilebildiğini bir kez daha gördük ve bu farklılıkların sözlü ve görsel dil sistemleri arası potansiyel etkileşime bir örnek olabileceğini işaret etti bu çalışmamız. İnsan iletişiminin antik zamanlardan beri bir parçası olan çizimlere, dile dair bu tarz araştırmalarda yer vermek dile olan bakış açısının (söz veya konuşma odaklı) tek kanallılıktan çıkıp dilin çok kanallı oluşunun (Cohn & Schilperoord, 2022) çalışılması açısından önem arz ediyor. Görsel anlatıların da kendilerine özgü kurallarla anlamlandırılma durumu ve aslında zannedildikleri gibi ‘transparan’ veya kolayca anlaşılır olmamaları (Coderre, 2020) da özellikle bilişsel deneylerde çokça kullanılan görsellerin konumlarını ve onlara bağlı bulguları sorgulatacak nitelikte. Cohn’un TİNTİN Projesi’nde ise şu an neredeyse 1000 görsel anlatı analiz edilmeyi bekliyor. Yukarıda bahsettiğim diller arası hareket olgusu üzerine olan çalışmamı bu projeyle genişlettiğimizde benzer bulgulara erişip erişmeyeceğimiz ise bu alanda çalışılabilecek birçok diğer araştırma sorusu gibi merak konusu.
Research funding: This project has received funding from the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement №850975).
(Araştırma fonu: Bu proje, Avrupa Birliği’nin Ufuk 2020 araştırma ve inovasyon programı altında Avrupa Araştırma Konseyi (ERC) tarafından fonlanmıştır [ödenek anlaşması №850975]).
Kaynakça
Berman, R. A., & Slobin, D. I. (1994). Relating events in narrative: A crosslinguistic developmental study. Hillsdale, NJ: L. Erlbaum.
Coderre E. L. (2020). Dismantling the “Visual Ease Assumption:” A review of visual narrative processing in clinical populations. Topics in cognitive science, 12(1), 224–255. https://doi.org/10.1111/tops.12446
Cohn, N. (2012). Explaining ‘I Can’t Draw’: Parallels between the Structure and Development of Language and Drawing. Human Development, 55(4), 167–192. https://doi.org/10.1159/000341842
Cohn, N. (2013). The visual language of comics: Introduction to the structure and cognition of sequential images (Bloomsbury Advances in Semiotics). Bloomsbury Academic. http://dx.doi.org/10.5040/9781472542175
Cohn, N. (2018). Combinatorial morphology in visual languages. In G. Booij (Ed.), The Construction of Words (Vol. 4, pp. 175–199). Springer International Publishing. https://doi.org/10.1007/978-3-319-74394-3_7
Cohn, N. (2020). Who understands comics?: Questioning the universality of visual language comprehension. London: Bloomsbury Academic. http://dx.doi.org/10.5040/9781350156074
Cohn, N., Cardoso, B., Klomberg, B., & Hacımusaoğlu, I. (2023). The Visual Language Research Corpus (VLRC): An annotated corpus of comics from Asia, Europe, and the United States. Language Resources and Evaluation.
Cohn, N., & Kutas, M. (2017). What is your neural function, visual narrative conjunction? Grammar, meaning, and fluency in sequential image processing. Cognitive research: principles and implications, 2(1), 27. https://doi.org/10.1186/s41235-017-0064-5
Cohn, N., & Schilperoord, J. (2022). Reimagining Language. Cognitive science, 46(7), e13164. https://doi.org/10.1111/cogs.13174
Hacımusaoğlu, I., & Cohn, N. (2022). Linguistic typology of motion events in visual narratives. Cognitive semiotics, 15(2), 197–222. https://doi.org/10.1515/cogsem-2022-2013
Jackendoff, R. (2002). Foundations of language: Brain, meaning, grammar, evolution. Oxford: Oxford UniversityPress.
Kawabe, T., & Miura, K. (2006). Representation of dynamic events triggered by motion lines and static human postures. Experimental Brain Research, 175(2), 372–375. https://doi.org/10.1007/s00221-006-0673-6
Kennedy, J. M., & Ross, A. (1975). Outline picture perception by the Songe of Paua. Perception, 4, 391–406.
McCloud, S. (1993). Understanding comics: The Invisible Art. New York, NY: Harper Collins.
Núñez, R. E., & Sweetser, E. (2006). With the future behind them: Convergent evidence from Aymara language and gesture in the crosslinguistic comparison of spatial construals of time. Cognitive Science, 30(3), 401–450. https://doi.org/10.1207/s15516709cog0000_62
Özyürek, A., Kita, S., Allen, S., Furman, R., & Brown, A. (2005). How does linguistic framing of events influence co-speech gestures?: Insights from crosslinguistic variations and similarities. Gesture, 5(1–2), 219–240. https://doi.org/10.1075/gest.5.1-2.15ozy
Peirce, C. S. (1902). Logic as Semiotic: The Theory of Signs. In C. S. Peirce (Ed.), Philosophical Writings. Dover Publications.
Slobin, D. I. (2003). Language and thought online: Cognitive consequences of linguistic relativity. In D. Gentner & S. Goldin-Meadow (Eds.), Language in mind: Advances in the study of language and thought (pp. 157–191). Cambridge, MA: MIT Press.
Talmy, L. (1985). Lexicalization patterns: Semantic structure in lexical forms. Vol. III: Grammatical categories and the lexicon. In T. Shopen (Ed.), Language typology and syntactic description. (pp. 57–149). Cambridge: Cambridge University Press.
Tversky, B., & Chow, T. (2017). Language and culture in visual narratives. Cognitive Semiotics, 10(2). https://doi.org/10.1515/cogsem-2017-0008
Ünal, E. (2020, May 13). Dil ve Düşünce Etkileşimleri. CogIST. https://medium.com/cogist/dil-ve-d%C3%BC%C5%9F%C3%BCnce-etkile%C5%9Fimleri-dr-ercenur-%C3%BCnal-5d5c6844aa4f
