“Kara Kutuyu Yorumlamak” serisinin tüm yazılarına buradan erişebilirsiniz.
Deniz Ekin Yavaş, Heinrich-Heine Üniversitesi’nde Hesaplamalı Dilbilim alanında doktora öğrencisi ve araştırma görevlisi. Öneğitimli dil modellerini kullanarak sözlüksel anlambilim ve anlambilim-sözdizim kesişimini araştırıyor.
Son yıllarda büyük dil modelleri birçok farklı görevde elde ettikleri başarılarla büyük ilgi çekti. Bu başarılar bizlere büyük dil modellerinin öneğitim (pre-training) süreçlerinde dilin istatiksel bilgisinin dışında dile ilişkin çok daha fazlasını öğrenip öğrenmediğini sormamıza neden oldu. Bunun sonucu olarak, bu soruyu yanıtlamayı amaçlayan yorumlanabilirlik (interpretability) çalışmaları bilimsel alanda büyük bir önem kazandı. Bu serinin amacı, farklı konulardaki yorumlanabilirlik çalışmalarına değinerek modellerin bilişsel olarak gerçekçiliğini (cognitive plausibility) sorgulamak.
Serinin bu yazısında sözcük anlamına (word meaning) yakından bakacağız. Sözcük anlamı, dilbilimde farklı yaklaşımlar tarafından farklı şekillerde açıklansa da bilişsel bilim temelli yaklaşımlar, sözcüklerin anlam boyutunu zihindeki kavramlarla ilişkilendirerek açıklar[1]. Bu yazıda büyük dil modellerinin kavramlara ilişkin sahip oldukları bilgiyi sorgulayacağız ve bu konuda yapılmış yorumlanabilirlik çalışmalarına yer vereceğiz.
Bu çalışmalara geçmeden önce “kavramlara” ilişkin birkaç temel bilgiye değinerek başlayalım.
Kavramlar ve Kategoriler
İnsanlar, kategoriler aracılığıyla dünya deneyimlerini ve bu deneyimlerde rol alan varlıkları tanır, anlamlandırır, birbirinden ayırt eder ve birbiriyle ilişkilendirir. Kategoriler belirli sayıda ortak özelliğe sahip öğenin bir araya gelmesiyle oluşur. Kavramlar ise kategorilerin insan zihnindeki temsilleridir. Örneğin, gerçek dünyadaki bir güvercin “kuş” kategorisine aittir ve bu kategori zihnimizde “kuş” kavramına denk gelir.
Bunun yanı sıra öğrendiğimiz yeni bilgiler de kavramlar ve kategoriler aracılığıyla anlamlı hale gelir. Örneğin, yeni bir öğeyle karşılaştığımızda, eğer bu öğenin bir kategoriye ait olduğunu biliyorsak genel özellikleri hakkında da bilgi sahibiyiz demektir. Benzer bir şekilde bir kategoriye ilişkin yeni bilgi edindiğimizde bu bilgi artık bizim için kategori üyeleri için de geçerlidir.
Ancak kategorilerin tanımları ve kategori üyeliğini belirleyen özellikler düşünüldüğü kadar kesin çizgilerle belirlenmiş değildir. Örneğin, “kuş” kategorisi “uçar”, “kanatlıdır” gibi özellikler ile tanımlanabilir, ancak uçmayan bir kuş (penguen) veya kanatsız bir kuş (deformasyonla doğmuş bir kuş) yine de kategori üyeliğini koruyacaktır. Çalışmalar, kategorilerin bulanık (fuzzy) olduğunu, yani sınırlarının belirsiz olduğunu göstermektedir (Hampton, 1979). Herhangi bir öğenin bir kategoriye ait olup olmadığına ilişkin yargı hem kişiden kişiye (Hampton, 1979), hem de aynı kişi için farklı zamanlarda farklılık gösterir (McCloskey ve Glucksberg 1978). Bu nedenle araştırmacılar çalışmalarında öğelerin bir kategoriye ait olup olmadığından çok üyelerin tipikliğine (typicality) odaklanmaktadır. Rosch (1973) çalışmasında kategori üyelerinden bazılarının insanlar tarafından daha “iyi” örnekler olarak algılandığını ortaya koyar. Örneğin, “meyve” kategorisini düşünelim. “zeytin”, “meyve” kategorisine ait bir öğe olsa da “portakal”, “elma” gibi öğeler “zeytin” öğesine kıyasla bu kategorinin daha iyi örnekleridir.
Tipik öğeler, bir kategoriyi en iyi temsil eden üyelerdir.[2] Buna karşılık atipik öğeler, çoğunlukla kategori üyeliği konusunda farklı yargılara vardığımız, kategori özelliklerinin bütün hepsine ya da ayırıcı olanlarına[3] sahip olmayan üyelerdir. Öğelerin tipikliğinin yeni bilginin öğrenilmesinden dil üretimine birçok konuda etkisi olduğu çeşitli çalışmalarda ortaya konulmuştur (Rosch ve Mervis 1975, Rips vd., 1976, Garrod ve Sanford 1977, Mervis ve Pani 1980, Osherson vd. 1990, Onishi vd. 2008). Örneğin, Rosch ve Mervis (1975) çalışmasında kategorilerin tipik üyelerinin atipik üyelerden daha kolay öğrenildikleri göstermektedir.
Kavramlar ve Kategoriler Özelinde Yorumlanabilirlik Çalışmaları
Dil modellerinin bilgilerini sorgulayan yorumlanabilirlik çalışmalarında modellerin bilgilerini ortaya çıkarmak için birçok farklı yöntem kullanılmaktadır. Bunların en popülerlerinden biri ise istem (prompt) temelli tanı testleridir. Burada ele alacağımız 4 çalışmada da (Weir vd. (2020), Ettinger (2020), Ravichander vd. (2020), Misra vd. (2021)), farklı araştırma soruları için istem temelli testler geliştirilmiştir. Bu nedenle, bu çalışmaları daha iyi anlamak için öncelikle istem temelli testleri tanıyalım ve bu testlerin neleri amaçladıklarına açıklık getirelim.
İstem temelli testlerde, modele bir istem sunulur ve modelden bu istem doğrultusunda sözcük tahmini yapması beklenir. Modelden isteme karşılık olarak sıralı bir sözcük listesi alınır ve bu liste, o istem için model tarafından en uygun bulunan sözcükleri ve model tarafından bu sözcüklere atanan olasılık puanlarına ilişkin bilgiyi içerir. Görsel 1’de modele verilen “kuşlar” istemine karşılık olarak modelin ürettiği sözcükleri ve aynı şekilde sözcüklerin sırasını ve bu sözcüklere model tarafından atanan olasılık puanını görebilirsiniz.
Araştırmacılar, istem temelli testler aracılığıyla modellerin belirli dilsel bağlamlardaki davranışlarını incelerler. Böylelikle bu istemler için üretilen sözcükler, bu sözcüklerin olasılık puanları ve istemler arasındaki farklılıkların model üretimine etkisi gibi farklı bilgilerden yola çıkarak modellerin sahip oldukları bilgiler hakkında genellemelere varmaya çalışırlar.
Kavramlar ve Özellikleri
Weir vd. (2020) büyük dil modellerinin kavramlar ve kavramların özellikleri arasındaki ilişkiye ilişkin bilgiyi öneğitim süreçlerinde edinip edinmediklerini ele alır. Bunun için, modellerin bilgisinde kavramlara ilişkin basmakalıp örtük varsayımların (stereotypic tacit assumptions) varlığını test eder.
Basmakalıp örtük varsayımlar (BÖV), varlıklar hakkında yaygın olarak kabul edilen inançlardır (Prince 1978) ve varlıkların ilişkilendirildiği kategoriler ve kavramlarla ilgilidirler. BÖV’ler aslında kavram özellikleridir. BÖV’leri diğer kavram özelliklerinden ayıran, kavramlarla ilişkilendirilen özelliklerin kişiden kişiye farklılık gösterebilmesi, BÖV’lerin ise en sık ve birçok insan tarafından kavramla ilişkilendirilen özellikler olmasıdır.
Bu amaçla Weir vd. (2020), McRae vd. (2005)’de insanlar için tasarlanan testlerden yola çıkarak büyük dil modelleri için iki farklı test geliştirir. İlk testte kavramlardan başlanır ve modellerin kavramlara ait özellikleri sıralayıp sıralayamadığına odaklanılır. İkinci testte ise BÖV’ler verilerek modellerin bu özelliklerden yola çıkarak doğru kavramlara ulaşıp ulaşamadığına odaklanılır.
Kuşların ___ vardır.
McRae vd. (2005) çalışmasında, insanlardan kavramlara ilişkin farklı özellikleri listelemelerini ister, örneğin; kuşlar canlıdır, kuşların gagaları vardır, kuşlar uçar, vb. Weir vd. (2020) ise bu deneyi BERT ve RoBERTa modellerinin bilgisini test etmek için istem temelli testler tasarlayarak bu modeller için uyarlar. Bunun için modellere Görsel 2’deki gibi, kavramların farklı özelliklerini üretebilecekleri istemler sunar. Bu istemler için üretilen sözcükler, McRae vd. (2005)’de insanlar tarafından üretilen özelliklerle karşılaştırılır ve bu iki liste arasında örtüşme olup olmadığı değerlendirilir.
Bu karşılaştırmanın sonucunda model ve insan üretimlerinde örtüşmeler olduğu ortaya çıkmaktadır. Ancak bunun yanı sıra modellerin sunulan kavramlardan bağımsız olarak sıklıkla tekrar ettiği üretimler vardır. Modellerden bir sıfat üretilmesi istediğinde modeller “dangerous” (‘tehlikeli’) sıfatını addan bağımsız olarak çok sık üretir. Benzer bir şekilde, “made of __” (‘_dan yapılmıştır’) istemi verildiğinde modeller sıklıkla “wood” (‘tahta’) sözcüğünü üretmektedir. Örneğin, modele “Hamsterların ___ olduğunu herkes bilir.” istemi verildiğinde birçok ad için olduğu gibi boşluk için “tehlikeli” sözcüğünü üretir.
Peki insanlar ve modellerden alınan yanıtların karşılaştırılması bize gerçekten anlamlı sonuçlar verebilir mi? Bu konuda göz önünde bulundurulması gereken birkaç önemli detay var. İlk olarak modellerin ve insanların bu deneylerdeki sözcük üretim süreçleri farklıdır. Bir istem verildiğinde modeller, o istem için dilbilgisel ve hatta anlamsal olarak en uygun sözcükleri sıralayabileceklerdir. Ancak sıraladıkları sözcükler, insanlardan alınan yanıtlar gibi deneyin amacına uygun olmak zorunda değildir. Weir vd. (2020)’nin de belirttiği gibi bunun nedeni, insanlardan deney için açık bir şekilde kavramlara ait özelliklerin sıralamasını istememizdir, buna karşın modeller böyle bir önhazırlama (priming) sürecinden geçmezler[4].
Buna ek olarak böyle bir görevde insanlar, kavrama ait ayırıcı özellikleri sıralayacakken[5] modelden alınan yanıtın bir özellik olması durumunda bile, bu özelliğin kavram için ayırıcı bir özellik olmasını beklemek çok gerçekçi değildir. Örneğin, Görsel 1’de “kuşlar” istemi için model tarafından üretilen sözcüklerden bazıları özellik değildir (“öldü”, “burada”), bazıları ise özellik olsa bile (“güzeldir”) ayırıcı değildir. Bunları önlemek için bu çalışmada istemler, “Everyone knows that” (’herkes bilir ki’) yapısı ile başlatılır. Bu şekilde modelin, kavramların genel özellikleri hakkında üretim yapmasının sağlanması amaçlanır.
___ kanatlıdır, yumurtlar ve gagaları vardır.
Weir vd. (2020) ikinci deneyde modellerin, kavramların BÖV’lerinden yola çıkarak kavram adına ulaşıp ulaşamadıklarına odaklanır. Bunun için McRae vd. (2005)’de kavramlar için üretilen özellikleri kullanarak istemler oluşturulur. Her kavram için farklı sayıda özellikler içeren (1–10) istemler yaratılır ve bu istemler için modelden kavram adını tahmin etmesi istenir. Görsel 4’te, Weir vd. (2020)’da “ayı” kavramı için farklı sayıda BÖV içeren istemleri ve buna karşılık modelin sözcük tahminlerini görmekteyiz.
Deneyin sonuçlarında, sadece bir özellik verilen istemler için bile modelden alınan sözcük listelerinde doğru yanıtın olduğunu görmekteyiz. Verilen özellik sayısı arttıkça da doğru tahminlerin sayısı ve doğru tahmine model tarafından atanan olasılık puanı artmaktadır (bkz: Görsel 4).
İstemler için üretilen sözcük listelerine yakından baktığımızda, doğru yanıt dışındaki diğer yüksek puanlı tahminlerin genellikle aynı özelliklere sahip başka kavramlar olduğunu görmekteyiz. Verilen özellik sayısının arttırılması ile doğru yanıt daha çok netleşir ve bu da modelin tahminlerine olumlu olarak yansır. Örneğin, “___ büyüktür ve tüyleri ve pençeleri vardır.” tümcesi, “kaplan” ve “aslan” tahminlerinin ikisi için de doğrudur. “ormanda yaşar” gibi bir özelliğin bu özelliklere eklenmesi ile hangi kavramdan bahsedildiği daha çok netleşir. Bunun nedeni temel olarak anlam belirsizliğinin giderilmesidir (disambiguation). İnsanlara benzer bir deney düzeneği sunulduğunda insanların da modellere benzer şekilde davranacağı tahmin edilebilir.
Kategori Üyeliği
Güvercin bir kuştur ve güvercin bir kuş değildir.
Ettinger (2020) çalışmasında olumsuzlamanın (negation), BERT modelinin kategori adı üretimindeki etkisini ele alır. İlk olarak, modele üye adlarının olduğu istemler verilir ve modelin bu istemler için doğru kategori adını üretip üretmediği incelenir. Deneyin sonuçları, modelin her istem için doğru kategori adını üretebildiğini göstermektedir.
Ancak olumsuzlamanın dahil edilmesiyle işler ilginçleşir. Ettinger (2020) aynı istemleri olumsuz formda modele tekrar verir (“Güvercin bir ___.” ve “Güvercin bir ___ değildir.”). Bunun sonucunda modelin sözcük tahminlerinde herhangi bir değişiklik tespit etmez. Model hem olumlu hem de olumsuzluk içeren istemler için aynı kategori adlarını üretir. Bu da modelin insanlardan farklı anlam üretme süreçlerine sahip olduğu ve modelin öğrenmesinin sözcüklerin birlikte bulunma olasılıklarını ezberlemekten ibaret olduğu düşüncelerini pekiştirmektedir.
Güvercin bir kuştur. Peki, güvercinler kuş mudur?
Ravichander vd. (2020), Ettinger (2020)’in çalışmasından yola çıkarak büyük dil modellerinin kategori üyeliğine ilişkin bilgilerinin genellenebilirliğini test eder. Bunun için, modelin farklı yapılar için tutarlı bir şekilde kategori üyeliğine uygun şekilde sözcük üretip üretemediğine odaklanır. Bunun için BERT modeline üye adlarını içeren istemleri hem tekil hem de çoğul olmak üzere iki formda sunar ve modelin iki form için de doğru kategori adını üretip üretmediği değerlendirir. Çalışmanın sonuçları, Ettinger (2020)’in çalışmasından farklı olarak tekil tümcelerde de modelin her zaman doğru yanıtı üretemediği göstermektedir. Buna ek olarak, modelin çoğul tümcelerde kategori adını üretmede daha başarısız olduğu ortaya çıkmaktadır. Bu da bu bilginin modeller için genellenebilir olmadığını göstermektedir.
Bu bilgi eğer genellenebilir değilse, o zaman bu testlerde model, sözcüklerin sıklığı ve sözcüklerin birlikte bulunma olasılıkları gibi istatiksel bilgilerden mi yararlanır? Ravichander vd. (2020) ek olarak bu soruyu aydınlatmayı hedefler ve model davranışlarını ve model eğitim verilerini daha yakından inceler. Model davranışlarında, doğru yanıt verilen üye adlarının sıklığı yüksek sözcükler olduğu görülmektedir. Model eğitim verilerinde ise, testlerde ele alınan üye ve kategori adı çiftlerinin %78'inin sınıflandırıcı tümcelerinin (taxonomic sentences) (“X bir Y’dir.”) bulunduğu belirlenir. Bu yüzde model performansından bile yüksek bir orandır[6]. Bu da modelin performansının eğitim verilerinde bulunan yapıların ezberlenmesinden kaynaklandığını gösterir.
Tipik Öğeler
Misra vd. (2021) öğelerin tipikliğine ilişkin insanlarda gözlemlenen eğilimlerin büyük dil modellerinde de görülüp görülmediğini araştırır. Bunun için öğelerin tipikliğinin yapılan deneysel çalışmalarda gözlemlenen iki önemli etkisine odaklanır. Birincisi, tipik öğelerin kategoriler ile ilişkilendirilmesinin atipik öğelere kıyasla daha kolay olmasıdır (Rips vd., 1973; Rosch, 1973). İkincisi ise, daha önceden bilinmeyen özelliklerin tipik öğelerle sunumunun kategorilere ilişkin tümevarımsal çıkarımı kolaylaştırmasıdır (Rips 1975, Osherson vd. 1990).
Penguen bir kuştur ama güvercin kadar değil.
İnsanlarla yapılan deneysel çalışmalar, öğelerin tipikliğinin taksonomik tümce doğrulama görevlerinde (taxonomic sentence verification tasks) yanıt süreleri üzerinde etkisinin olduğunu göstermektedir (Rips vd., 1973; Rosch, 1973). Deneklere verilen “X bir Y’dir.” gibi, X’in bir öğe ve Y’nin ise kategori adı olduğu sınıflandırıcı bir tümcede, X’in tipik bir öğe olduğu durumda tümcenin doğruluğunun onaylanma hızı, atipik olduğu durumdan çok daha fazladır.
Misra vd. (2021) aynı etkiyi büyük dil modellerinin dil üretiminde görmeyi amaçlamaktadır. Bunun için GPT, GPT2, ELECTRA, ALBERT, BERT ve RoBERTa modelleri ile çalışırlar. Bu modellere Görsel 6’da gösterildiği gibi “Güvercin bir” veya “Penguen bir” gibi tipiklikleri farklı öğeler içeren istemler vererek “kuştur” sözcüğüne atanan olasılık puanını karşılaştırır.[7] Burada beklenen sonuç tipikliği yüksek öğelerle olasılık puanının artmasıdır, böylelikle modellerin tipiklik konusunda insanlara benzer eğilimler gösterdiği sonucuna varılacaktır. Deneyin sonuçları da bunu göstermektedir, tipikliği yüksek öğelerle olasılık puanı artmaktadır.
Bu çalışmanın önemli yanlarından biri, böyle bir davranışın temelinde istatiksel bilginin öğrenilmesinin ötesinde başka bir öğreniminin yatıp yatmadığını incelemesidir. Bunun için Misra vd. (2021), sadece istatiksel bilgiyi öğrenen bir modelle büyük dil modellerinin bu testteki performanslarını karşılaştırır. Bu karşılaştırma ise büyük dil modellerinin, istatiksel modelle benzer performansa sahip olduğunu göstermektedir. Bu da model ve insanların tipiklik yargıları arasındaki benzerliklerin basit istatiksel öğrenmeden kaynaklandığını göstermektedir.
Güvercinler soğan sever. Peki, kuşlar soğan sever mi?
İnsanlarla yapılan çalışmalar, öğelerin tipikliğinin tümevarımsal çıkarımı (inductive inference) etkilediğini ortaya koymaktadır (Rips 1975, Osherson vd. 1990). Osherson vd. (1990) çalışmasında, kategorilerle ilgili verilen yeni bilgilerin, bilgiler tipik öğelerle sunulduğunda daha inandırıcı olduğunu göstermektedir. Osherson vd. (1990), bu çalışma için boş yüklemlemelerden (blank predicates) yararlanır. Boş yüklemlemeler, kategoriye ait alışılmadık özellikleri ifade eder. Örneğin, kuşlar için “soğan sevmek” böyle bir özelliktir, çünkü insan zihninde bu özellik ve kategori arasında halihazırda bir ilişki yoktur. Bu yüklemlemelerin kullanımıyla deneyde, zihinde halihazırda var olan bilgilerin tümevarımsal çıkarım sürecine etkisi kontrol edilmiş olunur. Osherson vd. (1990)’nin çalışması bize “Güvercinler soğan sever. Kuşlar soğan sever.” ve “Penguenler soğan sever. Kuşlar soğan sever.” gibi iki çıkarım sunulduğunda ilk çıkarımın bizim için daha kolay ve inandırıcı olduğunu göstermektedir. Bunun nedeni ise “güvercin”in daha tipik bir öğe olmasıdır.
Misra vd. (2021) bu etkiyi büyük dil modelleri özelinde ortaya çıkarmayı amaçlar. Bunun için Osherson vd. (1990)’da ele alınan öğeler ve kategorilere yer verilir ancak boş yüklemlemeler yerine bu deneyde anlık sözcükler (nonce words)[8] kullanılır. Bunun nedeni ise, benzer bir şekilde, var olan sözcüklere ilişkin bilginin model kararını etkilemesini engellemektir. Bu nedenle de modelin söz varlığında bu özelliklerin bulunmadığına emin olmak gerekmektedir.
Misra vd. (2021), bu deneyde de ilk deneye benzer bir şekilde istemdeki öğenin tipikliğinin üretilen sözcüğün olasılık puanını etkileyip etkilemediğine odaklanır. Bu deneyde modele sunulan istem ilk tümce “Güvercinler tular.”, model tarafından üretilmesi beklenen ise ikinci tümce “Kuşlar tular.”dır (bkz: Görsel 6). Bu deneyin sonuçlarında da istemdeki öğenin tipikliğinin üretimde etkisinin olduğunu görmekteyiz. Ancak bu çalışmada öğelerin sözcük sıklığının etkileri göz önünde bulundurulmamıştır Tipikliğin ötesinde sözcük sıklığının da bu testlerde benzer davranış örüntülerine neden olabileceği dikkate alınmalıdır.
Sonuç
Serinin bu yazısında büyük dil modellerinin kavramlara ilişkin bilgilerini sorgulayan yorumlanabilirlik çalışmalarına değindik. Değinilen çalışmalarda kavramlar ve özellikleri arasındaki ilişkiler, kategori üyeliği, tipiklik gibi farklı konular odağında büyük dil modellerinin bilgilerinin test edildiğini gördük. Bu çalışmaların sonucunda modellerin kavramlarla ilgili bilgilere sahip olduklarını ve model davranışları ile insan davranışları arasında bir örtüşme olduğunu tespit etsek de bu bilginin ve örtüşmelerin çoğu zaman dilin istatistiki bilgisinin öğrenilmesiyle ilişkili olduğu sonucuna vardık.
Notlar
[1]Sözcük anlamına ilişkin farklı bilişsel bilim temelli yaklaşımlar vardır. Bu yaklaşımlar, sözcük anlamı ve kavramlar arasında ilişki, önce kavramların mı yoksa sözcüklerin mi geldiği, kavramların zihinsel oluşumunda dilin etkisi gibi konulardaki açıklamaları açısından farklılık göstermektedir. Genel bilgi için şu ansiklopedi maddesine bakabilirsiniz: https://plato.stanford.edu/entries/word-meaning/.
[2] Bir kategori için en tipik üye prototiptir (prototype).
[3] Örneğin, “kuş” kategorisi için “kanatlıdır” ayırıcı bir özelliktir, yani “kuş” kategorisini diğer kategorilerden farklı ve belirgin kılan bir özelliktir.
[4] Bu çalışmanın eskice olduğu göz önünde bulundurulursa, ChatGPT’yle yapılacak bir çalışmada bu sorun ortadan kaldırılabilir.
[5] McRae vd. (2005), insanların bu özelliğin doğru olduğunu bilseler de bir köpeği tanımlarken “kalemden daha büyük” özelliğini kullanmayacağını belirtir.
[6] Modelin tekil istemlerdeki kategori adlarının üretimindeki doğruluk oranı %77’dir.
[7]Öğelerin tipikliğinin belirlenmesinde, Rosch’ta (1975) insanlardan alınan tipiklik yargıları sonuçları temel alınmıştır.
[8] Anlık sözcükler, dilde var olmayan ve anlık kullanım için üretilen sözcüklerdir.
Kaynakça
Ettinger, A. (2020). What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, 8, 34–48.
Garrod, S., & Sanford, A. (1977). Interpreting anaphoric relations: The integration of semantic information while reading. Journal of Verbal Learning and Verbal Behavior, 16.77–90.
Hampton, J. A. (1979). Polymorphous concepts in semantic memory. Journal of Verbal Learning and Verbal Behavior, 18, 441–461.
McCloskey, M. E., & Glucksberg, S. (1978). Natural categories: Well defined or fuzzy sets? Memory & Cognition, 6, 462–472.
McRae, K., Cree, G. S., Seidenberg, M. S., & McNorgan, C. (2005). Semantic feature production norms for a large set of living and nonliving things. Behavior Research Methods, 37(4), 547–559.
Mervis, C. B. & Pani J. R. (1980) Acquisition of basic object categories. Cognitive Psychology. October; 12(4): 496–522.
Misra, K., Ettinger, A., & Rayz, J. T. (2021). Do language models learn typicality judgments from text?. In Proceedings of the 43rd Annual Conference of the Cognitive Science Society.
Onishi, K. H., Murphy, G. L., & Bock, K. (2008). Prototypicality in sentence production. Cognitive Psychology, 56(2), 103–141.
Osherson, D. N., Smith, E. E., Wilkie, O., Lopez, A., & Shafir, E. (1990). Category-based induction. Psychological review, 97(2), 185.
Ravichander, A., Hovy, E., Suleman, K., Trischler, A., & Cheung, J. C. K. (2020). On the systematicity of probing contextualized word representations: The case of hypernymy in BERT. In Proceedings of the Ninth Joint Conference on Lexical and Computational Semantics (pp. 88–102).
Rips, L. J., Shoben, E. J., & Smith, E. E. (1973). Semantic distance and the verification of semantic relations. Journal of verbal learning and verbal behavior, 12(1), 1–20.
Rips, L. J. (1975). Inductive judgments about natural categories. Journal of verbal learning and verbal behavior, 14(6), 665–681.
Rosch, E. H. (1973). On the internal structure of perceptual and semantic categories. In T. E. Moore (Ed.), Cognitive development and the acquisition of language (pp. 111–144). New York, NY: Academic Press.
Rosch, E., & Mervis, C. B. (1975). Family resemblance: Studies in the internal structure of categories. Cognitive Psychology, 7, 573–605.
Weir, N., Poliak, A., & Van Durme, B. (2020). Probing neural language models for human tacit assumptions. arXiv preprint arXiv:2004.04877.
