Doğal Dil İşleme Rehberi
Doğal Dil İşleme veya orijinal ismiyle Natural Language Processing (NLP), yapay zekanın gelişimi ve dil bilimle ortaklaşa geliştirilen çalışmalar sonucunda hayatımıza girmiş bir terimdir. En geniş kapsamıyla doğal dil işleme, Türkçe, İngilizce gibi doğal dillerdeki metinlerin, ses dalgalarının bilgisayar tarafından algılanarak yazılım programında çözümlenmesi ve bilgisayar ortamına aktarılmasıdır. Bilim insanları, doğal dil işleme üzerinde 50 yılı aşkın zamandır çalışmaktadırlar. Hem dil bilimini hem de bilgisayar teknolojileri ve yapay zekayı yakından ilgilendiren bu konunun neden bu kadar önemli olduğunu bu yazımızda işleyeceğiz.
Doğal Dil
Herkesin bildiği üzere, doğal dil insanların iletişim kurması ve hayatta kalması için kullanılan en temel özelliklerden biridir. Sosyal bir insanın günlük hayatında dilden uzak kalması mümkün değildir. Konuşmanın haricinde herhangi bir yerde rastlanabilecek metinler, işaretler, menüler, e-postalar, SMS, internet sayfaları, reklamlar ve daha nice örnekle dil karşımıza çıkmaktadır. Konuşma da yine aynı şekilde hayatımızın her alanında yer alan ve hatta yazmaktan daha kolay ifade ettiğimiz dil özelliğidir. Haliyle insanlar ses ve metin ile tüm işlerini halledebilmektedirler.
Doğal Dilin Zorluğu
Ana dilde konuşmak her ne kadar kolay gibi görünse de, dil edinimi gerçekten de zorlayıcı ve zaman alan bir süreçtir. Farklı bir yabancı dili ne gibi süreçler atlatarak öğrendiğinizi ya da öğrenemediğinizi düşünebilirsiniz. Ayrıca dilin canlı bir organizma gibi düşünülmesi gerekir. Gündelik dilde bile değişen zamanla birlikte değişen birçok kelime ve durum ifadesi vardır. Doğal dili anlama ve doğal dilde düşünebilme süreci beyin içinde karmaşık bir yapıya sahipken, bunu hemen anlayarak bilgisayar ortamında yazılıma dökebilmek için de çok fazla mesai harcanmıştır. 50 yılı geçen bir süre sonucunda yapay zeka modüllerinin geliştirilmesi ile doğal dil işleme ortaya çıkmıştır.
Dil Bilimden Doğal Dil İşlemeye
Dil bilim, dil bilgisi, anlam bilim ve fonetik dahil olmak en küçük anlamı açıklamaktan söz dizimine ve anlam bütünlüğüne kadar uzanan bilimsel bir çalışmadır.
Klasik dil bilim, dil kurallarını geliştirmek ve değerlendirmekle ilgilidir. Söz dizim ve semantik için resmi yöntemlerle ilgili büyük ilerlemeler kaydedilmiştir. Yani kullanılan sözcükler ve cümle yapılarındaki kurallar, birer matematik formülü gibi açıklanabilmektedir. Ancak beynin karmaşık yapısında oluşturulan ve kitlelerce kabul gördüğü halde dilin kurallarıyla açıklanamayan istisnalar da hemen her dilde mevcuttur. Haliyle dilin doğal yapısı bir yerde matematiğe direniyor denilebilir.
Matematik, bir bilim aracıdır. Doğal dil üzerinde çalışan matematikçiler, matematiksel dil bilim olarak çalışmalarına atıfta bulunarak, yalnızca özel matematiksel formüllerin ve biçimsel diller gibi doğal dil kuramının konuşurlar tarafından kullanımına odaklanırlar.
Hesaplamalı dil bilim, bilgisayar bilimi araçlarını kullanarak modern dil bilimsel çalışmalarını yürüten bir alt daldır. Hesaplamalı dil bilim, doğal dilin anlaşılması ve üretilmesi için bilgisayar sistemlerinin çalışmasıdır. Böylece teorik ölçümler ve sağlamalar gerçekleştirilerek yazılımlara hazırlık yapılır. Dev veriler toplandıkça da yeni ve farklı şeylerin keşfedilebileceği ve bilimin ilerletilebileceği gündeme gelir.
Doğal dil işleme için Data-Drive yöntemleri artık o kadar popüler hale gelmiştir ki, bunlar hesaplama dil bilimine ana akım yaklaşımlar olarak düşünülmelidir. Bu gelişime güçlü bir katkı sağlayan faktör, şüphesiz, bu yöntemlerin uygulanabileceği mevcut elektronik olarak depolanmış verilerin artış miktarıdır.
Diğer bir faktör ise, yine de istisnaların bulunabileceğidir. Tüm bilginin elde edilmesi ve kodlanması, etkili ve güçlü dil sistemlerinin geliştirilmesine katkı sağlayarak sözlü makine öğrenme yöntemlerinin ilerletilmesine katkı sağlar.
İstatistiksel Doğal Dil İşleme
Hesaplamalı dil bilim, istatistiksel yöntemlerin daha mühendis tabanlı veya ampirik yaklaşımını yansıtmak için doğal dil süreci veya NLP adıyla da bilinir.
Alanın istatistiksel baskınlığı da sıklıkla NLP’nin İstatistiksel Doğal Dil İşleme olarak tanımlanmasını sağladığı gibi bir yerde de klasik dil bilim yöntemlerinden ayrılır.
Hesaplamalı dil bilim, hem bilimsel hem de mühendislik olarak görülebilir. Genellikle doğal dil işleme (NLP) olarak adlandırılan hesaplamalı dil bilimin mühendislik ve yapay zeka tarafı, büyük ölçüde, dil ile yararlı şeyler yapan hesaplama araçları oluşturma ile ilgilidir. Örneğin, makine çevirisi, özetleme, soru cevaplama gibi programlar doğal dil işlemeden yararlanır.
Basitçe ifade edersek, istatistiksel NLP olasılıkları, bir ifadeyi veya metni analiz ederken karşılaşılan alternatiflerle ilişkilendirir ve en olası sonucu doğru olanı kabul eder. Şaşırtıcı olmayan bir şekilde, dünyayla yakından ilişkili olan olguları olan sözcükler sık sık birbirine yaklaşır ve bu türdeki metinleri hızlıca çözmek daha kolay ve güvenilir olabilir.
Doğal Dil İşleme Yöntemleri
Makine öğrenimi uygulayıcılarının metin verileriyle ilgilenirken, Doğal Dil İşleme alanındaki araç ve yöntemlere yakından bakmak gerekir.
Bir önceki bölümde dil bilimden NLP’ye giden yolu gördük. Şimdi, modern araştırmacıların ve uygulayıcıların NLP’nin neyle ilgili olduğunu nasıl tanımladıklarını inceleyelim.
Belki de, bu alandaki en iyi araştırmacıların yazdığı daha geniş kapsamlı ders kitaplarından birinde, konuya hem klasik dil bilim hem de modern istatistiksel yöntemlerin tartışılmasına izin veren “dil bilim bilimi” denir.
Dil biliminin amacı, etrafımızda dolaşan konuşmaların ve diğer medyanın çok yönlü dil bilimsel gözlemlerini karakterize edip açıklayabilmektir. Bunun bir kısmı, insanların dilin nasıl edinildiğini, üreteceğini ve anladığını bilişsel büyüklüğü ile ilgilidir, diğer bir kısmı dilsel sözler ve dünya arasındaki ilişkiyi anlamakla yani dilsel yapıları anlayabilmekle ilgilidir.
İstatistiksel NLP, doğal dil alanı için istatistiksel çıkarım yapmayı amaçlamaktadır. Genel olarak istatistiksel çıkarım, bazı verilerin (bazı bilinmeyen olasılık dağılımına göre üretilmiştir) alınması ve daha sonra bu dağılım hakkında bazı çıkarımlarda bulunmasından oluşur.
Doğal Dil İşleme Nasıl Çalışır?
Doğal dil işleme, insan dillerinin otomatik hesaplama olduğundan, sürece insan tarafından üretilen metni girdi olarak alan algoritmalar ve çıktılar olarak doğal görünümlü metinler üreten algoritmalar dahildir.
Diyalog temelli bir yapay zeka uzman sisteminden karar almak istediğinizde, robotun sizin talimatlarınız doğrultusunda işlemleri gerçekleştirmesi gibi akıllı bir sistemin çalışması için sizin konuştuğunuz doğal dilin işlenmesi gerekir.
NLP alanı, bilgisayarları insanların kullandığı doğal dillerle yararlı görevleri yerine getirmeyi gerektirir. NLP’nin girdisini doğal konuşma, çıktısını da yazılı metin oluşturur. NLP’nin temel iki bileşeni vardır. Bunlardan ilki NLU olarak kısaltılan doğal dil anlayışıdır. Anlama şu görevleri içerir; verilen girdinin doğal dilde yararlı temsillerle eşlenmesi ve dilin farlı yönlerini analiz etmek. Diğer bileşen ise NLG kısaltması ile anılan doğal dil üretimidir.
NLG, bazı iç temsillerden doğal dil biçiminde anlamlı söz öbeklerini ve cümleleri üretme sürecidir. Bu süreçte, yapay zeka tarafından içerik algılanır, ilgili içeriği bilgi tabanından alınması sağlanarak metin planlaması gerçekleşir. Planlamaya göre istenilen kelimeler seçilir ve cümlelerin oluşturulmasıyla cümlenin tonu belirlenmeye başlanır. Ardından cümle planının cümle yapısıyla eşleştirilmesi gerçekleşir.
Yapay zekanın iki bileşeninden NLU, NLG’den daha zordur. Doğal dil anlayışındaki zorluklar, doğal dilin son derece zengin bir yapıya sahip olmasından ileri gelmektedir. Daha önce doğal dil bölümünde detaylıca açıkladığımız nedenlerden dolayı dilin farklı seviyelerinde belirsizlik olabilir. Sözcüksel belirsizlik, kelime seviyesi gibi çok ilkel düzeyde olabilir.
Örneğin “yaz” kelimesinin isim olarak mı yoksa fiil olarak mı kullandığınızın algılaması zor olabilir. Söz dizimi seviyesinde “Doktor ona baktı.” gibi bir cümlede doğru tonlama yapılmadıysa ses algısında ayrıştırma zor olabilir. Özellikle Türkçe gibi eril/dişil ayrımı olmayan dillerde zamir belirsizliği yaşanabilir. Bunların önüne geçebilmek için işlenen dilin kodları maksimum derecede detaylandırılarak işlenmelidir.
Cümlelerin ve söz öbeklerinin kodlandığı dil bilimsel ağaçlar ne kadar doğru çizilirse sonuçlar da o kadar güvenilir olur. Ayrıştırma ağacı, cümleyi yapılandırılmış parçalara ayırır, böylece bilgisayar dili kolayca anlayabilir ve işleyebilir. Ayrıştırma algoritmasının bu ayrıştırma ağacını oluşturması için yapay zeka kodlamasında hangi ağaç yapılarının doğru olduğunu açıklayan bir dizi yeniden yazma kuralları oluşturulmalıdır.
Yapay Zekayla Doğal Dil İşlemenin Şirketlere Faydaları
Yapay zeka katkılarıyla birlikte doğal dil işleme sürecinin sunduğu faydalar ve imkanlar oldukça geniştir. Birkaç örnek üzerinden NLP’nin faydalarına aşağıda göz atalım:
Makine çevirisi, en çok bilinen ve sıkça kullanılan NLP uygulamalarından biridir. Buna rağmen en yaygın kullanılanı değildir. Ara ya da search butonunu düşünün. Her zaman Google veya Bing’de bir şey ararken, sisteme dilinizde bilgiler girerek onları verilerle besliyorsunuz. Bir arama sonucuna tıkladığınızda, sistem sizin için bulduğu sonuçları sıralar ve doğruluğunu öğrenip daha iyi aramalar yapabilmek için size “bunu mu demek istediniz?” tarzında sorular ya da düzeltmeler sunarak onayınızı ister. İleride girilecek benzer gelimeler ya da cümleler için de bu bilgilerden faydalanır.
Chatbotlar da aynı şekilde çalışır: Slack, Microsoft Messenger ve kullandığınız dilin okunduğu diğer sohbet programları ile entegre olurlar, daha sonra bir tetikleyici ifadesi yazdığınızda açılırlar. Siri ve Alexa gibi sesli asistanlar da “Hey, Siri” gibi ifadeleri duyduklarında hemen dili dönüştürerek uyanırlar. Yani, eğer dil işleme programları olmasaydı onları asla uyandıramaz ve komut veremezdiniz. Haliyle onlara ne zaman ihtiyacınız olduğunu asla bilemezlerdi. Doğal dil programları böyle uygulamalarda arka planda çalışarak sizden gelecek ifadenin algılanmasını beklerler.
Her zaman orada olsalar bile, NLP elbette bir “Big Brother” değildir. Günlük hayatınızda sadece Google arama olmadan bir haftanızın nasıl geçeceğini hayal edin. Ya da yazdığınız kelimeleri sözlükte karşılaştırmak için NLP’yi kullanan yazım denetimlerini…
Kısaca, NLP hayatımızın odak noktası haline geldi ve faydaları çok fazla. Bir de iş dünyası tarafını inceleyelim. Arama motoru, yazım ve imla kontrolleri gerçekten iş hayatında da çok yaygındır.
İnsan Kaynakları birimini aramadan kaç tatil gününüzün kaldığını öğrenmek ister miydiniz?
Örneğin böyle bir şeyi öğrenmek için NLP kullanılabilir. Zamandan tasarruf ettiren şirket yöneticileri, bir yanıt için şirket politikalarını araştıran bir chatbot olan Talla’yı geliştirmiş.
Telefondasınız ve son arama numaralarına mı ihtiyacınız var?
Konuşma ve sesli arama başlangıcında bunları söyleyin. SecondMind uygulaması ekranınızda cevabı gösterecektir. NLP kullanan bu şirket, entegre arama aracının, muhasebe ve müşteri kaynaklarının on katına kadar daha kısa aramalar yapmasını sağlıyor. Böylece işte verimlilik ve zaman kullanımının yanı sıra ciddi kazanımlar elde ediyor. Siz de şirketinizde bu tarz yenilikler yaparak hem çalışanlarınıza katkı sağlayabilir, hem de bu türlü bir denetimle şirketinizde birçok iş yönünden tasarruf sağlayabilirsiniz.
Doğal dil işleme, aynı zamanda iş arayanların öz geçmişleri arasında çeşitlendirmelerine, farklı adayları çekmelerine ve daha nitelikli çalışanlar işe almasına yardımcı olur. Bu, metin analizi gerektiren türden bir dil çözümlemesidir ve bu sayede örneğin X üniversitesinden mezun olan adaylar ya da Y dilini bilen kişiler öncelik sırasındaysa, gelen CV’lerde yer alan metinleri tarayarak onları sizin için düzenleyebilir.
Spam algılama, istenmeyen e-postayı gelen kutunuzdan uzak tutmak için de aynı mantıkla NLP kullanılabilir. Outlook ve Gmail gibi programlar, metinleri algılayarak belirli kişilerden gelen mesajları oluşturduğunuz klasörlere ayırır. Örneğin tanıtımlar, sosyal medya ya da birincil klasörleri oluşturur ve sizin için hemen her şeyi derleyip toplayarak işlerinizi daha hızlı halletmenize yardım eder.
İş hayatında duyarlılık analizi gibi araçlar, şirketlerle ilgili tweet’lerin iyi ya da kötü olup olmadıklarını hızlı bir şekilde fark etmelerine yardımcı olur, böylece müşteri memnuniyeti araştırması ve marka itibarına dair analizler yapılabilir. Analiz firması Periscopic’ten veri görselleştiricisi Skye Morét, İngilizce kelimelerin %30’unun pozitif olduğunu söylüyor. Geri kalanlarsa nötr ya da negatif diyerek ekliyor ve bu noktada NLP dönüştürücülerinin ifadelerle, giflerle durumun daha iyi analiz edildiğini ekliyor. Evet, bugüne kadar geleneksel olarak, şirketler geri bildirimi olumlu veya olumsuz olarak sınıflandırmak için doğal dil işlemeyi kullandılar. Ancak, FleishmanHillard’daki sosyal ve inovasyondan sorumlu kıdemli başkan yardımcısı Ryan Smith, bugünün araçlarının yapay zeka sayesinde en fazla kullanılan üzüntü, öfke ve korku gibi daha kesin duyguları tanımladığını ve bunların marka için büyük değer taşıdığını söylüyor.
Doğal dil işleme, şirketler tarafından dokümantasyon süreçlerinin verimliliğini artırmak, belgelerin doğruluğunu geliştirmek ve büyük veri tabanlarından en uygun bilgileri belirlemek için kullanılabilir. Örneğin, bir hastane hekimin yapılandırılmamış notlarından belirli bir teşhis almak ve bir fatura kodu atamak için bile doğal dil işlemeyi kullanabilir. Özetle doğal dil işlemenin yararları sayısızdır ve hayatın hemen her anındadır.
Doğal Dil İşlemede Sosyal Faydalar
Şirketlerin verileri işlemesine yardımcı olmanın yanı sıra, duygu analizi de toplumu anlamamıza yardımcı olmaktadır, bu bir nevi genel müşteri profilinin tanınması için şirketlere de dolaylı fayda sağlar diyebiliriz. Örneğin, Periscopic, ABD Başkanı Donald Trump’ın duygusal durumunu izlemek için dil ve yüz ifadelerini işleyen bir veri motoru olan Trump-Emoticoaster’ı oluşturmak için görsel tanıma ile eşleştirilmiş NLP’ye sahiptir.
Benzer teknoloji okullardaki şiddet olaylarını da engelleyebilir: Columbia Üniversitesi’nde, araştırmacılar risk altındaki 9.000 genç üzerinden kaydedilen 2 milyon tweet’i işleyerek “Gençlerdeki dil değişimi nasıl onları şiddet olaylarına yaklaştırıyor?” gibi bir soruyu cevaplandırdılar. Böylece sosyal hizmet uzmanları, risk altındaki gençler için tedbirler alabiliyor.
Doğal dil işleme, kendi duygusal durumunuzu izlemenize de yardımcı olabilir. Woebot, bir Facebook Messenger, chatbot veya tek başına bir uygulama ile kullanıcılara bağlanan bir elektronik terapisttir. Henüz çok yüksek hassasiyetlere sahip olarak çalışmamatadır. Ancak Woebot, kullanıcılarının endişe ve depresyon düzeylerini takip edebilmektedir.
Doğal Dil İşlemenin Geleceği
Doğal dil işlemede büyük yol alınmış olsa da, şirket CEO’ları bu teknolojinin daha geliştirilecek çok fazla yönünün olduğunu düşünüyor. Bazen dilsel kodlamalarda sorun olursa işlemler karmaşık sonuçlar verebiliyor. Bu nedenle doğal dil işleme programıyla tam olarak neye hizmet verilmek istendiği, hangi fayda için kullanılacağı gibi saptamaların da iyi analizlerle yapılmış olması gerekir. Yine de uzmanlar bir sonraki teknoloji dalgasının NLP’yi algılayan NLP olduğunu savunuyor, buradan yapay zekanın daha birçok sahada kendini göstereceğini söyleyebiliriz. Sonuç olarak, şu andaki haliyle bile birçok alanda işleri kolaylaştıran ve hızlandıran NLP’nin daha da geliştikçe neler yapabileceği merak konusu.
