TinyBERT: Distilling BERT for Natural Language Understanding

TinyBERT: Doğal Dili Anlamak için BERT’i Damıtmak☺️

Birçok kişinin ve araştırmacının aslında uzun yıllardır var olan “dil modeli” göreviyle tanışmasını sağlayan BERT modeli, 2018 yılında sunulduğunda bugün tıpkı GPT-3'ün yarattığı hayranlığı yaratmıştı 🤩 Öyle ki araştırmacılar artık dil için ImageNet anının geldiğini söyler olmuşlardı 🥳

🚩Bu söylemin ne anlama geldiğini ve BERT’in yapısını incelediğim blog yazısı için böyle buyurun lütfen ✌🏻

Image for post
Image for post
by James Pond on Unsplash

BERT ve ardından peş peşe tanıtılan XLNet, RoBERTa, SpanBERT gibi önceden eğitilmiş dil modelleri birçok dil görevinde sağladıkları üstün başarılar ile adlarından söz ettirirken , diğer taraftan da çok fazla sayıda parametreye sahip olması ve cep telefonları gibi cihazlara yerleştirilmesi zor olan uzun çıkarım süresine ihtiyaç duyması yönleriyle araştırmacılara yeni bir geliştirme konusu sundular. …


Image Captioning in Turkish with Subword Units

Altsözcük Ögeleri ile Türkçe Görüntü Altyazılama

Her ne kadar Doğal Dil İşleme (DDİ — Natural Language Processing) çalışıyor olsam da, çalışma alanımı Bilgisayarlı Görü (BG — Computer Vision) ile ortak bir noktada birleştiren uygulamalar heyecanımı ve hevesimi gerçekten fazlasıyla artırıyor! Hele bir de bu uygulamaların anadilde gerçekleştiriliyor olması muazzam bir duygu!

Image for post
Image for post
Resim Kaynağı

Bu kez tam da bu söylediğim 2 özelliği barındıran, 2018 yılında Hacettepe Üniversitesi Bilgisayarlı Görü Laboratuvarı (HUCVL- Hacettepe University Computer Vision Lab.) araştırmacıları Menekşe Kuyu, Aykut Erdem, Erkut Erdem tarafından 26. Sinyal İşleme ve İletişim Uygulamaları (SİU) Kurultayı’nda sunulan “Image Captioning in Turkish with Subword Units” bildirisini ele alacağım!

💎Görüntü Altyazılama Problemi Nedir?

Veriler çoğalıyor, karmaşıklaşıyor ve işte bu noktada değişim ve dönüşüm başlıyor. …


Multiple-Attribute Text Style Transfer

Metinlerde Çok-Nitelikli Stil Transferi

Görüntüler üzerinde stil transferi uygulamalarının yarattığı şahanelerle mutlaka karşılaşmışsınızdır. — Henüz karşılaşmamış olanları Ayyüce Kızrak hocanın blog yazısına doğru alayım🤗 — Çok da beğenmediğiniz bir çiziminizin çok sevdiğiniz bir ressamın en ünlü eserinin stiline bürünmesi fazlasıyla harika değil mi 🤩 Ama bu yetenek yalnızca görüntü işleme ile sınırlı kalmasa ve doğal dildeki metinler üzerinde de yapılabilse daha da hayranlık yaratıcı olmaz mı 😇

Image for post
Image for post
Çalışmada önerilen modelin, sosyal medya verileri üzerine uygulanmasıyla elde edilen sonuçlardan bazı örnekler. Her bir kutudaki ilk satır, orijinal özniteliğe sahip veriyi ve ikinci satır verilen yeni özniteliğe göre üretilen metni gösterir.

Bu görev aslında Doğal Dil İşleme alanında daha önce pek çok araştırmacının ilgi odağı oldu ancak bu hafta incelediğim ICLR 2019'da sunulmuş olan “Multiple-Attribute Text Style Transfer” isimli konferans bildirisi yaş, cinsiyet, duygu gibi birden fazla öznitelik için metinler üzerinde stil transferi yapabilmesi yönüyle oldukça ses getirdi…

About

Başak Buluz Kömeçoğlu

Research Assistant at Information Technologies Institute of Gebze Technical University | Phd Candidate at Gebze Technical University

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store