NVidia Deep Learning Institute: második egész napos workshop (Fundamentals of Natural Language Processing)

SmartLab AI
Jan 9, 2019 · 3 min read

2018. december 18-án immár második alkalommal rendeztünk egész napos NVidia Deep Learning Institute (DLI) workshop-ot, melynek a témája a természetes nyelvfeldolgozás (Natural Language Processing, NLP) volt mély tanulás segítségével. A workshop során a résztvevők megismerkedtek a természetes nyelvfeldolgozás legfőbb kihívásaival, a szavak vektorként történő ábrázolásával, ezen túl szöveg osztályozási és fordítási feladatokat oldottunk meg deep learning segítségével.

Az NVIDIA Deep Learning Institute célkitűzése, hogy segítséget nyújtson a mérnököknek, adattudósoknak, kutatóknak és fejlesztőknek, hogy a szakterületük kihívásait AI és deep learning segítségével minden korábbinál nagyobb hatékonysággal tudják megoldani.

A workshopot reggel 9-kor Dr. Magyar Gábor, a Távközlési és Médiainformatikai Tanszék vezetője nyitotta meg, melyet egy körülbelül 45 perces előadás követett a természetes nyelvfeldolgozás alapvető kérdéseiről és kihívásairól.

A természetes nyelvfeldolgozás az emberi (természetes) nyelvek elemzésével, értelmezésével és modellezésével foglalkozó tudományág. Napjainkban egyik elsődleges és sok esetben leghatékonyabb technikája a mély tanulás, melyhez jellemzően nagy mennyiségű szöveges adatbázist használunk fel (pl. Wikipedia teljes adatbázisát). Az NLP témakörhöz köthetőek a chatbotok, a gépi fordítás, a plágium detekció vagy például szöveges kritikák alapján a felhasználói hangulat, szentiment megadása.

Ezt követően három blokkban következett 1–1 előadás, melyet minden esetben un. hands-on lab követett. A hands-on lab során a résztvevők saját laptopjukon, nagy teljesítményű GPU-kkal felszerelt, NVidia által biztosított felhőben oldottak meg NLP-hez köthető, az előadáshoz kapcsolódó feladatokat.

Elsőként szóbegyágyazásokkal foglalkoztunk, megismertük a leginkább elterjedt módszereket és szemantikai szempontból elemeztünk mondatokat, hogy helyesek vagy helytelenek-e. Délben — egy órás szünet keretében — pizzáztunk, beszélgettünk, networkingeltünk.

Délután, a második fő témaként író klasszifikációval foglalkoztunk szóbeágyazás és LSTM (Long Short-Term Memory) rekurrens neurális hálózatok segítségével. Alexander Hamilton és Thomas Jefferson által ír művekkel tanítottunk mély neurális hálózatot, és később, a tanítás során nem használt művekről döntöttük el a betanított hálózatok segítségével, hogy ki írta.

A nap harmadik nagy témaköre a mély tanulás alapú gépi fordítás, azaz a Neural Machine Translation (NMT) volt. Napjaink fordítógépei, mint például a Google Translate is, szinte egytől-egyig mély tanulás alapon működnek. Ebben a blokkban megismerkedtünk a sequence-to-sequence (Seq2seq) modellekkel, és az attention módszerrel. A résztvevők egy olyan forráskódot írtak meg, mely különféle szöveges dátumokat (pl. 24th September, 2018 vagy 2018, Sept. 24) tanult meg standard formátumú, számítógéppel könnyen értelmezhető dátummá alakítani (pl. 20180924).

Az egyes blokkokat egyéni feladatok követték, melyek helyes megoldása esetén a résztvevők NVidia DLI certifikátot kaptak a workshop sikeres teljesítéséről.

A workshopot Dr. Gyires-Tóth Bálint, NVidia DLI minősített oktató és egyetemi nagykövet vezette, Sevinj Yolchuyeva és Hajgató Gergely, deep learning-es PhD hallgatók segítették a résztvevők munkáját.

A kezdő és középhaldó szintű workshopot előzetes deep learning ismeretek nélkül is sikeresen el lehetett végezni. A résztvevők saját laptopokon dolgoztak böngészőn keresztül az NVidia Cloud-ban.

A workshopnak az EIT Digital adott helyet a budapesti EIT Digital Co-Location Center-ben, illetve a kiváló helyszínen túl kávéval és sós/édes aprósüteményekkel segítették a résztvevők minél hatékonyabb munkáját. Ezúton is köszönjük az EIT Digital közreműködését és segítségét!

Az esemény az alábbi szervezetek támogatásával jött létre:

Nem tudtál eljönni? Lemaradtál?

A jövőben is különböző témákkal (pl. Deep Learning based Computer Vision, Natural Language Processing, Working with Multiple Datatypes, Multi-GPU trainings, stb.) további egész napos DLI Workshop-okat fogunk szervezni.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store