Learning Analytics: Analýza vzdělávání na základě strojově čitelných dat

Jan Fitz
EDTECH KISK
Published in
9 min readMay 27, 2021
Photo by Dmitry Ratushny on Unsplash

V průběhu času jsou tradiční formy vzdělávání postupně vylepšovány, obohacovány o nové poznatky nebo zcela nahrazovány novějšími a modernějšími edukačními metodami a trendy. Důvodů, které k těmto změnám vedou, můžeme identifikovat hned několik. V největší míře se jedná o reakci na existenci nových a dříve neznámých poznatků z vyučovaného oboru, možnost využití nových učebních nástrojů a metod či celospolečenský posun, který pracuje s vyučovanou látkou ze zcela jiného úhlu pohledu než v předchozích letech. V různých koutech světa se kurikula jednotlivých předmětů mohou přizpůsobovat také místním politickým tendencím či náboženským zvyklostem. V mnoha ohledech jsou tyto vyučovací metody a trendy nastavovány na základě mechanismů ověřených pouze v subjektivních aspektech a skutečnostech, přičemž mohou postrádat svou empirickou validaci. Co kdyby však bylo možné vyhodnocovat učení a všechny procesy v něm obsažené na základě spolehlivých, standardizovaných a jednoduše kvantifikovatelných dat? Pokud bychom měli v průběhu edukačního procesu a po skončení všech jeho dílčích částí k dispozici odpovědi na předem položené otázky o mechanismech našeho učení, bylo by možné velmi efektivně reagovat i na malé odchylky tohoto procesu a nastavovat jeho další směřování s ohledem na požadované vzdělávací cíle a přání jednotlivých žáků či studentů. V případě, kdy je instituce, škola, lektor nebo jiná zodpovědná osoba za vzdělávací proces skupiny či jednotlivce schopná se zmiňovanými daty efektivně pracovat a odpovídajícím způsobem na ně reagovat, můžeme hovořit o pozitivní evoluci celého popisovaného procesu. Zmiňovaný fenomén práce se strojově čitelnými daty jakožto výstupu z učení a dalších vzdělávacích mechanismů pracuje především s pojmem Learning Analytics, jehož podoba je v poslední době velmi diskutovaná v odborné literatuře, přičemž na jeho jednotné a přesné definici se však odborníci vždy neshodují (Lee et al., 2020).

Jedná se o progresivní oblast posledních let, která se dostává do popředí především v oblasti vyhodnocování vzdělávacích procesů, přičemž pomáhá dělat lepší strategická rozhodnutí a lépe zapojovat všechny účastníky, kteří do těchto procesů vstupují. Zároveň se jedná o nutnou reakci na stále významnější zapojení technologických prostředků do vzdělávání, a právě na postupné snižování zapojení samotných studentů do strategického dění v oblasti jejich edukace (Camacho et al., 2020). Oblast Learning Analytics, jejíž český překlad se v literatuře příliš nezmiňuje (občas je možné se setkat s pojmem analytika učení), obsahuje práci se vzdělávacími daty ve všech jejich podobách. Obsažen je tak proces měření, sběru, analýzy, vyhodnocování, vizualizace a reportingu těchto dat. Získávána jsou data jak o jedincích zapojených do učení, tak o kontextech, ve kterých v něm vystupují a vztazích, které generují. Zdrojem takových dat jsou poté nejrůznější vzdělávací a informační systémy. Hlavním cílem je potom porozumění a následná optimalizace vzdělávacího prostředí (Mattox et al., 2016) či identifikace jeho problematických míst. Learning Analytics v sobě spojuje několik různých oblastí praktického, ale i teoretického charakteru, jako je edukační a technologický výzkum, matematická statistika, grafická vizualizace, počítačová a datová věda nebo například umělá inteligence (Siemens & Baker, 2012), které se využívá v kombinaci s prostředky strojového učení a dolování dat, kdy dochází ke hledání vzorců chování a obsáhlým analýzám na makrospolečenské úrovni. Významným zdrojem dat vstupujících do pozdějších analýz učení je také webová analytika, která pracuje s metrikami na úrovni interakce s webovými aplikacemi a chováním uživatele v prostředí internetu a internetového prohlížeče. V oblasti návrhu prostředí, jejichž cílem je také sběr popsaných datových struktur se využívá teorie designu zaměřeného na člověka (anglicky Humen-Centered Design), a to především v kontextu přístupnosti a použitelnosti vzdělávacích aplikací či teorie sociotechnických systémů. Obecně lze říci, že oblast analýzy učení je schopná v poměrně krátkém čase adoptovat nejnovější technologické trendy a její praktické využití a zapojení do různých druhů výzkumů roste, a to především od roku 2011, jak ukazují některé analýzy citačních databází (Lee et al., 2020).

Hlavním zdrojem dat jsou v případě popisovaných analytik učení především takzvané Learning Management System (LMS) a Student Information System (SIS), které slouží pro řízení online výuky a administrativní správu s ní spojenou. V tomto případě hovoříme o analytikách na systémové úrovni. Další úrovní je poté úroveň individuální, v případě které jsou zdrojem dat individuální výstupy jednotlivých studentů, a to například v podobě výsledků online cvičení, kvízů či testů. Poslední kategorií jsou poté data na transakční úrovni, která slouží spíše jako výzkumná data či jako data určená pro rozvoj systémů ve své technické podstatě. Příkladem takových dat jsou například informace a poloze a množství kliknutí myší, chování uživatele ve vzdělávací aplikaci a další specializovaná data(Williamson, 2014).

Historicky se analýza učení používala především k predikcím finálního úspěchu studentů v akademické oblasti a také k identifikaci studentů, kteří měli různé problémy na cestě za zdárným ukončením konkrétního kurzu nebo celého studia, přičemž bylo možné vhodně reagovat na jejich potřeby a poskytnout jim osobnější přístup s cílem problematické skutečnosti včas vyřešit. Postupem času se však ukazuje jejich využití v mnohem více směrech vzdělávání a pozornost výzkumníků se přesouvá i do dalších oblastí. Naplno se tak ukazuje potenciál automaticky sbíraných dat o procesu učení, a to především jako jednoho z nástrojů pro podporu lektorů a studentů na cestě za naplněním jejich vzdělávacích cílů a strategií pomocí spolehlivých dat (Tsai, 2021). Taková data podporují rozvoj studentovi osobnosti a prohlubují jeho dovednosti a učící strategie v celoživotním kontextu. Zároveň také poskytují užitečnou zpětnou vazbu k jeho schopnostem, podporují jej v rozvoji kolaborativních procesů, kritického myšlení, komunikace a kreativity a učí jej na základě kvantifikovaných kategorií důležité sebereflexi (Tsai, 2021). Jedná se také o nástroj pro vylepšování obsahů předmětových a oborových kurikul či podklad pro přípravu jednotlivých dílčích edukačních sezení.

Obecně můžeme učící analytiky rozdělit na dva druhy podle povahy dat, které zkoumají a podle typu výstupu, který poskytují. První kategorií jsou deskriptivní analytiky, které jsou postavené především na statických datech, jejichž podobu určují dříve popsané zdroje a které jsou základem jak pro následné kvalitativní, tak pro kvantitativní analýzy. Druhou kategorií jsou poté prediktivní analýzy, jejíž úkolem je rozšiřování poznatků získaných na základě deskriptivních analýz do podoby možného vývoje v budoucnosti (Williamson, 2014). Především v případě kvantitativních analýz je prostředkem pro záznam dat jejich dolování (anglicky Data Mining), jehož význam se v mnoha aspektech podobá samotné oblasti Learning Analytics, přičemž obor známý jako Educational Data Mining stojí po jeho boku. Přesné rozlišení obou oborů však vyžaduje porovnávání velmi nepatrných detailů a proto se na rozdílech v obou definicích neshoduje ani většina odborníků.

Proces práce s analytickými daty edukačního charakteru je možné rozdělit také do čtyřech na sebe navazujících bodů a posloupnosti činností. Prvním z nich je proces sběru a zpracování samotných dat, která byla popsána výše. V této fázi přitom není důležitý zdroj ani sémantická podoba dat. Součástí této fáze je také proces čištění datových struktur a jejich transformace do odpovídající podoby pro potřeby dalších fází jejich zpracování. Následujícím krokem je fáze analýzy a vizualizace získaných dat, kdy dochází k jejich zpracování pomocí statistických a jiných matematických metod či modelů. Hlavním cílem této fáze je potom spolehlivé a efektivní zobrazení charakteru, vztahů a hlavně významu dat pomocí vizualizačních technik. Fází následující je poté provedení určité akce, jejíž nutnost vyplynula z předchozích dvou fází. Výstupem akce může být například upozornění nebo doporučení pro účastníka edukačního procesu za účelem zpřesnění jeho vzdělávací cesty nebo její jiná podpora. Poslední fází je poté fáze evaluace a revize celého procesu a předchozích kroků, na základě které je možné upravovat další cykly popsaného čtyřbodového procesu práce s analytickými daty (Juhaňák, 2020).

Problematika Learning Analytics, a především jeho dílčí skutečnost sběru dat a informací osobního charakteru, se musí mimo jiné vypořádat s etickými otázkami práce a nakládání s těmito údaji. Jako problematické se v některých ohledech ukazují především uzavřené algoritmy, kdy nemusí být zcela jasný účel a způsob nakládání s daty, které vzniknou sběrem v rámci edukačních procesů. Odborníci se také snaží postavit k otázce možných zkreslení v datech, na základě kterých by mohlo dojít ke špatným reakcím u studentů v případě, kdy tato data nebudou objektivně reflektovat skutečné aspekty jejich práce a chování. V případě, kdy datové modely nesprávně odhalí možná problematická místa učení jedince, může dojít k ještě horšímu ovlivnění jeho studijní cesty než v případě, kdy by taková data vůbec neexistovala. Nejenom z těchto důvodů je potřeba nepracovat s učící analytikami jako s jediným zdrojem poznání o procesech odehrávajících se uvnitř vzdělávání, ale vhodně je využívat jako podpůrné nástroje s velkým potenciálem přínosu.

Vzdělávací procesy ve virtuální realitě

Pokud hovoříme o analýze vzdělávacích procesů na základě strojově čitelných dat a související oblasti Learning Analytics jako o progresivním trendu a tématu, za ještě progresivnější můžeme jistě označit jeho spojení s technologií virtuální reality, ve které dostává ještě zajímavější a technologicky složitější rozměr. Virtuální realita, která v sobě přináší stále více se rozvíjející možnosti v modelování virtuálních prostředí nejenom pro potřeby vzdělávání, která jsou vytvořená na míru aktuálním požadavkům a podmínkám, je mnoha odborníky označována za technologii budoucnosti. Stále větší prostor ji technologičtí a pedagogičtí výzkumníci dávají právě ve zmiňovaném kontextu vyhodnocování vzdělávacích procesů na základě automatického sběru dat. Ve virtuální realitě, a především pak v její plně imerzivní podobě, kdy má její uživatel nasazeny brýle pro virtuální realitu (anglicky head mounted display) můžeme spolehlivě sbírat obrovské množství dat na základě předem definovaných datových struktur obsahujících detailní informace o uskutečněné vzdělávací lekci, kdy je jejich následnou analýzou možné vyhodnocovat jednotlivé parametry uskutečněné výuky (Collazos et al., 2007) a pracovat s nimi analogickou cestou jako v případě Learning Analytics ve dvojrozměrném světe technologického vzdělávání. Shromažďováním a správnou interpretací těchto informací proto mohou designéři obsahu výuky, stejně tak jako výzkumní a pedagogičtí pracovníci zvýšit účinnost zvolené učící strategie, usnadnit proces učení či předejít vzniku chybné interpretace probírané studijní látky (Christopoulos et al., 2020). Pokud jsou tyto metriky zároveň dobře nastavené, je možné věnovat více pozornosti samotnému obsahu lekce a dalším klíčovým složkám edukačního procesu. Lektor má tak větší možnost věnovat se při samotné lekci hlubší podstatě vzdělávání a důležitosti předávané informace, přičemž dostává po skončení edukačního sezení do rukou kvantifikována data, jejichž sběru nemusí během svého virtuálního výkladu věnovat zvláštní pozornost.

Povaha a zdroje diskutovaných dat jsou v případě virtuálního světa odlišné, respektive mohou jít více do hloubky a poskytovat detailnější pohled na chování studenta a jeho vzdělávací cestu, než je tomu v případě dvojrozměrného světa a Learning Analytics, kde dochází ke sběru dat primárně v prostředí webového prohlížeče či specializovaného učebního informačního systému. Virtuální realita nabízí také větší možnosti ve zkoumání jedince v kontextu jeho spolupráce a zapojení do větších studijních skupin a zkoumat tak jeho chování v kolaborativních vzdělávacích prostředích. V takovém případě poté generuje edukační proces například pohybová data o jednotlivých účastnících vzdělávací lekce, kdy je možné na jejich základě vyhodnocovat vzájemnou interakci studentů a vyvozovat tak závěry o jejich sociálních vazbách ve skupině. Stejně tak je možné analyzovat zvuková data jakožto výstup komunikace jednotlivých účastníků lekce nebo vizualizovat interakce s prostředním na úrovni jednotlivých objektů umístěných ve virtuální scéně. Jako velmi užitečná se ukazují také data o poloze očí a směřování pohledu studentu (pomocí technologie eye-trackingu), která mohou poskytovat informace o míře jeho zapojení a zkoumat pro studenta významově signifikantní objekty virtuální scény či vyhodnocovat sémantické aspekty prostředí, ve kterém se učební lekce odehrává. Zajímavým zdrojem dat se ukazují také data biometrická, která mohou ukazovat na mnoho fyziologických pochodů odehrávajících se na straně studenta. Aplikace Learning Analytics v prostředí virtuální reality je však zatím velmi mladou oblastí, jejíž potenciál se ale ukazuje v rostoucí míře.

Seznam použitých zdrojů

CAMACHO, V.L., E.d.l. GUIA, T. OLIVARES, M.J. FLORES a L. OROZCO-BARBOSA, 2020. Data Capture and Multimodal Learning Analytics Focused on Engagement With a New Wearable IoT Approach. IEEE Transactions on Learning Technologies, Learning Technologies, IEEE Transactions on, IEEE Trans. Learning Technol [online]. 13(4), 704–717 [cit. 2021–5–24]. ISSN 19391382. Dostupné z: doi:10.1109/TLT.2020.2999787

COLLAZOS, César A., Luis A. GUERRERO, José A. PINO, Stefano RENZI, Jane KLOBAS, Manuel ORTEGA, Miguel A. REDONDO a Crescencio BRAVO, 2007. Evaluating Collaborative Learning Processes using System-based Measurement. Journal of Educational Technology [online]. 10(3), 257–274 [cit. 2021–5–3]. ISSN 11763647.

CHRISTOPOULOS, Athanasios, Nikolaos PELLAS a Mikko-Jussi LAAKSO, 2020. A Learning Analytics Theoretical Framework for STEM Education Virtual Reality Applications. Education Sciences [online]. 10(11) [cit. 2021–5–24]. ISSN 2227–7102. Dostupné z: doi:10.3390/educsci10110317

JUHAŇÁK, Libor, 2020. Analytika učení a data mining ve vzdělávání v kontextu systémů pro řízení výuky. Brno. Disertační práce. Masarykova univerzita. Vedoucí práce Jiří Zounek.

LEE, Lap-Kei, Simon K. S. CHEUNG a Lam-For KWOK, 2020. Learning analytics: current trends and innovative practices. Journal of Computers in Education [online]. 7(1), 1–6 [cit. 2021–5–25]. ISSN 2197–9987. Dostupné z: doi:10.1007/s40692–020–00155–8

MATTOX, John R. II, Mark VAN BUREN a Jean MARTIN, 2016. Learning analytics: measurement innovations to support emloyee development / John R. Mattox II and Mark Van Buren; with insights from Jean Martin. ISBN 9780749476304.

SIEMENS, George a Ryan S. J. d. BAKER, 2012. Learning analytics and educational data mining. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge — LAK ’12 [online]. New York, New York, USA: ACM Press, 2012, 252- [cit. 2021–5–24]. ISBN 9781450311113. Dostupné z: doi:10.1145/2330601.2330661

TSAI, Yi-Shan, 2021. What is Learning Analytics? Society for Learnign Analytics Research [online]. [cit. 2021–5–24]. Dostupné z: https://www.solaresearch.org/about/what-is-learning-analytics/

WILLIAMSON, Jim. An Overview of Learning Analytics [online]. 2014 [cit. 2021–5–25]. Dostupné z: https://wikihub.berkeley.edu/download/attachments/124519097/Learning%20Analytics%20-%20A%20Briefing%20Document.pdf

--

--