Angry Tweets: Følelser og annoteringer er på spil, så spil med!
Update: Spillet er slut og det ikke længere muligt at deltage — men du kan stadig læse her om ideen og bagom spillet.
Angry Tweets er et lille crowdsourcing-spil med det formål, at alle kan hjælpe til med udviklingen af sprogteknologi på dansk — det tager kun 10 minutter. Ideen med spillet er at få skabt et datasæt bestående af sætninger fra Twitter, der er kategoriseret som værende enten positiv-, neutral eller negativ-ladet, baseret på hvad du tror afsenderen har følt, ment eller tænkt.
Helt konkret vil det sige, at du i spillet bliver mødt af en række tweets, som du så skal vurdere, om du synes er positive, negative eller neutrale i tonen ud fra, hvad du tror afsenderen har ment. Ud fra jeres vurderinger opstår et datasæt, som der kan udvikles en model på, så computeren selv kan genkende de følelsesladede toner i sætninger (supervised maskinlæring).
Hjælp til og start spillet nu på [spillet er afsluttet].
Hvis du gennemfører spillet, kan du være med i lodtrækningen om et gavekort på 500 kr. til Saxo.dk eller en af de fede DaNLP-kopper. Du kan deltage så mange gange, du har lyst.
Måske har du allerede spillet, og måske endda fået dine egen følelser gjort “sure” af en Game Over? Under alle omstændigheder kan du læse lidt mere om ideen bag spillet, og hvad data kan bruges til i dette lille blogindlæg.
Bliver du sur over Game Over?
…. eller over et “dumt” pointsystem? Du kan måske godt have ret i, at det har været unfair. Apropos fair — så er fair og ansvarlig AI et felt for sig selv, og du kan blandt andet læse om retfærdige superhelte-modeller på søster-bloggen Ansvarlig AI. Men det var vist en sidenote, tilbage til Angry Tweets spillet og vores følelsesmæssige engagement i det.
Desværre, vil jeg ikke komme nærmere ind på, hvad der præcist kan resultere i en Game Over, imens spillet stadig kører, men nøjes med at oplyse om, at mekanismen er sat ind for, at du skal koncentrere dig bedst muligt. “UUh, ja tak for den” tænker du måske ironisk, men det er også et følelsesladet lille spil! Folk opfatter selvfølgelig stemninger og toner i tekst forskelligt, og der er måske ikke nødvendigvis en rigtig tolkning. Men for at kunne udvikle en model, hvor computeren automatisk kan genkende følelserne i tekst, leder vi altså efter en slags standard opfattelse af følelser i tekst. Så hvis du har fået Game Over, kan det måske hjælpe at bruge mere tid på at læse sætningerne grundigt og på at huske, at vi leder efter, hvad du tror afsenderen har ment, tænkt eller følt. Og i øvrigt, så er det hele ikke helt surt eller spildt arbejde, for vi gemmer stadig annoteringerne ved Game Over.
Pointsystemet vil jeg til gengæld gerne gå i dybden med. Der gives et point per fuldført runde, og der gives ekstra point, hvis du er enig i vurdering af et tweet, som tidligere er givet af en anden spiller. Og ja, det er jo ærgerligt, hvis det er den tidligere spiller, som har været en ”papand”. Men det kan måske stadig give dig et praj om, hvorvidt du er meget enig eller uenig med tidligere spilleres vurderinger. Pointene har ikke indflydelse på, om man får Game Over.
Annoteringer til et datasæt og en model der selv kan tolke stemningen i tekst
… på bare 10 minutter? Tjah ja, hvis der er 400–500 mennesker, der gider spille i 10 minutter, så nærmer vi os noget.
Datasættet, der bliver skabt ud fra dette lille spil, bliver lagt ud open source på DaNLPs github sammen med en første model udviklet på det. På GitHub’en ligger der allerede et lille datasæt, og en første model trænet på det, men der er behov for et større datasæt for, at modellen kan lære at generalisere bedre, og dermed øge performance på sætninger, den ikke er trænet på. Hvis du er teknisk interesseret kan du læse mere om modellen samt downloade den her, og hvis du gerne bare vil afprøve den, kan du bruge den på vores DEMO site. Og husk på, at vi netop prøve at forbedre den ved at få et større datagrundlag.
Men nu lige lidt mere om selve datasættet, vi håber på at få skabt. Datasættet vil, når det er klart, blive delt i tre dele, hvor en del er til at træne modellen, en anden til validering, og så til sidst en del, som bruges til at evaluere performance. Men i ovenstående paragraf om pointsystem og Game Over, blev det lige gjort klart, at folk jo ikke altid er enige i tolkningen af sætningerne, og nogen trykker måske bare lidt for hurtigt. Så spørgsmålet er, om der ikke er en risiko for at “forurene” datasættet med forkerte annoteringer og dermed forvirre modellen? Den fare er i første omgang forsøgt imødekommet med Game Over mekanismen og pointsystemet, som der kan skæves til, og evt. sorteres på, når datasættet skal samles. Mere generelt er der et valg, når data skal annoteres, som består i, om man helst vil have kategoriseret så mange sætninger som muligt, eller om man hellere vil have kategoriseret færre sætninger, som til gengæld er kigget igennem af mange personer. Tit afhænger det af, hvor “svært” det er at annotere det ønskede, og hvad man gerne vil opnå. Her er der hovedsageligt gået efter at få mange forskellige sætninger annoteret, men en del bliver også dobbelt annoteret.
Lidt formelt om Twitter-dataene
… for må man godt bare bruge og udstille folks tweet? Twitter har en privatlivspolitik, som skal overholdes, og et af hovedpunkterne er, at man som bruger på twitter, skal kunne trække sit tweet tilbage. Det betyder, at hvis et tweet bliver slettet på Twitter, så skal det heller ikke kunne figure i et sødt, lille annoteringsspil eller i et åbent tilgængeligt datasæt. Derfor bliver der tjekket en gang i døgnet, om de tweets, som bliver vist i spillet, stadig er tilgængelige på Twitter. Når datasættet bliver frigivet, vil det, der bliver frigivet, kun være selve annoteringerne og såkaldte “tweets ID” — Udfra disse ID’er kan de rigtige tweets nemt hentes fra Twitter, hvis altså de stadig optræder på platformen.
Hvad er der med den svane
… og hvad er DaNLP egentlig?
DaNLP er produktet af en to-årig resultatkontrakt med Uddannelses- og Forskningsministeriet allokeret til Alexandra Instituttet, med det hovedformål at udvikle et sæt danske ressourcer til automatisk sproghåndtering, så virksomheder nemt kan komme i gang med at bygge kunstige intelligens systemer, der håndterer dansk tekst.
Vil du vide mere om projektet eller spillet så kontakt os på danlp@alexandra.dk
