Huawei introduceert app om dove kinderen te helpen met lezen

AI zet tekst en beeld om in gebarentaal

Huawei zet een nieuwe stap in de snelle ontwikkeling van kunstmatige intelligentie (AI). De internationale speler in technologie introduceert vandaag de eerste app die tekst omzet in gebarentaal: StorySign. StorySign helpt dove kinderen met leren lezen. De app is vanaf vandaag te downloaden via de Google Play Store.

Wereldwijd zijn er 32 miljoen dove kinderen die meer moeite hebben met leren lezen dan horende leeftijdsgenootjes. Dit komt doordat dove en slechthorende kinderen klanken niet aan geschreven woorden kunnen koppelen. Hierdoor lopen zij vaak al op vroege leeftijd een taalachterstand op. “Wij willen de wereld van boeken toegankelijker maken voor dove kinderen”, zegt Andrew Garrihy, CMO van Huawei West-Europa, “zodat zij, samen met hun ouders, gebarentaal ontwikkelen en leesvaardigheid ontwikkelen.”

Samen leren lezen

StorySign helpt ouders om samen met hun dove kinderen een warm en vertrouwd voorleesmoment te hebben. De app gebruikt AI om tekst te vertalen naar gebarentaal, waardoor dove en slechthorende kinderen, net als hun leeftijdsgenoten, leren lezen terwijl ze naar de woorden in kinderboekjes kijken. Volgens FODOK, Federatie voor Ouders van Dove Kinderen, is het erg belangrijk dat er meer aandacht komt voor leesbevordering. “Voorleeskilometers maken met dove en slechthorende kinderen zorgt voor leesplezier. En voorlezen vergroot hun greep op de wereld. Ze worden er sterker van”, zegt woordvoerder Mariën Hannink.

Animatie met gebarentaal

In StorySign, vertaalt de vriendelijke avatar Star, in gebarentaal, het kinderboek ‘Waar is Dribbel?’. “We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen”, vertelt Neil Pymer, creative director bij Aardman Animations, verantwoordelijk voor de animatie van Star. “Een klus die heel nauw luistert, want we hebben het ontwikkeld voor tien talen en elke taal is anders. Mimiek is zeer belangrijk omdat het 70% van de gebarentaal bepaalt. Elke knik of glimlach doet er toe.”

Kunstmatige intelligentie

StorySign maakt gebruik van de AI (kunstmatige intelligentie) van Huawei. Huawei gelooft dat technologie, en kunstmatige intelligentie in het bijzonder, echt kan bijdragen aan maatschappelijke problemen. StorySign is daar een mooi voorbeeld van.

Voor een optimale leeservaring maakt de app gebruik van Image Recognition en Optical Character Recognition (OCR). De AI in Huawei smartphones zorgt ervoor dat de hoek waarin de smartphone boven de tekst gehouden wordt geen invloed heeft op de gebruikservaring. Kinderen zullen namelijk in de praktijk hun telefoon niet altijd recht boven de tekst houden. OCR zorgt ervoor dat de app nog nauwkeuriger werkt. Om de app voor zoveel mogelijk mensen beschikbaar te maken werkt deze ook op andere Android toestellen. De StorySign-app is erop gebouwd om in de toekomst meer boeken te kunnen toevoegen en zo veel mogelijk ouders en kinderen er gebruik van te kunnen laten maken.

Doneren

Er is met veel partners gewerkt aan de ontwikkeling van de app, de animaties en de vertaling. Voor het doorontwikkelen van de app en om aandacht te vragen voor het probleem is Huawei vandaag een grote campagne in Europa begonnen. Iedereen kan doneren via www.storysign.com. Donaties komen ten goede aan FODOK en worden besteed aan projecten om dove kinderen te helpen met hun taalontwikkeling, zoals nieuwe boekjes voor StorySign. “Wij hopen van harte dat mensen doneren en zo een steentje willen bijdragen aan onze inspanningen om dove kinderen te helpen met leesbevordering”, aldus Mariën Hannink van FODOK.

Hoe de app werkt

De app werkt als volgt. Ouders kunnen hun kind voorlezen met de StorySign app door de app te openen en met hun smartphone in  de woorden te scannen. De avatar Star verschijnt en beeldt de tekst uit in gebarentaal. Hierbij worden de woorden uitgelicht die Star aan het gebaren is. Zo leren de kinderen de betekenis kennen van de woorden.

StorySign is vanaf vandaag te downloaden via de Google Play Store en via de HUAWEI App gallery, in 10 talen. Naast Nederlands zijn dat Belgisch, Duits, Engels, Iers, Frans, Spaans, Italiaans, Zwitsers en Portugees.