Gesten Lernhilfe für Smartphones (Touchscreens)

Ein durch das Themenfeld Humane Digitale Transformation gefördertes Projekt erweitere die digitale Inklusion: Eine innovative App soll künftig blinde und stark sehbeeinträchtigte Lehrpersonen dabei unterstützen, die komplexen Touch- und Wischgesten von Smartphones sicher zu erlernen und zu vermitteln.

Einführung

Eine didaktische Herausforderung

Der Verein Apfelschule möchte blinden und sehbehinderten Menschen über den Zugang zu neuen, smarten Technologien ein Stück mehr Selbstständigkeit ermöglichen. Für die Bedienung von Smartphones gibt es extra auf Sehbehinderte zugeschnittene Eingabemethoden, die Touch- und Wischgesten. Diese zu vermitteln, ist jedoch eine grosse Herausforderung. Es gibt zahlreiche Gesten, die mit einem, zwei, drei oder vier Fingern ausgeführt werden. Je nachdem, ob gewischt, getippt oder gestrichen wird, reagiert der Touchscreen unterschiedlich. Wenn Lehrende selbst sehbeeinträchtigt oder blind sind, ist es sehr schwierig, die Ausführung der Gesten zu kontrollieren und zu korrigieren. Sie können nicht sehen, was falsch gemacht wurde und warum eine Geste beim Üben nicht funktioniert bzw. nicht den gewünschten Effekt erzielt hat.

Vorgehen

Die Idee und ihre technischen Herausforderungen

Im Rahmen des Projekts entstand die Idee, eine Lern-App zu entwickeln. Diese soll (auch visuell) so barrierefrei wie möglich sein. Das heisst, das Design muss nicht nur ansprechend sein, sondern in Farbgebung, verwendeten Schriftarten, Symbolen und Kontrasten den aktuell höchsten bekannten Richtlinien für sehbeeinträchtigte Menschen entsprechen. Wünschenswert ist auch, dass das sehende Umfeld miteinbezogen wird, um auch auf dieser Seite das Bewusstsein für die Herausforderungen dieser Problematik zu schärfen und Inklusion zu fördern. Ein wichtiges Ziel der App besteht auch darin, sehbeeinträchtigten Kursleitenden mithilfe von Rückmeldungen der App dabei zu unterstützen, zu erkennen, ob Kursteilnehmende eine Geste korrekt ausführen.

Bei der Entwicklung der Web-Applikation sind wir auf einige Schwierigkeiten gestossen. Sie hängen vor allem damit zusammen, dass wir ein Drittanbieter der App sind. Das bedeutet die App, wird nicht vom Hersteller des Betriebssystems (wie Apple oder Google) selbst entwickelt. Da die Touch- und Wisch-Gesten nicht von den Smartphone-Herstellern als Schnittstelle bereitgestellt werden, mussten diese von Grund auf implementiert werden. Es gibt keine detaillierte Dokumentation der Gesten: so ist zum Beispiel nicht definiert, ab welcher Dauer ein Tap (Klopfen) zum Tap-and-Hold (Tippen und halten) wird oder ab welchem Winkel ein Wischen von links-nach-rechts ungültig ist. Um eine überzeugende Lernumgebung schaffen zu können, ist deshalb zukünftig ein umfangreicher iterativer Prozess mit viel Testen erforderlich.

Eine weitere Einschränkung für Dritthersteller ist, dass die Erkennung der Gesten paradoxerweise nicht mehr funktioniert, wenn die Benutzenden ihr Smartphone auf Gesten-Steuerung umgestellt haben. In diesem Fall werden die Gesten direkt für die Steuerung der Geräte interpretiert und vom Betriebssystem nicht mehr an die Apps weitergegeben. Für die Umsetzung als Schulungstool müsste eine produktive App also auf speziellen Schulungs-Geräten laufen und könnte nur umständlich direkt auf den persönlichen Geräten der blinden und sehbeeinträchtigen Personen eingesetzt werden.

Ergebnisse

Eine Lern-App mit drei Stufen

Um die Gesten zu erlernen, wurde eine digitale Lernhilfe als Web-Applikation (Proof-of-Concept) entwickelt. Sie besteht aus drei Stufen, welche die Nutzer:innen progressiv an die verschiedenen Gesten heranführen: die «Liste», die «Lektion» und das «Spiel». Die erste Stufe ist eine Liste, die alle Gesten aufführt. In der zweiten Stufe werden die Gesten didaktisch sinnvoll in Lektionen geübt, bis sich in der dritten Stufe ein Spiel öffnet, in dem man Fragen zu spannenden Themenbereichen mit den unterschiedlichsten Gesten beantworten kann. So führt die App spielerisch an die Wischgesten heran.

Ausblick

Mehrwert und Ausblick

Perspektivisch soll die Lern-App Kursleiter:innen der Apfelschule und weiteren interessierten Institutionen eine verlässlichere Möglichkeit geben, zu erkennen, ob Gesten korrekt ausgeführt werden. Der aktuelle Prototyp bietet diese Rückmeldefunktion an die Kursleitenden noch nicht. Genau dieses Feedback ist jedoch entscheidend, damit sichtbar wird, was gezielt weiter geübt und vermittelt werden muss, bis die Lernenden die Gesten sicher beherrschen.

Künftig soll das Projekt über das reine Training von Touch- und Wischgesten hinausgehen. Ein Folgeprojekt zielt darauf ab, eine spielerische und didaktisch hochwertige Lernhilfe zu entwickeln, die blinden und sehbeeinträchtigten Menschen ebenso wie sehenden Nutzer:innen neue Zugänge eröffnet. So entsteht eine inklusive Lern-App, die das Erlernen von Gesten mit einem spannenden, fesselnden Spielerlebnis verbindet – für Jung und Alt.