Smartphone per Handzeichen steuern

Wenn das Smartphone auf Fingerzeig hört, dann ist das keine Zukunftsmusik sondern eine neue App, die Wissenschaftler an der Eidgenössische Technische Hochschule Zürich jetzt entwickelt haben.

Die neue App von Professor Otmar Hilliges und seinen Mitarbeitern soll den Umfang möglicher Interaktionen mit Smartphone und Co. deutlich erweitern. Die Steuerung sieht allerdings etwas eigenartig aus und kann durchaus als gewöhnungsbedürftig bezeichnet werden: Mit der einen Hand hält man das Smartphone, die andere Hand hingegen bewegt sich in der Luft vor der eingebauten Kamera. Der Smartphone-Nutzer macht Gesten, die denen aus der Gebärdensprache von Gehörlosen ähneln: Der Zeigefinger zeigt mal nach links, mal nach rechts, die Finger spreizen sich, formieren sich zu einer Zange oder imitieren eine Pistole und drücken ab. Diese Gesten dienen allerdings nicht der Verständigung unter Gehörlosen, sondern der Steuerung des Smartphones.

So kann ein Anwender zum Beispiel eine Schießbewegung der Hand dazu nutzen, in einen anderen Browser-Tab wechseln, den Kartenmodus von Satellitenbild auf Topographische Darstellung ändern oder in einem mobilen Game auf gegnerische Flugzeuge schießen. Durch das Aufspreizen der Finger vergrößert sich ein Kartenausschnitt oder scrollt eine Buchseite hinauf.

Um die Umgebung wahrzunehmen, verwendet das Programm die eingebaute Kamera des Smartphones. Tiefen- oder Farbinformationen werden dabei nicht ausgewertet. Entscheidend sind nur die Informationen wie die Form der Geste, oder Teile der Hand. Sie werden auf einfachen Umriss reduziert und dieser Umriss wird anhand von einprogrammierten Gesten klassifiziert. Je nach wahrgenommener Geste führt das Programm dann den daran gekoppelten Befehl aus. Das Programm erkennt übrigens auch auch die Distanz, in der sich die Hand vor der Kamera bewegt. Wenn die Hand zu nah am Gerät ist oder sich zu weit davon befindet, erhält der Anwender einen Warnhinweis.

Hinter dieser Gestensteuerung steckt ein neuartiger Algorithmus, den der Masterstudent Jie Song entwickelt hat.»Viele dieser Bewegungserkennungs-Programme sind rechenintensiv und brauchen viel Arbeitsspeicher«, sagt sein Professor Hilliges. Dieser Algorithmus brauche hingegen nur einen geringen Anteil des Arbeitsspeichers und sei deshalb für Smartphones gut geeignet. Diese Anwendung sei die erste ihrer Art, die auf einem Smartphone laufe. Aufgrund des geringen Rechenbedarfs könnte sie auch für Smart Watches oder in Augmented Reality-Brillen genutzt werden. Zurzeit kann die App sechs verschiedene Gesten erkennen und die entsprechenden Befehle ausführen. Weitere Gesten sollen folgen.

Ziel der Forscher ist es, die Gesten so einfach wie möglich zu halten, um das Gerät mühelos bedienen zu können. Die Wissenschaftler sind davon überzeugt, dass sich die Nutzer von Smartphones an die Gesten-Bedienung gewöhnen werden. »Die Leute haben sich auch an die Bedienung von Computerspielen durch ihre eigenen Bewegungen gewöhnt«, meint Hilliges. Touch Screens hätten ebenfalls eine sehr lange Vorlaufzeit gehabt, ehe sie schlagartig den Weg zu Anwendern gefunden hätten.