Bildschirme, die man mit der Hand bedient: ohne Berühren, ohne App

Ein interaktiver Kiosk heisst meistens: ein Touchscreen. Ein spezielles Panel oder eine Touch-Folie auf dem Fernseher, tief genug montiert, dass man hinkommt, und stündlich abgewischt. Gerade dort, wo man einen Kiosk am dringendsten braucht, geht das oft nicht: der Infopunkt hinter dem Schaufenster, der Bildschirm hoch oben an der Wand, die Halle, in der alle Handschuhe tragen.

Wunderframe macht es anders. Ein normaler Fernseher und eine gewöhnliche USB-Webcam ergeben einen Bildschirm, den man aus einem Schritt Abstand bedient, mit der Hand in der Luft. Nichts zu berühren, keine Spezialhardware und keine App – weder für Sie noch für die Besucher. Dieser Beitrag zeigt, was ein Besucher tut, was dahinter passiert, wie Menschen es lernen und wie Sie es einrichten.

Fünf Gesten – und niemand muss mehr als zwei davon lernen:

• Hand heben. Der Bildschirm bemerkt sie und zeigt einen Zeiger.
• Zeigen. Der Zeiger folgt der Hand, und was darunter liegt, leuchtet auf.
• Finger zusammen: Daumen und Zeigefinger kurz zusammenführen, und es ist gewählt – wie ein Klick.
• Ruhig halten: kurz über etwas stillhalten, um es zu wählen, für alle, denen das Zusammenführen nicht liegt. Ein Ring füllt sich, während sie warten.
• Wischen mit offener Hand blättert zur nächsten oder vorherigen Seite.

So öffnet ein Besucher eine Zeile mit ihren Details, drückt einen Knopf, blättert weiter und geht zurück. Geht er weg, kehrt der Bildschirm von selbst zu seinem Loop zurück – bereit für die nächste Person.

Touch ist gut, wo man ans Glas herankommt und es gern anfasst. Eine Hand in der Luft kommt weiter:

• Hygiene. Nichts wird berührt, also muss nichts abgewischt werden – in der Praxis, in der Kantine, am Flughafen.
• Handschuhe. Ein Touch-Panel will eine nackte Fingerkuppe. Der Hand in der Luft ist das egal.
• Durchs Glas. Einen Bildschirm im Schaufenster bedient man vom Trottoir aus, auch nach Ladenschluss.
• Ausser Reichweite. Ein Bildschirm hoch an der Wand oder hinter der Theke bleibt in Reichweite einer zeigenden Hand.
• Grösse und Preis. Ein 75-Zoll-Fernseher mit Webcam kostet einen Bruchteil eines 75-Zoll-Touch-Panels.

Und wo Touch Sinn ergibt, behalten Sie es: Eine Stage nimmt Touch, Hände oder beides an, ein Touchscreen mit Kamera funktioniert also auf beide Arten.

An einem Regionalflughafen ist ein grosser Bildschirm im Terminal der Infopunkt. Meistens spielt er einen ruhigen Loop: die Abflüge, das Wetter und einen Einladungsbildschirm mit Hand heben zum Starten. Ein Reisender hebt die Hand, und ein Menü erscheint:

• Flüge, mit Gate und Status jedes Flugs.
• Essen und Trinken und was gerade geöffnet hat.
• Die Region: Ausflugsziele nach der Landung.
• Sprache: Deutsch, Englisch oder Französisch – und der ganze Bildschirm folgt.

Ändert sich etwas, ein Gate oder eine Verspätung, klappt ein Hinweisband herein wie auf einer Abflugtafel. Geht der Reisende, kehrt der Bildschirm zu seiner eigenen Sprache und seinem Loop zurück.

Dieselbe Idee funktioniert im Schaufenster (der Katalog nach Ladenschluss), im Museum (die Geschichte hinter einem Objekt), am Messestand (Produkte und Referenzen, auch wenn gerade niemand vom Verkauf da ist) oder in der Hotellobby (Restaurants, Spa, der Weg zum Seminarraum).

• Das Hand-Tracking läuft auf dem Player des Bildschirms. Es nutzt MediaPipe, das Hand-Tracking-Modell von Google, direkt auf dem Gerät, auf jedem Player: Android TV, Desktop, Raspberry Pi und im Browser. Kein Cloud-Dienst schaut sich das Bild an.
• Der Bildschirm wacht auf, wenn jemand näherkommt. Dieselbe Kamera bemerkt, dass jemand vor dem Bildschirm steht, und kann für diese Person auf eine Einladung, ein Willkommen oder einen Produktfilm wechseln. Sie reagiert nur auf Menschen in der Nähe, nicht auf alle, die vorbeigehen.
• Ein kurzer Aussetzer bricht nichts ab. Eine Kamera verliert eine Hand ständig für einen Moment: eine schnelle Bewegung, der Bildrand, das Licht. In diesem Moment bleibt der Zeiger stehen, ein Ring behält seinen Fortschritt, und zusammengeführte Finger bleiben zusammen. Der Besucher merkt nichts davon.
• Ein ruhiger Zeiger. Der Zeiger ist geglättet: Er steht still, wenn die Hand ruht, und folgt ohne Verzögerung, wenn sie sich bewegt. Abgestimmt haben wir das mit einer echten Kamera auf echte Distanzen, nicht im Labor.
• Nie schwarz, nie blockiert. Wird die Kamera ausgesteckt, spielt der Bildschirm seinen Loop weiter (und behält Touch, falls er es hat). Ein Besucher sieht nie eine Fehlermeldung oder eine Berechtigungsabfrage.

Eine Kamera an einem öffentlichen Ort wirft die richtigen Fragen auf, deshalb hier die Antworten. Jedes Kamerabild wird im Moment ausgewertet, auf dem Player des Bildschirms selbst, und dann verworfen. Es wird nie gezeigt, nie gespeichert und nie gesendet – weder an uns noch an Sie. Der Bildschirm erkennt keine Gesichter, identifiziert und zählt niemanden und schätzt weder Alter noch Stimmung. Er weiss nur: «Da ist eine Hand», und wohin sie zeigt. Die Kamera ist aus, solange die Stage sie nicht einschaltet, und Devices zeigt, wann sie läuft. Siehe Datenschutz auf der Seite zu Menschen vor dem Bildschirm.

Die meisten Menschen haben noch nie einen Bildschirm mit der Hand bedient – also gehen sie vorbei oder tippen aufs Glas. Darum zeigt es ihnen der Bildschirm. Schalten Sie auf der Stage Show visitors how ein: Bleibt jemand vor dem Bildschirm stehen, erscheint über dem laufenden Programm eine gezeichnete Hand, leicht getönt und mit dem Programm unscharf dahinter. Sie hebt sich, zeigt, führt die Finger zusammen, hält still und wischt, ein kleiner Bildschirm antwortet auf jede Geste, und eine Beschriftung sagt es auf Deutsch, Englisch und Französisch. Sobald die Person die Hand hebt, verschwindet der Guide, damit nichts verdeckt, worauf sie zeigt. Steht niemand davor, läuft das Programm ungestört.

Der Guide zeigt nur die Gesten, die Ihr Bildschirm versteht, und Titel (So geht’s · How it works · Comment ça marche, wenn Sie nichts anderes schreiben) und Beschriftungen bestimmen Sie. Lieber in einer Ecke, als Streifen am unteren Rand oder als eigene Szene? Derselbe Guide ist auch ein Block, den Sie selbst platzieren und gestalten. Siehe Der Gesten-Guide.

Der Bildschirm kann mehrere Sprachen sprechen, zum Beispiel Deutsch, Englisch und Französisch. Ein Besucher zeigt auf English oder Français, und alles folgt sofort: Überschriften, Knöpfe, die Liste der Flüge, das Datum unter der Uhr. Geht er weg, wechselt der Bildschirm für die nächste Person zurück in seine erste Sprache.

Der Bildschirm folgt bis zu zwei Händen gleichzeitig, jede mit ihrem eigenen Zeiger: zwei Menschen nebeneinander, ein Kind und seine Mutter oder eine Person mit beiden Händen. Jeder Zeiger wählt für sich, niemand muss warten, bis der andere fertig ist.

1. Die Stage für Besucher öffnen. Unter Run → Stages die Stage bearbeiten und Visitors can use this screen mit Hands einschalten (und Touch dazu, wenn der Bildschirm es kann). Wählen Sie, ob eine Hand mit Finger zusammen, mit Stillhalten oder mit beidem wählt, und nach wie vielen Sekunden ohne Besucher der Bildschirm zu seiner Story zurückkehrt.
2. Eine Webcam anschliessen. Eine gewöhnliche USB-Webcam am Player hinter dem Bildschirm, am besten am oberen Rand und auf den Besucher gerichtet. Hände funktionieren auf jedem Wunderframe-Player: in der App für Android TV, in der Desktop-App, auf dem Raspberry Pi und im Browser mit dem Player-Link der Stage.
3. Den Gesten-Guide einschalten. Auf derselben Stage Show visitors how ankreuzen und Notice people in front of the screen einschalten, damit der Guide für die Person erscheint, die stehen bleibt. Ein einziger Schalter; die Details stehen unter Ein Schalter auf der Stage.
4. Etwas zum Wählen anbieten. Fügen Sie Knöpfe hinzu und geben Sie jedem im Tab Rules eine Aktion: eine Szene öffnen, zurück, von vorn beginnen, die Sprache wechseln. Oder lassen Sie die Zeilen eines Boards ihr Detail öffnen. Siehe Übersicht und Detail.

Zum Ausprobieren brauchen Sie keine Kamera. Jede Vorschau hat Try it: Klicken Sie mit der Maus, als wäre sie eine Hand, oder schalten Sie die Kamera Ihres Laptops ein und probieren Sie es echt am Schreibtisch.

Nehmen Sie einen Fernseher, den Sie schon haben, stecken Sie eine Webcam ein und öffnen Sie eine Szene in Try it. Fünf Minuten später wählen Sie darauf mit der Hand. Für Alltagsbildschirme jenseits von Events lesen Sie Digital Signage mit Wunderframe: nicht nur für Events, und für günstige Player Alte Android-TV-Boxen und Raspberry Pis. Kostenlos starten oder die Preise ansehen.