Des écrans qu’on utilise d’un geste : sans toucher, sans appli

Une borne interactive, c’est le plus souvent un écran tactile : une dalle spéciale ou un film tactile collé sur une télé, monté assez bas pour qu’on l’atteigne, et essuyé toutes les heures. Or c’est justement là où l’on en aurait le plus besoin que ce n’est pas possible : le point info derrière une vitrine, l’écran accroché haut sur un mur, le hall où tout le monde porte des gants.

Wunderframe fait autrement. Une télé ordinaire et une simple webcam USB suffisent pour un écran qu’on utilise à un pas de distance, la main en l’air. Rien à toucher, pas de matériel spécial, et aucune appli à installer, ni pour vous ni pour le visiteur. Cet article montre ce que fait un visiteur, ce qui se passe en coulisses, comment les gens l’apprennent et comment le mettre en place.

Cinq gestes, et personne n’a besoin d’en apprendre plus de deux :

• Lever la main. L’écran la repère et affiche un curseur.
• Pointer. Le curseur suit la main, et ce qui se trouve dessous s’allume.
• Pincer le pouce et l’index pour choisir, comme un clic.
• Rester immobile un instant sur un élément pour le choisir, pour ceux qui ne pincent pas. Un anneau se remplit pendant l’attente.
• Balayer d’une main ouverte pour passer à la page suivante ou précédente.

Le visiteur ouvre une ligne pour voir ses détails, appuie sur un bouton, feuillette et revient en arrière. Quand il s’en va, l’écran retourne tout seul à sa boucle, prêt pour la personne suivante.

Le tactile convient là où l’on atteint la vitre et où l’on veut bien la toucher. Une main en l’air va plus loin :

• Hygiène. On ne touche rien, donc il n’y a rien à essuyer, au cabinet médical, à la cantine ou à l’aéroport.
• Gants. Une dalle tactile veut le bout d’un doigt nu. Une main en l’air, peu importe.
• À travers la vitre. Un écran en vitrine s’utilise depuis le trottoir, même après la fermeture.
• Hors de portée. Un écran fixé haut sur un mur ou derrière un comptoir reste à portée d’une main qui pointe.
• Taille et prix. Une télé de 75 pouces avec une webcam coûte bien moins qu’une dalle tactile de 75 pouces.

Et là où le tactile a du sens, gardez-le : une stage accepte le toucher, les mains ou les deux, si bien qu’un écran tactile avec caméra fonctionne dans les deux cas.

Dans un aéroport régional, un grand écran du terminal sert de point info. La plupart du temps, il joue une boucle tranquille : les départs, la météo, et un écran d’accueil qui dit Levez la main pour commencer. Un voyageur lève la main et un menu apparaît :

• Les vols, avec la porte et le statut de chacun.
• Où manger, et ce qui est ouvert maintenant.
• La région : où aller une fois arrivé.
• La langue : allemand, anglais ou français, et tout l’écran suit.

Quand quelque chose change, une porte ou un retard, un bandeau d’alerte s’affiche en basculant comme sur un tableau des départs. Quand le voyageur s’en va, l’écran revient à sa propre langue et à sa boucle.

La même idée fonctionne dans une vitrine (le catalogue après la fermeture), un musée (l’histoire derrière un objet), sur un stand de salon (produits et références, même sans commercial à côté) ou dans le hall d’un hôtel (les restaurants, le spa, le chemin vers la salle de réunion).

• Le suivi de la main tourne sur le lecteur de l’écran. Il utilise MediaPipe, le modèle de suivi de la main de Google, sur l’appareil lui-même, sur chaque lecteur : Android TV, bureau, Raspberry Pi et navigateur. Aucun service cloud ne regarde l’image.
• L’écran se réveille quand quelqu’un approche. La même caméra remarque qu’une personne se tient devant l’écran et peut passer pour elle à une invitation, un mot d’accueil ou un film produit. Elle ne réagit qu’aux personnes proches, pas à la foule qui passe.
• Une brève perte ne coupe rien. Une caméra perd une main un instant à tout moment : un geste rapide, le bord de l’image, la lumière. Pendant cet instant, le curseur reste en place, un anneau garde sa progression et un pincement reste pincé. Le visiteur ne s’aperçoit de rien.
• Un curseur calme. Le pointeur est lissé : il reste immobile quand la main se repose et suit sans retard quand elle bouge. Nous l’avons réglé avec une vraie caméra, à de vraies distances, pas en laboratoire.
• Jamais noir, jamais bloqué. Si la caméra est débranchée, l’écran continue sa boucle (et garde le tactile, s’il en a). Un visiteur ne voit jamais de message d’erreur ni de demande d’autorisation.

Une caméra dans un lieu public soulève les bonnes questions, alors voici les réponses. Chaque image de la caméra est analysée sur le moment, sur le lecteur de l’écran lui-même, puis abandonnée. Elle n’est jamais affichée, jamais enregistrée et jamais envoyée, ni à nous ni à vous. L’écran ne reconnaît pas les visages, n’identifie ni ne compte personne, et ne devine ni l’âge ni l’humeur. Tout ce qu’il sait, c’est « il y a une main », et où elle pointe. La caméra reste éteinte tant que la stage ne l’allume pas, et Devices indique quand elle tourne. Voir Confidentialité sur la page consacrée aux personnes devant l’écran.

La plupart des gens n’ont jamais utilisé un écran avec la main, alors ils passent devant, ou s’approchent et touchent la vitre. C’est donc l’écran qui le leur montre. Sur la stage, cochez Show visitors how : quand quelqu’un s’arrête devant l’écran, une main dessinée apparaît par-dessus ce qui passe, légèrement teintée, le programme flou derrière. Elle se lève, pointe, pince, reste immobile et balaie, un petit écran répond à chaque geste, et une légende le dit en allemand, en anglais et en français. Dès que le visiteur lève la main, le guide s’efface pour ne rien cacher de ce qu’il pointe. S’il n’y a personne, le programme passe sans rien par-dessus.

Le guide ne montre que les gestes que votre écran comprend, et son titre (So geht’s · How it works · Comment ça marche, sauf si vous écrivez le vôtre) comme ses légendes sont à vous. Vous le voulez dans un coin, en bande en bas de l’écran ou comme une scène à part ? Le même guide est aussi un bloc que vous placez et habillez vous-même. Voir Le guide des gestes.

L’écran peut parler plusieurs langues, par exemple l’allemand, l’anglais et le français. Un visiteur pointe English ou Français, et tout suit aussitôt : les titres, les boutons, la liste des vols, la date sous l’horloge. Quand il s’en va, l’écran revient à sa première langue pour la personne suivante.

L’écran suit jusqu’à deux mains à la fois, chacune avec son propre pointeur : deux personnes côte à côte, un enfant et son père, ou une seule personne qui se sert de ses deux mains. Chaque pointeur choisit de son côté, personne n’attend que l’autre ait fini.

1. Ouvrir la stage aux visiteurs. Sous Run → Stages, modifiez la stage et activez Visitors can use this screen avec Hands (et Touch aussi, si l’écran est tactile). Choisissez si une main choisit en pinçant, en restant immobile ou les deux, et au bout de combien de secondes sans visiteur l’écran revient à sa story.
2. Brancher une webcam. Une simple webcam USB sur le lecteur derrière l’écran, idéalement en haut, tournée vers le visiteur. Les mains fonctionnent sur tous les lecteurs Wunderframe : l’appli Android TV, l’appli de bureau, le Raspberry Pi et un navigateur sur le lien du lecteur de la stage.
3. Activer le guide des gestes. Sur la même stage, cochez Show visitors how et activez Notice people in front of the screen, pour que le guide apparaisse à la personne qui s’arrête. Un seul interrupteur ; les détails sont dans Un interrupteur sur la stage.
4. Donner quelque chose à choisir. Ajoutez des boutons et donnez à chacun une action dans son onglet Rules : ouvrir une scène, revenir, recommencer, changer de langue. Ou laissez les lignes d’un tableau ouvrir leur détail. Voir Vue d’ensemble et détail.

Pas besoin de caméra pour essayer. Chaque aperçu a Try it : cliquez avec la souris comme si c’était une main, ou allumez la caméra de votre portable et essayez pour de vrai à votre bureau.

Prenez une télé que vous avez déjà, branchez une webcam et ouvrez une scène dans Try it. Cinq minutes plus tard, vous y choisissez des choses d’un geste. Pour les écrans du quotidien, au-delà des événements, lisez L’affichage dynamique avec Wunderframe : pas seulement pour les événements, et pour des lecteurs bon marché, Vieux boîtiers Android TV et Raspberry Pi. Commencez gratuitement, ou consultez les tarifs.