OmniTouch

Eine der großen Revolutionen in der Computertechnik waren Touchscreens. Sie brachten eine neue Art der Interaktion mit dem Computer, entweder mit einem speziellen Zeiger oder mit dem Finger. Im Jahr 2011 ging Microsoft mit der Einführung von OmniTouch noch einen Schritt weiter, einem Projekt, das jede Oberfläche berührbar machte. Die Grundidee besteht darin, eine Kamera und ein Projektorgerät auf der Schulter zu montieren, das den Bildschirm projiziert und die Tastenanschläge des Benutzers liest. Die Möglichkeiten sind endlos und ermöglichen es uns, unsere Hand, die Wand, ein Laken oder jede andere Oberfläche in einen Touchscreen zu verwandeln .

So funktioniert OmniTouch: Tastenanschläge erkennen

Der wichtigste Teil des OmniTouch-Projekts ist die Verfolgung der Position und Tiefe der Finger, um zu wissen, wo der Benutzer berührt. Dafür wurde im Prototypen eine tiefenempfindliche PrimeSense-Kamera verwendet. Im Gegensatz zu einer normalen Kamera, die Farben misst, misst PrimeSense die Entfernung jedes Punkts im Bild von der Kameralinse. Die Genauigkeit von 1 mm und die minimale Reichweite von 20 cm sind die Hauptvorteile gegenüber der Kinect-Kamera, die ursprünglich im Projekt verwendet wurde.

"

Um Finger zu lokalisieren, erfasst OmniTouch zunächst die Tiefenkarte (A). Dann wird die Neigungskarte berechnet>"

In (B) sehen Sie diese Karte in Farben übersetzt: Rot bedeutet, dass es in positiver Richtung der X- oder Y-Achse (nach oben oder rechts) weniger Tiefe gibt, und Blau bedeutet, dass es dort ist ist weniger Tiefe in negativer Richtung der X- oder Y-Achse (nach unten oder nach links).Lila bedeutet, dass sich die Tiefe kaum ändert.

Mit dieser Karte sucht die Software nach vertikalen zylindrischen Abschnitten, einer Oberfläche, die sich der Kamera nähert, dann bleibt und sich schließlich entfernt. Was war ein Finger, wenn man ihn von einer Seite zur anderen fährt, wow. Suchen Sie auf der Farbkarte nach einem roten Abschnitt, dann einem violetten Abschnitt, dann einem blauen Abschnitt, alle auf derselben vertikalen Achse.

Mögliche Kandidaten werden nach Größe gefiltert, um alles herauszufiltern, was kein Finger sein kann (z. B. kann ein 2 Millimeter hoher Zylinder nicht als Finger erkannt werden und wird daher verworfen). In Abbildung (C) sehen Sie alle identifizierten Fingerabschnitte.

Sobald dies geschehen ist, werden alle vertikalen Schnitte zusammengefügt, um den Finger zu bilden (Abbildung D). Finger, die möglicherweise zu kurz sind, werden verworfen, und es wird angenommen, dass der ganz linke Teil des Fingers die Spitze ist, da der Benutzer Rechtshänder ist.Und voila, wir wissen jetzt, worauf der Benutzer zeigt.

Woher wissen wir nun, ob der Finger die Oberfläche berührt? Sie nennen es Flutfüllung, aber es wird Ihnen vertrauter sein, wenn ich Ihnen sage, dass es wie das Befüllen mit dem Farbeimer Farbe ist.

Die Technik ist einfach: Lokalisieren Sie den Mittelpunkt des Fingers und beginnen Sie damit, Pixel nach oben, links und rechts mit einer Toleranz von 13 Millimetern zu füllen. Das heißt, sie füllen ein Pixel nur dann aus, wenn der Unterschied zwischen seiner Tiefe und der des Fingermittelpunkts weniger als 13 Millimeter beträgt.

Auf diese Weise werden, wenn Ihr Finger nichts berührt, nur die Pixel gefüllt, die Ihrem Finger entsprechen. Wenn Sie die Hand berühren, werden viele weitere gefüllt. Im Bild sehen Sie, was passiert, wenn der Finger in der Luft ist (links) oder die Hand berührt (rechts). Wenn ein bestimmter Rand gefüllter Pixel überschritten wird, sendet die Software ein Tippen oder Klicken an der entsprechenden Stelle.

So funktioniert OmniTouch: Projizieren des Bildes

Obwohl die Fingererkennung der zentrale Teil ist, dürfen wir nicht vergessen, dass OmniTouch auch ein Bild auf jede Oberfläche projizieren muss. Auch hierfür wird die Tiefenkammer verwendet. Alle Oberflächen im Bild werden mithilfe eines verbundenen Komponentenalgorithmus erkannt, der miteinander verbundene Punkte im Bild sehr effizient erkennt.

Sobald die Flächen, die kleiner als eine Hand sind, verworfen wurden, fahren wir fort, einen Mittelpunkt oder Bezugspunkt festzulegen, um das Bild zu projizieren. Dieser Punkt hilft, die Ausrichtung der Oberfläche zu erkennen und ermöglicht daher, ein Bild zu erstellen, das nicht verzerrt aussieht.

Der nächste schwierige Punkt kommt, wenn es darum geht, die Größe der Oberfläche zu erkennen.Da die Kanten von Oberflächen nicht gut genug erkannt werden können, verwendet OmniTouch den Mittelwert und die Standardabweichung der Komponentenpunkte, um sie in fünf Punkte zu klassifizieren: Hand, Arm, Notizbuch, Wand und Tisch. Jeder von ihnen hat eine bestimmte Größe und einen Mittelpunkt für das Bild.

Die Software generiert das zu projizierende Bild mit allen Daten und verzerrt es so, dass es korrekt auf der Oberfläche erscheint. Anschließend leitet er das Bild an den Projektor weiter, der das Bild auf einer beliebigen Oberfläche anzeigt.

Präzise Technik mit vielen Möglichkeiten

Tests zur Messung der Genauigkeit von OmniTouch.

Im Test hat sich OmniTouch als sehr präzise Technologie erwiesen. 96,5% Treffsicherheit beim Erkennen eines Klicks, ein sehr guter Wert und das umso mehr, wenn man bedenkt, dass es sich um einen Prototypen handelt.In Bezug auf die Größe der Benutzeroberfläche würden bei Tasten mit einem Durchmesser von 2 Zentimetern 95 % der Tastenanschläge erkannt.

Diese maximale Größe ist für eine in die Hand projizierte Schnittstelle erforderlich. Auf anderen weiter entfernten Oberflächen, wie einem Tisch oder einer Wand, könnte es auf 15 Millimeter reduziert werden, mehr oder weniger die gleiche Größe, die für eine Sch altfläche auf einem herkömmlichen Touchscreen empfohlen wird.

"

Die Möglichkeiten sind endlos. Mit dem Prototypen entstand ein Pult zum Malen: Auf die Wand zeichnete man und in der linken Hand wählte man die Farben aus. Wird auch als Textmarker> verwendet"

Aber das Interessanteste ist, was am Ende des Dokuments erwähnt wird: die Möglichkeiten, die OmniTouch eröffnet, wenn wir aufhören, zweidimensionale Oberflächen zu berücksichtigen, und die Formen des Körpers nutzen, um das Wie zu verändern wir interagieren mit dem Computer.

"

OmniTouch ist ein wirklich spannendes Projekt, sowohl in seiner Technik als auch in seinen Möglichkeiten. Wir werden bald wieder über ihn im Special Die Zukunft nach Microsoft> sprechen"

In Xataka-Windows | Die Zukunft laut Microsoft Weitere Informationen | OmniTouch