Siri könnte mithilfe der Bewegungserkennung das Lippenlesen lernen

HAL 9000-Hintergrundquelle: Warner Bros

Zukünftige Apple-Geräte können möglicherweise die Bewegungserkennung nutzen, um Lippen zu lesen und so Siri auszulösen, ohne dass ein Mikrofon ständig auf Befehle achten muss.

Wenn Sie alt genug sind, hat die Vorstellung, dass Siri in irgendeiner Weise von den Lippen lesen kann, sofort und besorgniserregend an Arthur C. Clarke und Stanley Kubricks „2001: Odyssee im Weltraum“ gedacht. Wenn Apple diesen Film von 1968 nachahmt, liegt das hoffentlich daran, dass der Computer HAL 9000 über hervorragende Spracherkennungsfähigkeiten verfügte.

Im Vergleich dazu hat Siri weitaus größere Schwierigkeiten, gesprochene Befehle zuverlässig und konsistent zu verstehen, aber fairerweise muss man sagen, dass Siri auch noch nicht versucht hat, die Besatzung eines Raumschiffs zu töten. Es geht um Schaukeln und Balancen.

Es ist jedoch denkbar, dass Siri durch einen zusätzlichen Aspekt wie die Erkennung von Mund- und Kopfbewegungen seine Genauigkeit verbessern könnte. Eine neu veröffentlichte Patentanmeldung namens „Keyword Detection Using Motion Sensing“ zielt darauf ab – aber noch mehr.

„[Daten] werden beispielsweise von einem Bewegungssensor empfangen, der die Bewegung eines Benutzers aufzeichnet, während der Benutzer eine gesprochene Eingabe macht“, heißt es in der Patentanmeldung. „Es wird festgestellt, ob ein Teil der Bewegungsdaten mit Referenzdaten für einen Satz aus einem oder mehreren Wörtern (z. B. einem Wort oder einer Phrase) übereinstimmt.“

„Außerdem können [nur] Sprachsteuerungssysteme zu falsch positiven Reaktionen führen“, sagte Apple, „wenn der Audiosensor Umgebungsgeräusche oder Sprache eines unbeabsichtigten Benutzers aufnimmt.“

In der Patentanmeldung wird detailliert beschrieben, wie Mundbewegungen mit früheren Daten verglichen werden können, während Siri oder ein Gerät versucht, eine Übereinstimmung zu finden.

Aber das dient nicht wirklich dazu, Siri zu verbessern, und es ist auch kein Zeichen dafür, dass Apple einige Geräte ohne Mikrofon plant. Stattdessen schlägt Apple vor, dass eine solche Bewegungserkennung bedeuten könnte, dass die Mikrofone ausgeschaltet werden könnten, die ein Gerät verwendet, um ständig auf „Siri“ oder „Hey, Siri“ zu warten.

„Die kontinuierliche Erkennung und Verarbeitung von Audiodaten verbraucht Strom und Verarbeitungskapazität, selbst wenn der Benutzer die Sprachsteuerung nicht aktiv nutzt“, sagt Apple.

„Wenn ein Benutzer spricht, bewegen und vibrieren Mund, Gesicht, Kopf und Hals des Benutzers“, heißt es weiter. „Bewegungssensoren wie Beschleunigungsmesser und Gyroskope können diese Bewegungen erkennen und dabei im Vergleich zu Audiosensoren wie Mikrofonen relativ wenig Energie verbrauchen.“

Die Bewegungserkennung jetzt und der Vergleich mit früheren Aufzeichnungen scheint eindeutig zu funktionieren, wenn „Hey, Siri“ oder ein anderer regulärer Befehl gesagt wird. wie „Nächster Titel“. Wenn der gesprochene Befehl seltener vorkommt, wie zum Beispiel „Hey, Siri, öffne die Türen der Pod-Bucht“, dann funktioniert die Bewegungserkennung sicherlich nicht.

Aber solange die Bewegungserkennung schnell genug ist, sollte das Erkennen, dass ein Benutzer „Siri“ gesagt hat, bedeuten, dass das Gerät die Mikrofone rechtzeitig einschalten kann, um den Rest gesanglich zu erfassen.

Abgesehen von der Bezugnahme auf Beschleunigungsmesser und Gyroskope wird in der Patentanmeldung von Apple nicht viel Zeit darauf verwendet, die Geräte zu diskutieren, die zur Umsetzung dieses Vorschlags verwendet werden könnten.

Allerdings erfolgt das Lippenlesen durch Bewegungserkennung und nicht durch Kameras und Sichtlinie. Gerade in Verbindung mit einem iPhone könnte diese Bewegungserkennung also theoretisch sowohl mit AirPods als auch beispielsweise mit Apple Vision Pro funktionieren.

Diese Patentanmeldung wird zwei Erfindern zugeschrieben, darunter Madhu Chinthakunta. Chinthakuntas frühere Arbeit für Apple beinhaltet ein Patent dafür, dass Siri automatisch Vorkehrungen und Anrufe in Ihrem Namen trifft.

William Gallagher verfügt über 30 Jahre Erfahrung bei der Diskussion der Apple-Technologie zwischen der BBC und AppleInsider. Außerhalb von AppleInsider ist er vor allem für das Schreiben von Doctor Who-Hörspielen für BBC/Big Finish bekannt und ist der De...