App-Tipp: Seeing AI

Thema: Die App hilft blinden Menschen, ihre Umwelt zu erforschen.

Die App ermöglicht blinden Anwendern u.a. das Scannen von Text, die Erkennung von Banknoten und Farben sowie in Ansätzen auch eine Person- und Szenenerkennung. (Siehe auch Video sowie Beschreibung von Microsoft)

Bedienoberfläche

Die App Seeing AI (AI steht übrigens für Artificial Intelligence) ist derzeit nur in englischer Sprache verfügbar.

Auf dem Einstiegsbildschirm befinden sich vier Elemente: Links oben ist die Menü-Taste, rechts oben die Taste „Quick Help“ für rasche Hilfe. Im unteren Bereich gibt es eine Taste, die mit „Pause Annoncements“ beschriftet ist.

Diese Taste hilft bei Live-Erkennung die Sprache zu pausieren, um das iPhone ungestört ausrichten zu können. Knapp oberhalb der Home-Taste befindet sich ein Auswahlbereich für die einzelnen Anwendungsbereiche, beschriftet mit „Channel„.

Nutzung

• Unter „Channel“ werden durch Wischen mit einem Finger nach oben oder unten die einzelnen Anwendungsfälle ausgewählt:
• „Short Text„: Diese Einstellung erlaubt das Erkennen von Texten, ohne diese erst fotografieren zu müssen. Damit ist ein sukzessives Ausrichten der Kamera auf den zu erfassenden Bereich während des Scan-Vorgangs möglich.
• „Documents„: Hier kann – wie in Scan-Apps üblich – ein Text als Bild fotografiert werden, der anschließend in gesprochenen Text umgewandelt wird.
• „Product„: Dahinter verbirgt sich ein Barcode-Scanner zur Produkterkennung. Sobald der Barcode in das Sichtfeld der Kamera gelangt, wird dies durch eine Tonfolge angezeigt, bis der Erkennungsvorgang abgeschlossen ist. Ist das Produkt in der Datenbank enthalten, wird der Name des Produkts vorgelesen.
• „Person“: Dient zum Wiedererkennen von Personen (siehe Einstellungen).
• „Currency preview„: Diese Einstellung dient zum Erkennen von Geldscheinen. Derzeit können Euro- und Dollar-Scheine erkannt werden (siehe Einstellungen).
• „Szene preview„: Wird ein Foto gemacht, erhält man hinterher eine Beschreibung der Szenerie. Ein Test hat bei mir z.B. folgende durchaus zutreffende Beschreibung ergeben: „A bed and desk in a room.„
• „Color preview„: Dahinter verbirgt sich der Versuch einer Farberkennung. Das Ergebnis ist mit bereits bekannten Farberkennungs-Apps vergleichbar, aber selten zuverlässig.
• „Handwriting preview„: Der Versuch, Handschriften zu erkennen, ist ein engagierter Ansatz und das Ergebnis variiert entsprechend. Vor allem bei Schreibschriften versagt die Funktion (noch) häufig. Mit Hand geschriebene Druckbuchstaben werden aber einigermaßen zuverlässig erkannt, sofern sich der Schreiber Mühe gibt.
• „Light„: Ist eine Erkennung von Lichtquellen. Je höher der Ton, desto heller die Lichtquelle.

Menü

Das Menü enthält folgende Einträge:

• „Close„: Die Taste rechts oben schließt das Menü.
• „Face Recognition„: Nach Aktivierung wird man aufgefordert, drei Bilder von einer Person zu machen. Es kann zwischen der vorderen Kamera (für Selfies) und der rückwärtigen Kamera gewählt werden. Es wird auch angesagt, ob sich ein Gesicht im Sucher befindet. Nach Abschluss der Prozedur kann man dem Gesicht einen Namen geben. Diese Person wird dann bei der Einstellung „Person“ namentlich angesagt.
• „Help“: Öffnet den englischen Hilfetext.
• „Feedback“. Ermöglicht eine Rückmeldung an Microsoft Corporation.
• „Settings“: erlaubt die Konfiguration, z.B. der gewünschten Währung und ob die Lichtquelle bei Bedarf automatisch zugeschaltet werden soll.
• „About“: Öffnet die Versions- und Copyright-Informationen.

Persönliche Einschätzung

Die Live-Erkennung von Texten unter „Short Text“ ist aus meiner Sicht einzigartig, die Dokumenterkennung mit anderen hochwertigen OCR-Apps wie dem KNFB Reader vergleichbar.

Die Produkterkennung funktioniert gut; vor allem die Rückmeldung per Tonsignal, sobald der Barcode in den Sucher kommt, ist eine große Hilfe. Wie gut die dahinter stehende Produktdatenbank ist, kann ich nach so kurzer Zeit noch nicht einschätzen.

Geldschein- und Lichterkennung arbeiten sehr zuverlässig.

Die Personenerkennung ist ein nettes Feature, aber sicher noch nicht das Highlight der App; gleiches gilt für das Erkennen von Szenen. Hier muss sich erst herausstellen, ob die Funktionen von einer netten Spielerei zur Alltagstauglichkeit reifen können. Ich selbst mag jedenfalls nicht mit gezücktem iPhone suchen, ob eine meiner gespeicherten Personen erkannt wird.

Handschrift und Farberkennung betrachte ich eher als Versuch in Richtung Augmented Reality.

Wichtige Informationen

Short Text, Produkterkennung, Personen-, Farb- und Lichterkennung arbeiten im Live-Modus. Es muss also kein Foto gemacht werden. Für alle anderen Einstellungen unter „Channel“ muss ein Foto gemacht und dieses dann durch die App analysiert werden.

Die App ist mit 300 MB eher groß und verbraucht unglaublich viel Akku! Das sollte man bei der Nutzung bedenken. Für einige Bereiche ist eine Verbindung zum Internet erforderlich.

Jürgen Fleger hat zu Seeing AI einen sehr guten Podcast veröffentlicht, den ich meinen Lesern keinesfalls vorenthalten möchte.

Fazit

Die App gehört wegen der raschen Erkennung von Texten und trotz des enormen Akku-Verbrauchs längst zu meinen wichtigsten Alltagshilfen.

Seeing AI im App-Store / Bedienbarkeit mit VoiceOver: Ausgezeichnet

Dieser Artikel ist der Teil der Serie „Mit VoiceOver bedienbare Apps“ von Eva Papst.