In den letzten Monaten hat Apple einen stetigen Strom von Forschungsberichten veröffentlicht, in denen seine Arbeit mit generativer KI detailliert beschrieben wird. Bisher hat Apple sich darüber bedeckt gehalten, was genau in seinen Forschungslabors vor sich geht, während Gerüchte kursieren, dass Apple in Verhandlungen mit Google steht, um seine Gemini AI für iPhones zu lizenzieren.
Aber es gab ein paar Teaser dessen, was uns erwartet. Im Februar beschrieb ein Apple-Forschungspapier ein Open-Source-Modell namens MLLM-Guided Image Editing (MGIE), das Medienbearbeitung mithilfe von Anweisungen in natürlicher Sprache von Benutzern ermöglicht. Nun ist ein weiteres Forschungspapier über Ferret-Benutzeroberfläche hat die KI-Community in Aufruhr versetzt.
Die Idee ist, eine multimodale KI einzusetzen (eine, die sowohl Texte als auch Multimedia-Elemente versteht), um die Elemente einer mobilen Benutzeroberfläche besser zu verstehen – und, was am wichtigsten ist, um umsetzbare Tipps zu liefern. Das ist ein wichtiges Ziel, während die Ingenieure darum wetteifern, KI für den durchschnittlichen Smartphone-Benutzer nützlicher zu machen als den aktuellen „Salontrick“.
In dieser Hinsicht besteht der größte Vorstoß darin, die generativen KI-Funktionen von der Cloud zu trennen, die Notwendigkeit einer Internetverbindung zu beseitigen und jede Aufgabe auf dem Gerät auszuführen, damit sie schneller und sicherer ist. Nehmen wir zum Beispiel Googles Gemini, das lokal auf den Telefonen der Google Pixel- und Samsung Galaxy S24-Serie – und bald auch auf OnePlus-Telefonen – läuft und Aufgaben wie Zusammenfassung und Übersetzung ausführt.
Was ist Apples Ferret-Benutzeroberfläche?
Mit Ferret-UI will Apple offenbar die Intelligenz eines multimodalen KI-Modells mit iOS verbinden. Im Moment liegt der Fokus auf „elementareren“ Aufgaben wie „Symbolerkennung, Textsuche und Widget-Auflistung“. Es geht jedoch nicht nur darum, zu verstehen, was auf dem Bildschirm eines iPhones angezeigt wird, sondern auch darum, es logisch zu verstehen und kontextbezogene Anfragen von Benutzern mithilfe der Denkfähigkeiten zu beantworten.
Die Fähigkeiten von Ferret UI lassen sich am einfachsten als intelligentes optisches Zeichenerkennungssystem (OCR) beschreiben, das auf künstlicher Intelligenz basiert. „Nach dem Training mit den kuratierten Datensätzen zeigt Ferret-UI ein hervorragendes Verständnis von UI-Bildschirmen und die Fähigkeit, offene Anweisungen auszuführen“, heißt es in der Forschungsarbeit. Das Team hinter Ferret UI hat es so abgestimmt, dass es „jede Auflösung“ unterstützt.
Sie können beim Surfen im App Store Fragen stellen wie „Ist diese App für mein 12-jähriges Kind sicher?“. In solchen Situationen liest die KI die Altersfreigabe der App und gibt entsprechend die Antwort. Wie die Antwort übermittelt wird – als Text oder Audio – ist nicht angegeben, da das Dokument weder Siri noch einen anderen virtuellen Assistenten erwähnt.
Apple ist nicht allzu weit vom GPT-Stamm gefallen
Aber die Ideen sind viel umfassender und intelligenter. Wenn Sie fragen: „Wie kann ich die App mit einem Freund teilen?“, hebt die KI das Symbol „Teilen“ auf dem Bildschirm hervor. Natürlich gibt sie Ihnen einen Überblick darüber, was auf dem Bildschirm aufblitzt, analysiert aber gleichzeitig die visuellen Elemente auf dem Bildschirm logisch – wie Kästchen, Schaltflächen, Bilder, Symbole und mehr. Das ist ein großer Gewinn für die Barrierefreiheit.
Wenn Sie die Fachbegriffe hören möchten: In der Arbeit werden diese Fähigkeiten als „Wahrnehmungskonversation“, „funktionale Inferenz“ und „Interaktionskonversation“ bezeichnet. Eine der Beschreibungen in der Forschungsarbeit fasst die Möglichkeiten von Ferret UI tatsächlich perfekt zusammen: Es handelt sich um „das erste MLLM, das dazu entwickelt wurde, präzise Verweis- und Erdungsaufgaben speziell für UI-Bildschirme auszuführen und dabei offene Sprachanweisungen geschickt zu interpretieren und umzusetzen.“
Dadurch kann es Screenshots beschreiben, sagen, was ein bestimmtes Asset macht, wenn man darauf tippt, und erkennen, ob etwas auf dem Bildschirm mit Touch-Eingaben interaktiv ist. Ferret UI ist kein reines Inhouse-Projekt. Stattdessen basiert es für den Argumentations- und Beschreibungsteil auf der GPT-4-Technologie von OpenAI, die ChatGPT und eine ganze Reihe anderer Konversationsprodukte antreibt.
Besonders hervorzuheben ist, dass die in der Arbeit vorgeschlagene Version für mehrere Seitenverhältnisse geeignet ist. Neben den Analyse- und Argumentationsfunktionen auf dem Bildschirm werden in der Forschungsarbeit auch einige erweiterte Funktionen beschrieben, die man sich kaum vorstellen kann. Im folgenden Screenshot beispielsweise scheint die Software nicht nur handgeschriebenen Text analysieren zu können, sondern auch die richtige Version aus den Rechtschreibfehlern des Benutzers vorhersagen zu können.
Es kann auch Text genau lesen, der am oberen oder unteren Rand abgeschnitten ist und sonst ein vertikales Scrollen erfordern würde. Es ist jedoch nicht perfekt. Gelegentlich identifiziert es eine Schaltfläche fälschlicherweise als Registerkarte und liest Assets falsch, die Bilder und Text in einem einzigen Block kombinieren.
Im Vergleich mit OpenAIs GPT-4V-Modell lieferte Ferret UI bei Fragen zum Bildschirminhalt ein beeindruckendes Maß an Konversationsinteraktionsergebnissen. Wie im Bild unten zu sehen ist, bevorzugt Ferret UI präzisere und direktere Antworten, während GPT-4V ausführlichere Antworten schreibt.
Die Wahl ist subjektiv, aber wenn ich eine KI fragen würde: „Wie kaufe ich den Pantoffel, der auf dem Bildschirm erscheint?“, würde ich es vorziehen, wenn sie mir die richtigen Schritte in so wenigen Worten wie möglich erklärt. Aber Ferret UI hat nicht nur bei der Kürze der Dinge, sondern auch bei der Genauigkeit hervorragende Arbeit geleistet. Bei der oben genannten Aufgabe erreichte Ferret UI 91,7 % bei den Konversationsinteraktionsergebnissen, während GPT-4V mit 93,4 % Genauigkeit nur knapp die Nase vorn hatte.
Ein Universum faszinierender Möglichkeiten
Ferret UI ist ein beeindruckendes Debüt einer KI, die Bildschirmaktionen sinnvoll interpretieren kann. Bevor wir uns jetzt zu sehr über die Möglichkeiten hier freuen, sind wir uns aus mehreren Gründen nicht sicher, wie genau Apple dies in iOS integrieren will oder ob es überhaupt dazu kommen wird. Bloomberg berichtete kürzlich, dass Apple sich bewusst sei, im KI-Rennen ein Nachzügler zu sein, und das zeige sich ganz deutlich am Mangel an nativen generativen KI-Produkten im Apple-Ökosystem.
Erstens sind die Gerüchte, dass Apple sogar einen Gemini-Lizenzvertrag mit Google oder OpenAI in Erwägung zieht, ein Zeichen dafür, dass Apples eigene Arbeit nicht auf dem gleichen Niveau ist wie die der Konkurrenz. In einem solchen Szenario wäre es klüger, die Arbeit zu nutzen, die Google bereits mit Gemini geleistet hat (das nun versucht, Google Assistant auf Telefonen zu ersetzen), als ein unausgereiftes KI-Produkt auf iPhones und iPads zu bringen.
Apple hat offensichtlich ehrgeizige Ideen und arbeitet weiterhin daran, wie die in mehreren Forschungsarbeiten beschriebenen Experimente zeigen. Doch selbst wenn es Apple gelingt, die Versprechen von Ferret UI in iOS zu erfüllen, wäre dies immer noch eine oberflächliche Implementierung einer generativen KI auf dem Gerät.
Funktionale Integrationen, selbst wenn sie sich nur auf vorinstallierte Apps beschränken, können jedoch erstaunliche Ergebnisse erzielen. Nehmen wir beispielsweise an, Sie lesen eine E-Mail, während die KI im Hintergrund bereits den Bildschirminhalt ausgewertet hat. Während Sie die Nachricht in der Mail-App lesen, können Sie die KI mit einem Sprachbefehl bitten, daraus einen Kalendereintrag zu erstellen und ihn in Ihrem Terminplan zu speichern.
Es muss nicht unbedingt eine superkomplexe, mehrstufige Aufgabe sein, an der mehr als eine App beteiligt ist. Nehmen wir an, Sie sehen sich die Wissensseite eines Restaurants in der Google-Suche an und sagen einfach „Rufen Sie das Lokal an“, die KI liest die Telefonnummer auf dem Bildschirm vor, kopiert sie in die Wählfunktion und startet einen Anruf.
Oder nehmen wir an, Sie lesen einen Tweet über einen Film, der am 6. April in die Kinos kommt, und sagen der KI, sie solle eine Verknüpfung zur Fandango-App erstellen. Oder ein Beitrag über einen Strand in Vietnam inspiriert Sie zu Ihrer nächsten Soloreise, und ein einfaches „Buchen Sie mir ein Ticket nach Con Dai“ bringt Sie zur Skyscanner-App, in der alle Ihre Eingaben bereits eingetragen sind.
Aber das ist alles leichter gesagt als getan und hängt von vielen Variablen ab, von denen einige außerhalb der Kontrolle von Apple liegen. Beispielsweise würden Webseiten voller Pop-ups und aufdringlicher Werbung es Ferret UI nahezu unmöglich machen, seine Aufgabe zu erfüllen. Positiv ist jedoch, dass sich iOS-Entwickler strikt an die von Apple festgelegten Designrichtlinien halten, sodass Ferret UI seine Magie bei iPhone-Apps wahrscheinlich effizienter entfalten würde.
Das wäre immer noch ein beeindruckender Sieg. Und da wir über eine Implementierung auf dem Gerät sprechen, die fest auf Betriebssystemebene verankert ist, ist es unwahrscheinlich, dass Apple für den Komfort Geld verlangen würde, anders als bei gängigen generativen KI-Produkten wie ChatGPT Plus oder Microsoft Copilot Pro. Würde uns iOS 18 endlich einen Blick auf ein neu konzipiertes iOS mit KI-Intelligenz gewähren? Wir müssen bis zur Worldwide Developers Conference 2024 von Apple warten, um das herauszufinden.
Unterstützen Sie unsere Arbeit ❤️
Wenn Ihnen dieser Artikel gefallen hat, können Sie uns mit einem Trinkgeld unterstützen, damit wir weiterhin großartige Inhalte veröffentlichen können.
