Der Riese aus Cupertino stellte Apple Intelligence auf der WWDC 2024 vor und stieg endlich in das KI-Rennen ein, um gegen Google, OpenAI und Microsoft anzutreten. Um neue KI-Funktionen und -Erlebnisse auf iOS 18 und macOS Sequoia bereitzustellen, hat Apple seine eigenen grundlegenden KI-Modelle entwickelt, sowohl für die Verarbeitung auf dem Gerät als auch in der Cloud.
Während Apples On-Device-Modell klein ist (trainiert mit 3 Milliarden Parametern), werden große Server-Klasse-Modelle auf Apples eigenem Private Cloud Compute gehostet. Für die meisten Aufgaben leistet das On-Device-Modell hervorragende Arbeit, aber bei komplexen Aufgaben wird die Anfrage an Apples große Server-Modelle ausgelagert. Darüber hinaus hat Apple ChatGPT auch auf iPhone, iPad und Mac integriert.
Apple hat zum ersten Mal sein eigenes LLM (Large Language Model) entwickelt. Daher sind wir gespannt, wie es im Vergleich zu den modernsten Modellen von OpenAI, Google und Microsoft abschneidet.
Wie Apple seine KI-Modelle entwickelt hat
Apple hat zwei Arten von KI-Modellen entwickelt: ein kleines Modell für die Verarbeitung auf dem Gerät, das mit 3 Milliarden Parametern trainiert wurde, und ein großes Servermodell, das auf der Cloud-Infrastruktur von Apple gehostet wird. Das Unternehmen hat die Parametergröße des Servermodells nicht erwähnt.
Für die Verarbeitung auf dem Gerät verwendet Apple LoRA-Adapter (Low-Rank Adaptation), um kleine Module für bestimmte Aufgaben zu laden. Diese Adapter tragen dazu bei, die Genauigkeit und Effizienz im Einklang mit großen unkomprimierten Modellen zu verbessern.
Apple sagt, dass es seine KI-Modelle mit lizenzierten Daten sowie domänenspezifischen Datensätzen trainiert hat, um Funktionen und Leistung zu verbessern. Darüber hinaus hat Apple mit seinem Webcrawler AppleBot öffentlich verfügbare Daten gecrawlt.
Leistung: Apples On-Device- und Server-KI-Modelle
Auf seiner BlogApple hat sein On-Device-KI-Modell (3B) mit Microsofts neuestem Phi-3-mini-Modell (3.8B), Googles Gemma-1.1-2B- und 1.1-7B-Modellen und Mistrals 7B-Modell verglichen. Bei Aufgaben zur Zusammenfassung von E-Mails und Benachrichtigungen schnitt Apples On-Device-Modell besser ab als Phi-3-mini.
In einem von Menschen bewerteten Bewertungstest wurde das On-Device-Modell von Apple Gemma 2B, Mistral 7B, Phi-3-mini und Gemma 7B vorgezogen.
Das größere Apple-Servermodell schnitt besser ab als GPT-3.5 Turbo, Mixtral 8x22B und DBRX Instruct. Gegen GPT-4 Turbo konnte es jedoch nicht mithalten. Das bedeutet, dass Apples großes Servermodell mit GPT-3.5 Turbo mithalten kann, was großartig ist.
Kommen wir nun zu den Anweisungen: Apples On-Device-Modell schnitt bei Genauigkeitstests wieder recht gut ab. Bei den Servermodellen lag es knapp hinter GPT-4 Turbo, schnitt aber besser ab als Mixtral 8x22B, GPT-3.5 Turbo und DBRX Instruct.
Als nächstes schnitten die Geräte- und Servermodelle von Apple bei den schriftlichen Benchmarks besser ab als die KI-Modelle der Konkurrenz.
Im Sicherheits- und Schädlichkeitstest generierten Apples Geräte- und Servermodelle die am wenigsten schädlichen Antworten. Das bedeutet, dass Apple wirklich hart daran gearbeitet hat, die KI-Modelle so auszurichten und zu zähmen, dass sie keine schädlichen Inhalte zu sensiblen Themen generieren.
Apple hat leistungsfähige Basismodelle entwickelt
Zusammenfassend lässt sich sagen, dass es Apple trotz seiner Verspätung gelungen ist, leistungsfähige Modelle für generative KI-Anwendungen zu entwickeln. Besonders beeindruckt bin ich vom lokalen, geräteinternen KI-Modell, das Microsofts Phi-3- und Googles Gemma 1.1-Modelle übertrifft. Das Servermodell ist auch ziemlich gut, da man oft bessere Antworten erhält als mit GPT-3.5 Turbo.
Wir warten darauf, dass Apple Intelligence auf unterstützten Geräten live geht, damit wir die Modelle direkt mit anderen Wettbewerbern vergleichen können. Was halten Sie von Apples KI-Modellen? Teilen Sie uns Ihre Meinung in den Kommentaren unten mit.
