Auf der Google I/O 2023 enthüllte der Suchgigant endlich PaLM 2sein neuestes universelles Großsprachenmodell. PaLM 2 ist das Fundament, auf dem heute mehrere Google-Produkte aufgebaut werden, darunter Google Generative AI Search, Duet AI in Google Docs und Gmail, Google Bard und mehr. Aber was genau ist das Google PaLM 2-KI-Modell? Ist es besser als GPT-4? Unterstützt es Plugins? Um alle Ihre Fragen zu beantworten, lesen Sie unsere ausführliche Erklärung zum von Google veröffentlichten PaLM 2-KI-Modell.
Was ist das PaLM 2-KI-Modell von Google?
PaLM 2 ist das neueste Large Language Model (LLM) von Google, das hochleistungsfähig ist in fortgeschrittenes Denken, Kodierung und Mathematik. Es ist außerdem mehrsprachig und unterstützt mehr als 100 Sprachen. PaLM 2 ist ein Nachfolger des früheren Pathways Language Model (PaLM), das 2022 eingeführt wurde.
Die erste Version von PaLM wurde mit 540 Milliarden Parametern trainiert und war damit eines der größten LLMs überhaupt. Im Jahr 2023 brachte Google jedoch PaLM 2 heraus, das zwar deutlich kleiner, dafür aber schneller und effizienter als die Konkurrenz ist.
In PaLM 2 92-seitiger technischer BerichtGoogle hat den Parameter size nicht erwähnt, aber laut einer TechCrunch Berichteiner der PaLM 2-Modelle werden nur mit 14,7 Milliarden Parametern trainiertwas weitaus weniger ist als bei PaLM 1 und anderen Konkurrenzmodellen. Forscher Auf Twitter heißt es, dass das größte PaLM 2-Modell wahrscheinlich mit 100 Milliarden Parametern trainiert wird, was immer noch viel weniger ist als bei der Konkurrenz.
Um Ihnen eine Vorstellung zu geben: Das GPT-4-Modell von OpenAI soll trainiert werden auf 1 Billion Parameter, was einfach umwerfend ist. Das GPT-4-Modell ist mindestens 10-mal größer als PaLM 2.
Wie hat Google PaLM 2 kleiner gemacht?
Im offizieller Blogsagt Google, dass größer nicht immer besser ist und dass Kreativität in der Forschung der Schlüssel zur Entwicklung großartiger Modelle ist. Mit „Kreativität in der Forschung“ meint Google hier wahrscheinlich Reinforcement Learning from Human Feedback. (RLHF), rechenoptimale Skalierungund andere neuartige Techniken.
Google hat nicht bekannt gegeben, welche Forschungskreativität es in PaLM 2 einsetzt, aber es sieht so aus, als ob das Unternehmen LoRA (Low-Rank-Anpassung)Befehlsoptimierung und Qualitätsdatensätze, um trotz Verwendung eines relativ kleineren Modells bessere Ergebnisse zu erzielen.
Insgesamt ist PaLM 2 ein LLM-Modell, das schneller, relativ kleiner und kostengünstiger weil es weniger Parameter bedient. Gleichzeitig bietet es Fähigkeiten wie gesunden Menschenverstand, bessere logische Interpretation, fortgeschrittene Mathematik, mehrsprachige Konversation, Programmierkenntnisse und mehr. Das waren die Grundlagen des PaLM 2-Modells. Jetzt wollen wir uns seine Funktionen im Detail ansehen.
Was sind die Highlight-Funktionen von PaLM 2?
Wie oben erwähnt, ist PaLM 2 schneller, hocheffizient und hat geringere Bereitstellungskosten. Darüber hinaus bietet es mehrere erweiterte Funktionen. Zunächst einmal ist PaLM 2 sehr gut im gesunden Menschenverstand. Google sagt sogar, dass die Argumentationsfähigkeiten von PaLM 2 konkurrenzfähig mit GPT-4. Beim WinoGrande-Commonsense-Test erreichte PaLM 2 90,2 Punkte, während GPT-4 87,5 Punkte erreichte. Beim ARC-C-Test schneidet GPT-4 sogar noch besser ab und erreicht 96,3 Punkte, während PaLM 2 95,1 Punkte erreicht. Bei anderen Tests zum logischen Denken, darunter DROP, StrategyQA, CSQA und einige andere, übertrifft PaLM 2 GPT-4.
Nicht nur das, dank seiner Mehrsprachigkeit kann PaLM 2 Redewendungen, Gedichte, nuancierte Texte und sogar Rätsel in anderen Sprachen verstehen. Es geht über die wörtliche Bedeutung von Wörtern hinaus und versteht die mehrdeutige und bildliche Bedeutung hinter den Worten. Das liegt daran, dass PaLM 2 mit parallelen mehrsprachigen Texten verschiedener Sprachen vortrainiert wurde. Darüber hinaus macht der Korpus hochwertiger mehrsprachiger Daten PaLM 2 noch leistungsfähiger. Infolgedessen funktionieren Übersetzungen und andere derartige Anwendungen auf PaLM 2 viel besser.
Als nächstes kommen wir zu seinen Codierungsfähigkeiten. Google sagt, dass PaLM 2 wieder auf einem großen Korpus hochwertiger Quellcode-Datensätze trainiert wird, die im öffentlichen Bereich verfügbar sind. Daher unterstützt es mehr als 20 Programmiersprachen, Dazu gehören Python, JavaScrupt, C, C++ und sogar ältere Sprachen wie Prolog, Fortran und Verilog. Es kann auch Code generieren, kontextbezogene Vorschläge machen, Code von einer Sprache in eine andere übersetzen, Funktionen mit nur einem Kommentar hinzufügen und vieles mehr.
Was kann das Modell PaLM 2?
Zunächst einmal möchte ich sagen, dass PaLM 2 so konzipiert wurde, dass es für verschiedene Anwendungsfälle anpassbar ist. Google hat angekündigt, dass PaLM 2 in vier verschiedenen Modellen erhältlich sein wird — Gecko, Otter, Bison und Einhorn; Gecko ist der Kleinste und Einhorn das Größte.
Gecko ist so leicht, dass es sogar auf Smartphones läuft, während es komplett offline ist. Es kann Verarbeiten Sie 20 Token pro Sekunde auf einem Flaggschiff-Telefon, also etwa 16 Wörter pro Sekunde. Das ist doch fantastisch, oder? Stellen Sie sich die Art von KI-gestützten Geräteanwendungen vor, die Sie auf Ihrem Smartphone ausführen können, ohne dass eine aktive Internetverbindung oder leistungsstarke Spezifikationen erforderlich sind.
Ansonsten, PaLM 2 kann feinabgestimmt werden, um ein domänenspezifisches Modell zu erstellen sofort. Google hat bereits Med-PaLM 2 entwickelt, einen medizinspezifischen LLM, der auf PaLM 2 abgestimmt ist und die Kompetenzstufe „Expert“ für Fragen im Stil der US Medical Licensing Exam erhielt. Es erreichte eine Genauigkeit von 85,4 % im USMLE-Testsogar höher als GPT-4 (84 %). Bedenken Sie jedoch, dass GPT-4 ein allgemeiner LLM ist und nicht auf medizinisches Wissen abgestimmt ist.
In Zukunft hat Google hinzugefügt Multimodale Fähigkeit zu Med-PaLM 2. Es kann Bilder wie Röntgenaufnahmen und Mammogramme analysieren und Schlussfolgerungen ziehen, die mit denen von medizinischen Experten übereinstimmen. Das ist ziemlich bemerkenswert, da es dringend benötigten medizinischen Zugang in entlegene Gebiete auf der ganzen Welt bringen kann. Darüber hinaus hat Google Sec-PaLM entwickelt, eine spezialisierte Version von PaLM 2 für die Analyse der Cybersicherheit und zur schnellen Erkennung bösartiger Bedrohungen in kürzester Zeit.
PaLM 2-basierte Google-Produkte
Dies sind alles verschiedene Anwendungsfälle von PaLM 2 in unterschiedlichen Bereichen und Branchen. Für einzelne Verbraucher können Sie PaLM 2 in Aktion erleben, und zwar über Google Bard, Google Generative AI Search und Duet AI in Gmail, Google Docs und Google Sheets. Google hat kürzlich Bard, seinen interaktiven KI-Chatbot, in PaLM 2 verschoben und den Zugang zu mehr als 180 Länder. Sie können unserem Artikel folgen und sofort erfahren, wie Sie Google Bard verwenden.
Was die Verwendung von PaLM 2 in Gmail, Google Docs und Sheets betrifft (Google nennt es Duet AI für Google Workspace), müssen Sie sich anmelden an Warteliste um die KI-gestützten Funktionen zu nutzen. Schließlich hat Google für Entwickler hat die PaLM API veröffentlicht das auf dem PaLM 2-Modell basiert. Sie können Melden Sie sich an jetzt, um die PaLM-API in Ihren Produkten zu verwenden. Sie kann mehr als 75 Token pro Sekunde generieren und verfügt über ein Kontextfenster von 8.000 Token.
PaLM 2 vs. GPT-4: Wie schneiden die KI-Modelle im Vergleich ab?
Bevor wir die Fähigkeiten vergleichen, ist eines klar: PaLM 2 ist schnell. Ich meine, es reagiert schnell auf Anfragen, sogar auf komplexe Denkfragen. Und nicht nur das: Es bietet drei Entwürfe gleichzeitig, falls Sie mit der Standardantwort nicht zufrieden sind. Aus Effizienz- und Rechenleistungssicht ist Google OpenAI also ein oder zwei Schritte voraus. Lesen Sie hier alles über alle neuen Funktionen von Google Bard AI.
Was die Fähigkeiten betrifft, testeten wir die Denkfähigkeit sowohl der Modelle als auch der PaLM 2-gestützten Google Bard ist wirklich ein Hingucker in solchen Tests. Von 3 Denkfragen beantwortete Bard alle 3 richtig, während ChatGPT-4 nur 1 richtige Antwort geben konnte. In einem Fall war Bards Einschätzung falsch (er schien zu halluzinieren), gab aber irgendwie die richtige Antwort.
Abgesehen davon bat ich Bard bei Codierungsaufgaben, einen Fehler in dem von mir bereitgestellten Code zu finden, aber es gab eine lange Antwort zur Behebung der Probleme, die sich als völlig falsch herausstellte. ChatGPT-4 identifizierte jedoch sofort die Codierungssyntax, entdeckte den Fehler und korrigierte den Code ohne weitere Aufforderung.
Ich habe beiden Modellen auch die Aufgabe zugewiesen, den Dijkstra-Algorithmus in Python zu implementieren, und beide Modelle generierter fehlerfreier Code. Ich habe beide kompiliert und keine der Funktionen hat Fehler verursacht. Allerdings generiert ChatGPT-4 sauberen Code mit einigen Beispielen, während Bard nur die Barebone-Funktion implementiert.
Einschränkungen von Google PaLM 2
Kommen wir nun zu den Einschränkungen. Wir wissen bereits, dass ChatGPT-Plugins leistungsstark sind und die Fähigkeiten von GPT-4 schnell um ein Vielfaches verbessern können. Mit nur der Code-Interpreter-Pluginkönnen Benutzer mit ChatGPT noch viel mehr tun. Tatsächlich hat Google auch „Tools“ angekündigt, die Plug-ins ähneln, aber sie sind noch nicht live und die Unterstützung durch Drittanbieter scheint derzeit dürftig. Gleichzeitig ist die Entwicklerunterstützung für OpenAI enorm.
Als nächstes ist GPT-4 ein multimodales Modell, was bedeutet, dass es sowohl Texte als auch Bilder analysieren kann. Multimodalität hat eine Reihe interessanter Anwendungsfälle. Sie können ChatGPT bitten, ein Diagramm, eine Tabelle, einen medizinischen Bericht, medizinische Bilder und mehr zu untersuchen. Ja, die Funktion wurde ChatGPT noch nicht hinzugefügt, aber wir haben eine frühe Demo gesehen und sie schien sehr beeindruckend. Auf der anderen Seite, PaLM 2 ist kein multimodales Modell da es sich nur um Texte handelt.
Der Suchgigant hat PaLM 2 verfeinert und Med-PaLM 2 entwickelt, das zwar multimodal ist, aber nicht für die öffentliche Nutzung zugänglich ist und nur auf den medizinischen Bereich beschränkt ist. Google sagt, dass die Das Modell der nächsten Generation namens Gemini wird multimodal sein mit bahnbrechenden Funktionen, aber es wird noch trainiert und wird erst in Monaten veröffentlicht. Google hat versprochen, Lens-Unterstützung für Bard bereitzustellen, aber das ist nicht dasselbe wie ein KI-gestütztes visuelles Modell.
Schließlich im Vergleich zu GPT-4, Google Bard halluziniert viel (siehe hier ein Beispielwo Bard glaubt, dass das PaLM-KI-Modell von OpenAI erstellt wurde). Es erfindet Informationen spontan und antwortet selbstbewusst mit falschen Informationen. GPT-3 und GPT-3.5 hatten ebenfalls ein ähnliches Problem, aber OpenAI hat es mit der Veröffentlichung von GPT-4 geschafft, die Halluzinationen um 40 % zu reduzieren. Google muss sich mit demselben Halluzinationsproblem befassen“mutig und verantwortungsvoll.”
Fazit: PaLM 2 oder GPT-4?
Zusammenfassend lässt sich sagen, dass Googles PaLM 2-KI-Modell in einigen Bereichen wie fortgeschrittenem Denken, Übersetzung, Mehrsprachigkeit, Mathematik und Codierung verbessert wurde. Darüber hinaus bietet es den zusätzlichen Vorteil, dass es ein kleineres Modell mit schneller Leistung und geringen Bereitstellungskosten ausführt. Um jedoch die Funktionsparität mit GPT-4 zu erreichen, muss Google Multimodalität und Drittanbieter-Tools (Plugins) hinzufügen, das Halluzinationsproblem angehen und seine KI-Modelle so entwicklerfreundlich wie möglich gestalten.
