OpenAI und seine Technologien waren den größten Teil des Novembers in einen Skandal verwickelt. Zwischen der schnellen Entlassung und Wiedereinstellung von CEO Sam Altman und dem merkwürdigen Fall der eingestellten kostenpflichtigen ChatGPT Plus-Abonnements hat OpenAI die künstliche Intelligenzbranche wochenlang in den Nachrichten gehalten.
Nun haben KI-Enthusiasten ein Problem neu aufgearbeitet, das viele fragen lässt, ob GPT-4 „fauler“ wird, je weiter das Sprachmodell trainiert wird. Viele, die es verwenden, um anspruchsvollere Aufgaben zu beschleunigen, haben sich auf X (ehemals Twitter) beschwert, dass die wahrgenommenen Änderungen nicht mehr so wirksam sind.
OpenAI hat die Sicherheit von GPT-4 so weit erhöht, dass es träge und inkompetent geworden ist.
Diese Datei konvertieren? Zu lang. Eine Tabelle schreiben? Hier sind die ersten drei Zeilen. Diesen Link lesen? Tut mir leid, geht nicht. Diese py-Datei lesen? Ups, nicht erlaubt.
So frustrierend.
– Rohit (@krishnanrohit) 28. November 2023
Rohit Krishnan über X detaillierte mehrere von den Pannen, die er bei der Verwendung von GPT-4 erlebt hat, dem Sprachmodell hinter ChatGPT Plus, der kostenpflichtigen Version von ChatGPT. Er erklärte, dass der Chatbot mehrere seiner Anfragen abgelehnt oder ihm verkürzte Versionen seiner Anfragen gegeben habe, obwohl er zuvor ausführliche Antworten erhalten hatte. Er bemerkte auch, dass das Sprachmodell andere Tools als die verwenden wird, die ihm angewiesen wurden, wie z. B. Dall-E, wenn eine Eingabeaufforderung nach einem Code-Interpreter fragt. Krishnan fügte auch sarkastisch hinzu, dass „Fehleranalyse“ die Art des Sprachmodells sei, „AFK“ zu sagen. [away from keyboard]bin in ein paar Stunden zurück.“
Matt Wensing über X beschrieb sein Experimentwo er ChatGPT Plus bat, eine Liste mit Daten zwischen jetzt und dem 5. Mai 2024 zu erstellen, und der Chatbot zusätzliche Informationen benötigte, wie etwa die Anzahl der Wochen zwischen diesen Daten, bevor er die ursprüngliche Aufgabe erledigen konnte.
Wharton-Professor Ethan Mollick auch geteilt seine Beobachtungen von GPT-4, nachdem er Sequenzen mit dem Code-Interpreter, den er im Juli ausgeführt hatte, mit neueren Abfragen von Dienstag verglichen hatte. Er kam zu dem Schluss, dass GPT-4 immer noch sachkundig ist, merkte jedoch an, dass es ihm erklärte, wie er seinen Code reparieren könne, anstatt den Code tatsächlich zu reparieren. Im Wesentlichen müsste er die Arbeit erledigen, die er von GPT-4 verlangte. Obwohl Mollick nicht beabsichtigte, die Sprache zu kritisieren, stimmen seine Beobachtungen mit dem überein, was andere als „Widerrede“ von GPT-4 beschrieben haben.
ChatGPT ist dafür bekannt, Antworten auf Informationen zu halluzinieren, die es nicht kennt, aber diese Fehler scheinen weit über die üblichen Fehltritte des KI-Chatbots hinauszugehen. GPT-4 wurde im März eingeführt, aber schon im Juli tauchten Berichte auf, dass das Sprachmodell „dümmer“ werde. Eine in Zusammenarbeit mit der Stanford University und der University of California, Berkeley, durchgeführte Studie ergab, dass die Genauigkeit von GPT-4 allein zwischen März und Juni von 97,6 % auf 2,4 % sank. Sie zeigte detailliert auf, dass die kostenpflichtige Version von ChatGPT nicht in der Lage war, die richtige Antwort auf eine mathematische Gleichung mit einer detaillierten Erklärung zu liefern, während die unbezahlte Version, auf der noch ein älteres GPT 3.5-Modell läuft, die richtige Antwort und eine detaillierte Erklärung des mathematischen Prozesses lieferte.
Während dieser Zeit hat Peter Welinder, OpenAI Product Vice President, empfohlen dass bei Vielnutzern ein psychologisches Phänomen auftreten kann, bei dem die Qualität der Antworten mit der Zeit scheinbar nachlässt, obwohl das Sprachmodell tatsächlich immer effizienter wird.
Es wurde diskutiert, ob GPT-4 in letzter Zeit „faul“ geworden ist. Meine anekdotischen Tests lassen darauf schließen, dass dies wahr sein könnte.
Ich habe eine Reihe alter Analysen wiederholt, die ich mit Code Interpreter durchgeführt habe. GPT-4 weiß immer noch, was zu tun ist, fordert mich aber immer wieder auf, die Arbeit zu erledigen. Ein Schritt ist jetzt viele und einige sind seltsam. pic.twitter.com/OhGAMtd3Zq
– Ethan Mollick (@emollick) 28. November 2023
Laut Mollick könnten die aktuellen Probleme ebenfalls vorübergehend sein und auf eine Systemüberlastung oder eine Änderung des Eingabeaufforderungsstils zurückzuführen sein, die den Benutzern nicht mitgeteilt wurde. Insbesondere OpenAI nannte eine Systemüberlastung als Grund für die Sperrung der ChatGPT Plus-Anmeldung, nachdem das Interesse an dem Dienst stark angestiegen war, nachdem auf der ersten DevDay-Entwicklerkonferenz eine Reihe neuer Funktionen für die kostenpflichtige Version des KI-Chatbots vorgestellt wurden. Für ChatGPT Plus gibt es noch eine Warteliste. Der Professor fügte außerdem hinzu, dass ChatGPT auf Mobilgeräten einen anderen Eingabeaufforderungsstil verwendet, was zu „kürzeren und prägnanteren Antworten“ führt.
Yacine über X detailliert das Die Unzuverlässigkeit des neuesten GPT-4-Modells aufgrund der sinkenden Anweisungskonformität hat sie dazu veranlasst, zur traditionellen Codierung zurückzukehren. Sie fügten hinzu, dass sie planen, ein lokales Code-LLM zu erstellen, um die Kontrolle über die Parameter des Modells zurückzuerlangen. Andere Benutzer haben erwähnt, dass sie sich inmitten des Niedergangs des Sprachmodells für Open-Source-Optionen entschieden haben.
Ähnlich verhält es sich beim Reddit-Benutzer Mindless-Ad8595 erklärte, dass neuere Updates von GPT-4 haben es zu intelligent für sein eigenes Wohl gemacht. „Es hat keinen vordefinierten ‚Pfad‘, der sein Verhalten bestimmt, was es unglaublich vielseitig macht, aber standardmäßig auch etwas richtungslos“, sagte er.
Der Programmierer empfiehlt Benutzern, benutzerdefinierte GPTs zu erstellen, die auf die jeweilige Aufgabe oder Anwendung spezialisiert sind, um die Effizienz der Modellausgabe zu erhöhen. Er bietet keine praktischen Lösungen für Benutzer, die im Ökosystem von OpenAI bleiben.
App-Entwickler Nick Dobos teilte seine Erfahrung mit GPT-4-Pannen, und bemerkte, dass, als er ChatGPT dazu aufforderte, Pong in SwiftUI schreibenentdeckte er verschiedene Platzhalter und Aufgaben im Code. Er fügte hinzu, dass der Chatbot Befehle ignorierte und weiterhin diese Platzhalter und Aufgaben in den Code einfügte, selbst wenn er dazu aufgefordert wurde. Mehrere X-Benutzer bestätigten ähnliche Erfahrungen dieser Art mit ihren eigenen Codebeispielen mit Platzhaltern und Aufgaben. Dobos‘ Beitrag erregte die Aufmerksamkeit eines OpenAI-Mitarbeiters, der sagte, sie würden Beispiele zur Behebung an das Entwicklungsteam des Unternehmens weiterleiten, mit dem Versprechen, in der Zwischenzeit alle Updates mitzuteilen.
Insgesamt gibt es keine klare Erklärung dafür, warum es bei GPT-4 derzeit zu Komplikationen kommt. Benutzer, die ihre Erfahrungen online diskutieren, haben viele Ideen vorgeschlagen. Diese reichen von der Zusammenführung von OpenAI-Modellen über eine anhaltende Serverüberlastung durch die gleichzeitige Ausführung von GPT-4 und GPT-4 Turbo bis hin zu dem Versuch des Unternehmens, durch die Begrenzung der Ergebnisse Geld zu sparen, um nur einige zu nennen.
Es ist bekannt, dass OpenAI einen extrem teuren Betrieb betreibt. Im April 2023 gaben Forscher an, dass es 700.000 Dollar pro Tag oder 36 Cent pro Abfrage kostet, ChatGPT am Laufen zu halten. Branchenanalysten erklärten damals, dass OpenAI seine GPU-Flotte um 30.000 Einheiten erweitern müsste, um seine kommerzielle Leistung für den Rest des Jahres aufrechtzuerhalten. Dies würde die Unterstützung von ChatGPT-Prozessen sowie die Datenverarbeitung für alle seine Partner erfordern.
Während sie darauf warteten, dass sich die GPT-4-Leistung stabilisierte, machten die Benutzer mehrere geistreiche Bemerkungen und machten sich über die Situation auf X lustig.
„Das nächste, was Sie wissen, ist, dass Sie sich krank melden“, Südroggen sagte.
„So viele Antworten mit ‚und du machst den Rest‘. Nein, DU machst den Rest“, HerrGarnett sagte.
Die Anzahl der Antworten und Posts zu diesem Problem ist definitiv schwer zu ignorieren. Wir müssen abwarten, ob OpenAI das Problem in einem zukünftigen Update direkt angehen kann.
Unterstützen Sie unsere Arbeit ❤️
Wenn Ihnen dieser Artikel gefallen hat, können Sie uns mit einem Trinkgeld unterstützen, damit wir weiterhin großartige Inhalte veröffentlichen können.
