Wenn Sie das ChatGPT-Subreddit auf Twitter oder Reddit gelesen haben, werden Sie feststellen, dass eine Frage häufiger gestellt wird als alle anderen: Wird ChatGPT dümmer? Nimmt die Leistung des weltweit führenden generativen KI-Chatbots mit der Zeit ab oder halluzinieren die Millionen von ChatGPT-Benutzern kollektiv Qualitätsprobleme?
Wird ChatGPT schlimmer?
Viele ChatGPT-Benutzer haben sich gefragt: Wird ChatGPT dümmer? OpenAI veröffentlicht regelmäßig Updates für ChatGPT, um die Antworten, die Sicherheit und vieles mehr zu optimieren. Dabei werden Benutzerfeedback, Eingabeaufforderungen und Benutzerdaten als Grundlage für die weitere Entwicklung verwendet.
Aber obwohl ChatGPT bei seiner Einführung wie eine geniale Lösung für fast jedes Problem wirkte, berichten heute mehr Benutzer denn je von Problemen mit seinen Antworten und Ausgaben. Besonders hervorzuheben sind ChatGPTs Fähigkeiten in den Bereichen Argumentation, Codierung und Mathematik, obwohl andere anmerken, dass es auch bei kreativen Aufgaben Probleme hat.
Für die meisten ChatGPT-Benutzer besteht die einfachste Möglichkeit, zu überprüfen, wie sich die Antworten im Laufe der Zeit geändert haben, darin, eine zuvor verwendete Eingabeaufforderung (vorzugsweise aus den Anfangstagen von ChatGPT) zu wiederholen und die beiden Ausgaben zu analysieren.
Hier ist eine Antwort vom 22. Juni im Vergleich zu heute zum Thema Frauen und Rückgang der Fruchtbarkeit. Welche Schlussfolgerungen können Sie daraus ziehen? pic.twitter.com/gLBnc7PuVC — John Holowach (@johnholowach) 13. Juli 2023
Antworten, die bestimmte Ergebnisse erfordern, wie etwa solche, die Kodierung und Mathematik erfordern, lassen sich wahrscheinlich am einfachsten direkt vergleichen.
Stanford-Studie deutet auf Rückgang bei ChatGPT hin
Eine gemeinsame Forschungsgruppe der Stanford University und der UC Berkeley glaubt, dass die Annahme, dass sich ChatGPT ändert, richtig sein könnte. Der Aufsatz von Lingjiao Chen, Matei Zaharia und James Zou „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?“ [PDF] ist eine der ersten umfassenden Studien zu den sich verändernden Fähigkeiten von ChatGPT.
In der Berichtszusammenfassung heißt es:
Wir stellen fest, dass die Leistung und das Verhalten von GPT-3.5 und GPT-4 im Laufe der Zeit stark variieren können. Beispielsweise war GPT-4 (März 2023) sehr gut darin, Primzahlen zu identifizieren (Genauigkeit 97,6 %), aber GPT-4 (Juni 2023) war bei denselben Fragen sehr schlecht (Genauigkeit 2,4 %). Interessanterweise war GPT-3.5 (Juni 2023) bei dieser Aufgabe viel besser als GPT-3.5 (März 2023). GPT-4 war im Juni weniger bereit, sensible Fragen zu beantworten als im März, und sowohl GPT-4 als auch GPT-3.5 hatten im Juni mehr Formatierungsfehler bei der Codegenerierung als im März.
Als ChatGPT Anfang 2023 mathematische Probleme vorlegte, die es lösen konnte, waren die Antworten später im Jahr völlig ungenau. Darüber hinaus erklärte ChatGPT ausführlich, warum die Antwort richtig war, obwohl sie falsch war. Fälle von KI-Halluzinationen sind nichts Neues, aber die Zahlen in den folgenden Diagrammen deuten auf eine signifikante Veränderung des allgemeinen Denkvermögens hin.
Die Diagramme deuten darauf hin, dass die Antworten von ChatGPT schwanken, was durch den Bericht noch verstärkt wird.
Die Genauigkeit von GPT-4 sank von 97,6 % im März auf 2,4 % im Juni, und die Genauigkeit von GPT-3.5 verbesserte sich deutlich von 7,4 % auf 86,8 %. Darüber hinaus wurden die Antworten von GPT-4 viel kompakter: Die durchschnittliche Ausführlichkeit (Anzahl der generierten Zeichen) sank von 821,2 im März auf 3,8 im Juni. Andererseits wuchs die Antwortlänge von GPT-3.5 um etwa 40 %. Die Antwortüberschneidung zwischen den Versionen vom März und Juni war bei beiden Diensten ebenfalls gering.
Der Bericht erklärt, dass die große Gedankenkette des Sprachmodells von ChatGPT „nicht funktionierte“, als die Fragen im Juni gestellt wurden. Konversationsdrift war schon immer ein bemerkenswertes Problem bei LLMs, aber die extreme Varianz der Antworten deutet auf Leistungsprobleme und Änderungen an ChatGPT hin.
Wird ChatGPT schlimmer? OpenAI sagt Nein
Ist es bloß ein Zufall, dass sowohl Gelegenheitsnutzer als auch Vielnutzer von ChatGPT die veränderte Qualität von ChatGPT bemerken?
Die Forschungsarbeit lässt darauf schließen, dass dies nicht der Fall ist, Peter Welinder, Vizepräsident für Produkte bei OpenAI, ist jedoch anderer Ansicht.
Darüber hinaus verwies Welinder später auf die Veröffentlichungen von OpenAI für ChatGPT und den konstanten Strom an Updates, die das Unternehmen im Jahr 2023 bereitgestellt hat.
Dennoch gab es zahlreiche Reaktionen auf seinen Tweet, in denen er detailliert darlegte, wie unzureichend die Antworten von ChatGPT von den Benutzern gefunden wurden. Viele nahmen sich die Zeit, Eingabeaufforderungen und Antworten zu kommentieren.
Kann OpenAI ChatGPT in seinen ursprünglichen Zustand zurückversetzen?
Die Anfänge von ChatGPT scheinen nun weit weg zu sein; der November 2022 ist eine verschwommene Erinnerung und die Welt der KI bewegt sich schnell.
Für viele veranschaulicht die Studie von Stanford/Berkeley perfekt die Probleme und Frustrationen bei der Verwendung von ChatGPT. Andere behaupten, dass die Optimierungen und Änderungen, die an ChatGPT vorgenommen wurden, um es zu einem sichereren, umfassenderen Tool zu machen, auch seine Fähigkeit, richtig zu argumentieren, direkt verändert und sein Wissen und seine Gesamtfähigkeiten bis zu dem Punkt geschwächt haben, an dem es unbrauchbar ist.
Es gibt offenbar kaum Zweifel daran, dass sich ChatGPT geändert hat. Ob ChatGPT seine ursprüngliche Leistungsfähigkeit zurückgewinnen wird, ist eine ganz andere Frage.
Unterstützen Sie unsere Arbeit ❤️
Wenn Ihnen dieser Artikel gefallen hat, können Sie uns mit einem Trinkgeld unterstützen, damit wir weiterhin großartige Inhalte veröffentlichen können.
