Google hat Bard im Stillen verbessert und alle paar Wochen neue Funktionen hinzugefügt, um seine Fähigkeiten auf das Niveau von ChatGPT zu bringen. Jetzt hat das Unternehmen die Möglichkeit hinzugefügt, Bilder in Bard hochzuladen, um neben Texten ein viel umfassenderes Erlebnis zu bieten. Machen Sie keinen Fehler, Google Bard ist immer noch ein reines Text-Modell für große Sprachen. Der Suchgigant hat jedoch Google Lens, eine umgekehrte Bildsuche und einige VQA-Systeme (Visual Question Answering) integriert, damit sich Bard wie ein multimodales Modell anfühlt. Dennoch ist die aktuelle Bildverarbeitungsfähigkeit von Bard in der Tat etwas überraschend, und wir haben sie unten getestet, um mehr über ihre Fähigkeiten zu erfahren. In diesem Sinne werfen wir einen Blick auf einige coole Beispiele für Bild-Uploads in Google Bard.
1. Texte aus Bildern extrahieren
Der beste Nutzen von Bards Bildbearbeitungsfunktion besteht darin, dass Sie jetzt ein Bild hochladen können, indem Sie auf das (+) Schaltfläche. Es kann dann schnell Texte aus den Uploads abrufen. Google Bard dann führt automatisch OCR durch und arbeitet präzise. Allerdings funktioniert die OCR-Funktion derzeit nur für die englische Sprache, obwohl Bard eine lange Liste von Sprachen unterstützt. Ich habe mehrere internationale und regionale Sprachen ausprobiert, aber es gelang mir nicht, Texte aus gescannten Bildern zu extrahieren. Für die schnelle Textextraktion aus Bildern kann Bard jedoch sehr hilfreich sein.
2. Tabellen mit intakter Formatierung extrahieren
Wir alle haben Probleme, wenn wir Tabellen aus gescannten Bildern oder Dokumenten extrahieren müssen. Google Bard kann jedoch mühelos Tabellen mit intakter Formatierung extrahieren. Tatsächlich können Sie Exportieren Sie die Tabelle in Google Sheets und weitere Bearbeitungen oder Datenanalysen durchführen. Wie cool ist das denn? Allerdings halluziniert Bard derzeit viel und füllt in manchen Fällen die Zellen mit den falschen Daten. Überprüfen Sie sie also unbedingt, bevor Sie sie exportieren.
3. Generieren Sie Code für Websites/Apps mithilfe von Mockups
Um die Multimodalitätsfunktion von GPT-4 zu demonstrieren, demonstrierte OpenAI im März 2023, wie sein Modell verstand die gekritzelte Notiz und erstellte schnell ein Modell der Website aus einem Stück Papier. Während die multimodale Funktion noch nicht in GPT-4 verfügbar ist, kann Google Bard Code generieren, der dem Modell entspricht. Denken Sie daran, dass Bard ist kein multimodales Modell verwendet aber Bildsegmentierung über Google Lens, um das Bild zu verstehen. Dennoch überraschte uns Bard mit seinen Ergebnissen.
Ich lud einen Screenshot der Facebook-Landingpage hoch und dieser generierte schnell Code in HTML und CSS das sah ziemlich ähnlich aus. Ich habe auch ein Bild einer einfachen Website hochgeladen, das ich auf Papier gezeichnet hatte, und Google Bard hat es recht gut nachgebildet. Darüber hinaus können Sie ähnliche Methoden auch zum Nachbilden von Benutzeroberflächen für Smartphone-Apps und andere Websites verwenden.
4. Google Bard kann Bilder erklären
Google Bard ist gut darin, Bilder zu erklären und zusammenzufassen, was in ihnen vor sich geht. Sie können obskure Bilder hochladen, und es kann zuverlässige Informationen erstellen schnell. Ich habe ein Bild eines biologischen Mechanismus in niedriger Qualität hochgeladen und es hat ihn korrekt als Zellmitose identifiziert. Außerdem wurde der Prozess Schritt für Schritt erklärt.
In einem anderen Beispiel ein Diagramm hochgeladen, und es hat das Bild richtig verstanden und die Daten erklärt. Es hat sogar eine Tabelle mit den Datenpunkten erstellt, damit ich in Google Sheets daran arbeiten konnte. Besonders für Schüler kann Bard hilfreich sein, um Konzepte in Naturwissenschaften und anderen Themen zu verstehen. Sie können einfach ein Bild hochladen und Bard danach fragen.
5. Nährwertangaben aus Bildern entnehmen
Mit Bards Bildbearbeitungsfunktion erhalten Sie die Nährwerte von Lebensmitteln. Laden Sie einfach das Bild des Essens auf Ihrem Teller hoch und es wird Berechnen Sie die Gesamtkalorien innerhalb von Sekunden. Dies kann für Menschen, die eine geregelte Ernährung einhalten müssen, enorm hilfreich sein.
Bei meinen Tests konnte es die Portionsgröße nicht abschätzen, lieferte aber Beispiele, sodass Sie die Gesamtkalorienaufnahme selbst berechnen konnten. Es scheint, dass Google Bildsegmentierung verwendet, um Lebensmittel zu kategorisieren und Nährwertinformationen bereitzustellen.
6. Essensrezepte improvisieren
Ein weiterer hervorragender Anwendungsfall ist das Hinzufügen eines Bilds von rohen Lebensmitteln und die Aufforderung an Google Bard, verschiedene Lebensmittelrezepte zu erstellen. Sie können auch Bilder von Lebensmitteln in Ihrem Kühlschrank hinzufügen und mühelos erstellen personalisierte Rezepte für Sie. Darüber hinaus können Sie Bard nach bestimmten Küchen aus verschiedenen Teilen der Welt fragen. Und wenn Sie auf Diät sind, können Sie Google Bard bitten, fettfreie, kalorienarme Rezepte für ein sättigendes Essen zu erstellen.
7. Mathematische Fragen lösen
Sie können Google Bard auch verwenden, um mathematische Fragen zu lösen. Sie können ein Bild Ihrer Matheaufgaben auf Bard hochladen, und es wird versuche die Frage zu lösen für Sie. Bei meinen Tests war Bards Ansatz richtig, aber aufgrund von Notationsproblemen lieferte er nur falsche Antworten. Ich denke, dass ein Update seines Sichtsystems erforderlich sein wird, um Bard für die Handhabung mathematischer Notationen und Fragen besser geeignet zu machen.
8. Erklären Sie Memes und Witze
Google Bard kann auch Memes und Witze erklären. Sie können Bilder von lustigen Memes und Cartoons hochladen und frag Bard, was lustig ist ungefähr gleich, und es wird seine eigene Interpretation liefern. Ich habe dasselbe Bild hochgeladen, das OpenAI während der Enthüllung von GPT-4 vorgeführt hat, und Bard hat die urkomische Absurdität hinter dem Bild richtig erkannt.
In einem anderen Fall lud ich ein Bild von The New Yorker Cartoons auf Google Bard hoch und bat es, erkläre den Witz. Dieses Mal erklärte es jedoch einfach die Szene und konnte nicht sagen, warum das Bild lustig war. Es übersah völlig die E-Mail-Phrase, die am Arbeitsplatz häufig verwendet wird. Ich schlage vor, Sie probieren Google Bard selbst aus und prüfen, ob es intelligent genug ist, um Witz und Humor zu verstehen.
9. Übersetzen Sie Gleichungen in LaTeX
Einfach #Barde Tipp: Nehmen Sie einfach das Bild einer Gleichung und lassen Sie es in Latex rendern. pic.twitter.com/XXvuEW1LQB— Carlos E. Perez (@IntuitMachine) 15. Juli 2023
Es ist kein Geheimnis, dass viele Leute Schwierigkeiten haben, in LaTeX zu schreiben und lieber Textverarbeitungsprogramme verwenden. Für wissenschaftliche Forschungsarbeiten und akademisches Schreiben ist LaTeX jedoch erforderlich für Hinzufügen komplexer Gleichungen und hochwertiger Schriftsatz. In einem solchen Szenario kann Google Bard hilfreich sein. Sie können Bilder von Gleichungen hinzufügen und Bard kann sie in LaTeX-Code übersetzen. Das ist doch erstaunlich, oder? Also los, übersetzen Sie die Gleichungen im Handumdrehen in LaTeX-Code.
10. Medizinische Berichte hochladen und Fragen stellen
Schließlich können Sie Bilder Ihrer medizinischen Berichte hochladen und sie in Google Bard scannen. Sie können dann auf dieser Grundlage medizinische Fragen stellen. Einige Ärzte auf Twitter haben gezeigt, dass Bard ziemlich gut für die Differentialdiagnose. Es kann den Benutzern auch helfen, ihren Gesundheitszustand zu verstehen und medizinische Berichte zu interpretieren
Googleのbard凄い & 怖い ！！！
Bardによる脳CTの診断!
｢画像には脳の白い部分が写っていると言えます.。。脳腫瘍、脳卒中、出血など、さまざまな原因が考えられます｣
答えは脳出血です.その鑑別診断を挙げるだけでも凄いですね.特化型で学習しているわけではありませんので. pic.twitter.com/aEdF5xtlqt— 河野 健一 生成AI ✕ 医療に注目！ 手術支援AI CEO 脳外科医 (@CeoImed) 14. Juli 2023
Bedenken Sie jedoch, dass Google Bard auf einem allgemeiner LLM genannt PaLM 2. Der Suchgigant hat ein separates medizinisches Med-PaLM 2-Modell entwickelt, das ziemlich genau und fortschrittlich ist, aber noch nicht für allgemeine Benutzer verfügbar ist. Daher empfehle ich Benutzern, sich von jeglicher Art der Selbstdiagnose mit Bard fernzuhalten. Es wird dringend empfohlen, einen Arzt zu konsultieren. Und schließlich: Wenn Sie Ihre persönlichen medizinischen Berichte auf Bard hochladen, löschen Sie unbedingt Bard-Chats, um Ihre Privatsphäre zu schützen.
Unterstützen Sie unsere Arbeit ❤️
Wenn Ihnen dieser Artikel gefallen hat, können Sie uns mit einem Trinkgeld unterstützen, damit wir weiterhin großartige Inhalte veröffentlichen können.
