Google hat gestern eine Reihe von Updates angekündigt, darunter das Gemini 2.0 Flash-Modell, Deep Research und mehr. Darüber hinaus gab der Suchriese eine Vorschau auf seine kommenden KI-Agenten wie Project Mariner, Project Astra und Jules. Google sagte, es verbessere Project Astra und seine Funktionen würden in die Gemini-App integriert.
Darüber hinaus hat Google stillschweigend „Stream Realtime“ auf Google AI Studio veröffentlicht, das sehr ähnlich wie Project Astra funktioniert. Die Funktion ist für Entwickler zum Testen der API gedacht, aber auch allgemeine Benutzer können sie einfach und kostenlos nutzen. Mit Ihrer Kamera können Sie Ihre Umgebung zeigen und in Echtzeit mit Gemini 2.0 sprechen. Das Beste daran ist, dass Sie Ihren Laptop-Bildschirm teilen und per Echtzeit-Sprache interagieren können.
Die Latenz wurde erheblich reduziert und es fühlt sich wirklich so an, als würden Sie sich mit Gemini 2.0 in Echtzeit unterhalten. Sie können Gemini mit der Kamera Ihres Smartphones oder der Webcam Ihres Laptops zeigen, was Sie gerade sehen. Sie können Ihren Bildschirm auch auf Ihrem Laptop teilen. So können Sie mit Google AI Studio eine frühe Vorschau von etwas wie Project Astra ausprobieren.
- Machen Sie weiter und starten Sie aistudio.google.com/live in Ihrem Mobil- oder Laptop-/Desktop-Browser.
- Melden Sie sich jetzt mit Ihrem Google-Konto an. Google AI Studio ist für alle kostenlos.
- Tippen oder klicken Sie anschließend auf „Zwillinge anzeigen“ und erteilen Sie die Erlaubnis, Ihre Live-Kamera und Ihr Mikrofon zu verwenden.
- Jetzt können Sie Ihre Umgebung zeigen und in Echtzeit mit Gemini 2.0 sprechen. Ich habe es mit meinem Smartphone getestet und es hat meine Raspberry Pi-Boards in Echtzeit korrekt identifiziert.
- Als nächstes habe ich auf meinem Laptop meinen Bildschirm mit Gemini 2.0 geteilt, und es hat ziemlich gut funktioniert. Es hat meinen Bildschirm analysiert und mir bei der Suche nach einem Laptop ein paar Anregungen gegeben. Das ist wirklich cool.
Für die Codierungsunterstützung in Echtzeit könnte die Bildschirmfreigabefunktion nützlich sein. ChatGPT kann Ihren Bildschirm bereits unter macOS sehen, ist jedoch auf einige wenige Programmier-Apps beschränkt. OpenAI hat bereits angekündigt, dass Live Camera zu ChatGPT kommt, aber bisher gab es kein offizielles Update. Vielleicht könnte das Unternehmen inmitten der laufenden „12 Tage OpenAI“-Ankündigungen die Live-Kamera auf ChatGPT starten.
Übrigens testet Microsoft auch Copilot Vision, das Ihren Bildschirm sehen kann, während Sie im Internet surfen, aber auch hier ist es auf einige wenige genehmigte Websites beschränkt und nur für Early-Access-Benutzer verfügbar.
Mit Stream Realtime präsentiert Google etwas, das dem Projekt Astra sehr nahe kommt. Natürlich kann das verbesserte Project Astra für ein noch nahtloseres Erlebnis auf Echtzeitdaten von Google Maps, Google Lens und der Google-Suche zugreifen, aber es ist noch nicht verfügbar. Ich würde sagen, dass Stream Realtime auch ohne Live-Webzugriff eine großartige Project Astra-Demo darstellt. Wer weiß, Stream Realtime könnte hinter den Kulissen Project Astra sein.
