Wie auf X angekündigt, erweitert Google die Verfügbarkeit von Gemini Live Kamera und Bildschirmfreigabe auf Nutzer/innen ohne Gemini Advanced Abonnement. Das bedeutet, dass ein One-AI-Premium-Abo nicht mehr erforderlich ist, um diese Funktion zu nutzen.

Gemini Live kann verstehen, was es sieht

Die Gemini-Live-Funktion in der App nutzt das Project Astra Modell, das für visuelles Kontextbewusstsein und einen eher agentenähnlichen Ansatz entwickelt wurde. Wenn Ihr die Funktion nutzt, könnt ihr euren aktuellen Telefonbildschirm oder eine Live-Ansicht über die Kamera eures Geräts teilen. Von dort aus könnt ihr mit Gemini Live per Spracheingabe interagieren und Fragen stellen, die von der Identifizierung von Objekten bis hin zum Verständnis dessen reichen, was auf eurem Bildschirm in Echtzeit zu sehen ist.

Das Teilen der Kameraansicht funktioniert wie ein visueller Assistent mit Objekt- und Texterkennungsfunktionen, der dir helfen kann, die Umgebung zu erkennen oder Matheaufgaben zu lösen. Die Option zur Bildschirmfreigabe ergänzt die bereits vorhandenen Funktionen von Gemini: Fragt nach diesem Bild oder Frag nach dieser PDF.

Google gibt an, dass der Rollout heute beginnt und es ein paar Tage dauern kann, bis mehr Android-Nutzer/innen erreicht werden. Wichtig ist, dass diese Funktion auch auf älteren Android-Geräten funktionieren sollte und keine Flaggschiff-Prozessoren benötigt, da es sich um eine cloudbasierte KI handelt.

Derzeit gibt es keine Informationen darüber, ob Google diese Funktion auch in der Gemini-App für iPhone und iPad verfügbar machen wird. Sollte dies jedoch der Fall sein, wäre dies ein großer Vorteil angesichts der begrenzten multimodalen Fähigkeiten anderer Chatbots wie ChatGPT von OpenAI.

Erst diese Woche hat Google in Gemini auch eine Funktion zur Videoerstellung eingeführt, die auf dem Veo-2-Modell basiert. Mit diesem Modell können Nutzer/innen realistische 8-Sekunden-Clips mit einfachen oder detaillierten Aufforderungen erstellen. Allerdings ist diese Funktion derzeit ausschließlich zahlenden Nutzern vorbehalten, obwohl es nicht verwunderlich wäre, wenn Google den kostenlosen Nutzern in Zukunft eine begrenzte Testversion anbietet.

Mit diesem Symbol kennzeichnen wir Partner-Links. Wenn du so einen Link oder Button anklickst oder darüber einkaufst, erhalten wir eine kleine Vergütung vom jeweiligen Website-Betreiber. Auf den Preis eines Kaufs hat das keine Auswirkung. Du hilfst uns aber, nextpit weiterhin kostenlos anbieten zu können. Vielen Dank!