Google nazywa Gemini 3.5 Transcribe swoim najdokładniejszym modelem zamiany mowy na tekst. Ponoć nic nie robi sobie z szumów tła, skomplikowanego żargonu czy nieoczekiwanych przerw – zamiast tego konwertuje surowy dźwięk na precyzyjnie przełożoną, dopracowaną i sformatowaną treść.
Gemini 3.5 Transcribe lepiej zamienia mowę na tekst
Amerykanie starali się zaprojektować ten model w taki sposób, by uchwycić naturalny styl mówienia i intencje użytkownika. Automatycznie usuwa wypełniacze typu yyy czy aaa, jak również rozumie autokorektę w zdaniach, takich jak spotkajmy się we wtorek, eee, nie – w środę. Lepiej orientuje się też w tym, czy użytkownik żąda wywołania jakiejś funkcji, czy oczekuje tylko odpowiedzi.
Nowy model powstał – rzecz jasna – z myślą o interakcjach głosowych ze sztuczną inteligencją. Ma się sprawdzić w rozmaitych zastosowaniach, takich jak wirtualni asystenci, narzędzia do tworzenia napisów w czasie rzeczywistych czy procesy analityczne po rozmowach. Firma Google przygotowała dwie wersje API: gemini-3.5-transcribe do przetwarzania nagranego dźwięku i gemini-3.5-transcribe-live realizujący zadania na żywo.
Model ma sobie dobrze radzić z szumem w tle, precyzyjnie rejestrować jednostki alfanumeryczne (takie jak kody pocztowe) i rozpoznawać specjalistyczny żargon. Problemu nie stanowi też nagła zmiana języka.
Gemini 3.5 Transcribe osiąga średni współczynnik błędów słownych na poziomie 2,6% przy przetwarzaniu nagranego dźwięku i 4% przy pracy w czasie rzeczywistym. To bardzo dobre wyniki – zdecydowanie lepsze niż osiągane przez poprzednika, czyli model Chirp 3. Do tego działa szybciej – efekt jest gotowy w czasie krótszym aż o 70%.
Aktualnie Gemini 3.5 Transcribe automatycznie rozpoznaje i transkrybuje ponad 85 języków. Co więcej, jest w stanie wykryć nawet trzech różnych mówców naraz, precyzyjnie przypisując do nich poszczególne kwestie. Już teraz zaczyna pojawiać się w klawiaturze Gboard na Androidzie, a także w Google AI Studio i Antigravity. Wkrótce będzie też dostępny w przeglądarce Chrome.
Google ulepsza też funkcję Gemini Live
Prawidłowe rozumienie mowy i jej zamiana na tekst ma duże znaczenie, bo ze statystyk Google wynika, że aż 63% użytkowników rozmawia z Gemini na głos. Z tego samego powodu Amerykanie zdecydowali się na aktualizację Gemini Live, czyli funkcji umożliwiającej prowadzenie naturalnych konwersacji ze sztuczną inteligencją w czasie rzeczywistym.
Dzięki integracji z narzędziem Spark użytkownik może używać w Gemini Live naturalnych poleceń głosowych do zlecania wieloetapowych zadań realizowanych automatycznie – nawet zaplanowanych na wiele dni czy tygodni. Będzie można to wykorzystać w Dokumentach Google, Dysku i przeglądarce.
Kolejną nowinką jest Podsumowanie dnia (Daily Brief). Wystarczy zapytać Gemini o to, co ma się dziś do zrobienia, a asystent zbierze najważniejsze informacje z Gmaila, Kalendarza i innych miejsc, aby w zwięzły sposób streścić plan dnia.
Zresztą Gemini pomoże użytkownikowi również zapanować nad skrzynką odbiorczą bez patrzenia w ekran czy używania rąk. Odpowie na pytania o nowe e-maile, wyszuka i podsumuje wiadomości, oznaczy gwiazdką to, co trzeba, a to, co niepotrzebne – zarchiwizuje lub usunie.
Wirtualny asystent lepiej będzie sobie także radzić z przeszukiwaniem historii czatów i odwoływaniem się do wcześniej poruszanych tematów. Najlepsze zaś w tym wszystkim jest to, że nie trzeba zgadywać, którego narzędzia należy użyć. Gemini Live sam skorzysta z tego, czego potrzeba. I z tego, z czego może…
Spark bowiem jest zarezerwowany dla subskrybentów Google AI Pro, a Podsumowanie dnia wymaga opłacenia co najmniej planu Google AI Plus. Początkowo też funkcjonalność może być ograniczona, jeśli chodzi o język polski.
