Google, Android'de sesli kamera yardımı için Gemini Live'a Guided Vision'ı ekledi

Google, Gemini Live'a canlı kamera yorumlama özelliği ekledi

Google, bir Android telefonun kamerasını sesli bir sohbetin konusuna dönüştüren Guided Vision adlı yeni bir özelliği Gemini Live içinde başlattı. Google'ın duyurusuna dayanan bir dev.to haberine göre, özellik kör ve görme engelli kullanıcılar göz önünde bulundurularak geliştirildi: Gemini Live oturumu sırasında kamera paylaşıldığında asistan gördüğünü sesli olarak anlatıyor, kadrajın nasıl düzeltileceğine dair öneriler sunuyor ve sahneyle ilgili sonraki soruları yanıtlıyor.

Bunu standart bir image prompt'tan ayıran şey, sohbetin kendisi. Guided Vision bir fotoğrafı tek bir sorgu olarak ele almak yerine nesneler, metinler, renkler ve şeylerin birbirine göre konumu hakkında süregelen bir karşılıklı konuşmayı destekliyor. Google, küçük puntolu yazıları okuma, görünür bir nesneyi bulma ve ayrıntıları betimleme ya da eşleştirme gibi günlük kullanımları sayıyor ve oturumların birden fazla dilde yürütülebileceğini belirtiyor.

Android'de üç giriş noktası

Guided Vision, erişilebilirlik öncelikli tasarımını yansıtacak biçimde birkaç yoldan erişilebilir. Kullanıcılar özelliği Gemini uygulamasındaki profil ayarlarından etkinleştirebilir, Android'in sistem Erişilebilirlik Kısayolları üzerinden başlatabilir ya da TalkBack menüsünden üç parmakla dokunarak açabilir — Android'in yerleşik ekran okuyucusuna bel bağlayan TalkBack kullanıcıları için tasarlanmış, harekete dayalı bir yol.

Kör ve görme engelli kullanıcılarla geliştirildi ve test edildi

dev.to haberine göre Google, özelliği kör ve görme engelli toplulukla birlikte geliştirdi. Görsel yorumlama hizmeti Aira, eğitim ve test için on binlerce saat yorumlama çalışmasıyla katkı sağladı ve Aira'nın Trusted Tester ağı üyeleri, özelliğin güvenlik sınırlarının şekillendirilmesine yardımcı oldu. Bu işbirliği önemli; çünkü faydalı sesli yardım, yalnızca nesneleri doğru tanımaya değil, zamanlamaya, sözcük seçimine ve bağlama da bağlı.

Kullanılabilirlik ve belirtilen sınırlar

Guided Vision, Gemini Live ile uyumlu, Android 9 veya sonraki sürümleri çalıştıran cihazlarda ve yalnızca Gemini Live'ın sunulduğu bölgelerde kullanılabiliyor. Google, dil ve bölge kapsamının Gemini Live büyüdükçe genişleyeceğini söylüyor.

İki sınırı belirtmek gerek. Birincisi, duyuru özellik için ayrı bir fiyatlandırma ya da ücretli katman açıklamıyor. İkincisi, Google Guided Vision'ı açıkça yardımcı bir araç olarak konumlandırıyor — tıbbi cihaz, hareket yardımı, navigasyon sistemi ya da güvenlik sistemi değil — dolayısıyla sağlık, hareket veya kişisel güvenlik için tasarlanmış araçların ya da profesyonel desteğin yerine geçmemeli.

Burada geliştiriciye yönelik bir yüzey de yok. dev.to'ya göre Google bir API, SDK ya da başka bir entegrasyon yöntemi duyurmadı; bu nedenle geliştiriciler Guided Vision'ı kendi Android uygulamalarına gömemez.

Neden önemli

Bu lansman, Android'de görsel yardımın nerede durduğuna dair bir değişimi işaret ediyor. Kamera görüntüsünü sesle yorumlatmak genellikle uzman uygulamalar ya da insanlı hizmetler gerektiriyordu; bunun Gemini Live'a katılması, onu varsayılan asistan deneyiminin bir parçası yapıyor ve sistem kısayolları ile TalkBack entegrasyonu gibi erişilebilirlik bağlantıları baştan dahil edilmiş oluyor.

Sohbet temelli tasarım diğer dikkat çekici unsur. Canlı kamera girdisinin sonraki sorularla birleşimi, tek seferlik görüntü analizinden farklı bir etkileşim modeli ve yalnızca bir kez sorgulanan değil, bir görev boyunca kendisiyle konuşulabilen asistanlara işaret ediyor.

Geliştiriciler ve işletmeler için pratik çıkarım tasarım hijyeni. Google'ın kendi konumlandırması, mobil hizmetlerin küçük yazı okumaya, renk ayırt etmeye ya da uzamsal yönergeleri izlemeye bel bağlayan ve alternatifi olmayan akışlardan kaçınması gerektiğini ima ediyor. Guided Vision tüketiciye yönelik yardımcı bir araç, gömülebilir bir otomasyon platformu değil; ama gelişi, erişilebilir mobil deneyimlerin desteklemesi beklenen tabanı yükseltiyor.