Çok Modlu Yapay Zeka: Sesli ve Görsel Arayüzler

01Çok Modlu Yapay Zeka Nedir?

İlk nesil sohbet asistanları yalnız metinle çalışıyordu: yazıyla soru sorar, yazıyla yanıt alırdınız. Multimodal AI ise insanlara daha yakın bir algı sunar. Bir fotoğrafı gösterip “bu bitkinin nesi var?” diye sorabilir, bir faturanın görüntüsünü yükleyip kalemleri tabloya döktürebilir ya da telefonla konuşur gibi sesli sohbet edebilirsiniz.

Buradaki “mod” kelimesi veri türünü anlatır: metin bir mod, görüntü bir mod, ses başka bir moddur. Çok modlu bir model bu türleri ayrı ayrı işlemekle kalmaz, aralarında anlam bağı kurar. Bir videodaki konuşmayı, ekranda görünen grafikle ilişkilendirip ikisini birlikte yorumlayabilir.

Gemini, ChatGPT ve Claude gibi büyük asistanların güncel sürümleri farklı ölçülerde çok modlu yeteneklere sahiptir. Hangi modun ne kadar iyi desteklendiği modelden modele değişir; bu nedenle iş kullanımında kendi örneklerinizle test etmek önemlidir.

02Nasıl Çalışır?

Çok modlu modeller, farklı veri türlerini ortak bir temsil uzayına çevirerek çalışır. Görüntü küçük parçalara ayrılır ve her parça sayısal bir temsile dönüştürülür; ses de benzer biçimde işlenir. Bu temsiller, metin token'larıyla aynı modelin içinde birlikte değerlendirilir.

Böylece model, “kırmızı araba” ifadesi ile kırmızı bir arabanın fotoğrafının aynı kavrama karşılık geldiğini öğrenir. Eğitimde milyonlarca görsel-açıklama, ses-metin ve video-altyazı çifti kullanılır.

Bazı sistemlerde ses önce metne çevrilir, model metni işler ve yanıt yeniden sese dönüştürülür. Daha yeni yaklaşımlarda ise ses doğrudan model tarafından işlenir; bu, gecikmeyi azaltır ve ses tonu, vurgu gibi ayrıntıların korunmasını sağlar.

03Sesli Asistan ve Sesli Arama

Sesli arama yeni değil, ama çok modlu modellerle niteliği değişiyor. Eski sesli asistanlar belirli komut kalıplarını tanırdı; bugünkü modeller serbest konuşmayı, araya giren düzeltmeleri ve bağlamı anlayabiliyor. “Yarın akşam için iki kişilik, deniz manzaralı bir masa… aslında üç kişi olalım” gibi doğal bir cümle artık işlenebilir.

Sesli bir asistan arayüzü tasarlarken ekran tasarımından farklı kurallar geçerlidir. Kullanıcı ekrana bakmıyor olabilir; bu yüzden yanıtlar kısa, net ve tek bir sonraki adıma odaklı olmalıdır.

• Yanıtları kısa tutun; uzun listeleri sesli okumak yerine özetleyin ve ekrana gönderin.
• Kullanıcının istediği zaman sözü kesebilmesine izin verin.
• Önemli işlemlerden önce sesli onay isteyin: “Saat 20.00 için üç kişilik masa ayırıyorum, onaylıyor musunuz?”
• Gürültülü ortamlar ve aksanlar için yazılı alternatif her zaman açık olsun.

04Görüntü Anlayan Arayüzler

Kamera, artık klavyenin yanında bir giriş aracıdır. Kullanıcılar uzun uzun tarif etmek yerine fotoğraf çekip soru soruyor. Bu, birçok sektörde yeni arayüz olanakları açıyor.

E-ticarette görsel arama

Müşteri beğendiği bir ürünün fotoğrafını yükler, site benzer ürünleri listeler. Ürün görselleri ve açıklamaları ne kadar düzenli ve doğruysa sonuçlar da o kadar isabetli olur.

Belge ve form okuma

Fatura, kimlik dışındaki formlar, el yazısı notlar ya da ekran görüntüleri fotoğrafla okunup yapılandırılmış veriye dönüştürülebilir. Kişisel veri içeren belgelerde, verinin nereye gönderildiği ve saklandığı mutlaka kontrol edilmelidir.

Restoran ve turizm

Bir misafir yabancı dildeki menünün fotoğrafını çekip kendi dilinde açıklama isteyebilir. Menüsünü dijital olarak sunan işletmeler bu ihtiyacı doğrudan karşılayabilir; çok dilli bir QR menü misafirin fotoğraf çekip çeviri aramasına gerek bırakmaz.

05Web Tasarımına Etkisi

Çok modlu yapay zeka, web sitelerinin yalnız insanlar için değil, onları okuyan yapay zeka sistemleri için de anlaşılır olmasını önemli hâle getiriyor. Asistanlar bir sayfayı yalnız metniyle değil, görselleri ve yapısıyla da yorumluyor.

Bu yüzden iyi bilinen erişilebilirlik ilkeleri yeniden öne çıkıyor. Anlamlı alt metinler, doğru başlık hiyerarşisi, açıklayıcı bağlantı metinleri ve görsellerin içinde gömülü kalan önemli yazıların sayfada metin olarak da bulunması hem engelli kullanıcılar hem de yapay zeka sistemleri için fark yaratır. WCAG'nin normal metin için önerdiği 4,5:1 kontrast oranı gibi kurallar da okunabilirliği güvence altına alır.

Arama tarafında, yapay zeka özetlerinde kaynak gösterilmek için içeriğin net ve yapılandırılmış olması gerekiyor. Bu konuyu AI Overviews SEO'yu nasıl değiştiriyor yazımızda ele aldık; ölçüm ve iyileştirme ise SEO ve analiz çalışmasının işidir.

06Tasarım İlkeleri

Çok modlu arayüzler tasarlamak, ekranları güzelleştirmekten çok, farklı giriş yollarını tutarlı bir deneyimde birleştirmektir. Kullanıcı bir işe sesle başlayıp ekranla bitirebilmeli, fotoğrafla sorduğu soruya yazılı yanıt alabilmelidir. Bu kurguyu doğru kurmak kapsamlı bir UI/UX tasarım süreci gerektirir.

• Mod seçimi kullanıcıda: ses, yazı ve kamera arasında her an geçiş yapılabilmeli.
• Durum görünürlüğü: sistemin dinlediği, düşündüğü ya da işlem yaptığı açıkça gösterilmeli.
• İzin ve gizlilik: mikrofon ve kamera izni yalnız gerektiği anda, nedeni açıklanarak istenmeli.
• Hata toleransı: yanlış anlaşılan sesli komut kolayca düzeltilebilmeli.
• Mobil öncelik: kamera ve mikrofon en çok telefonda kullanılır; mobil uyumlu tasarım bu arayüzlerin temelidir.

07Cihaz Üzerinde Çok Modlu Modeller

Ses ve görüntüyü her seferinde buluta göndermek hem gecikme hem gizlilik açısından maliyetlidir. Bu yüzden daha küçük modellerin doğrudan telefonda, bilgisayarda ya da tarayıcıda çalıştırılması giderek yaygınlaşıyor. Örneğin konuşmayı metne çevirme ya da basit görüntü sınıflandırma işleri cihaz üzerinde yapılabiliyor.

Tarayıcı tarafında bu işi mümkün kılan teknolojilerden biri, ekran kartını web sayfalarından kullanılabilir hâle getiren WebGPU'dur. Ayrıntıları WebGPU nedir yazımızda bulabilirsiniz.

08Sınırlar ve Dikkat Edilecekler

Çok modlu modeller etkileyici olsa da hatasız değildir. Görüntüdeki küçük yazıları yanlış okuyabilir, benzer nesneleri karıştırabilir ya da görselde olmayan bir ayrıntıyı varmış gibi anlatabilir. Sesli arayüzlerde aksan, gürültü ve özel isimler hâlâ zorluk yaratır.

Kamera ve mikrofon verisi çoğu zaman kişisel veridir. Yüz, ses ve ortam görüntüsü işleyen bir arayüz kurarken açık bilgilendirme yapılmalı, veri gereğinden uzun saklanmamalı ve güncel mevzuat hukuk danışmanıyla birlikte değerlendirilmelidir.

Son olarak, her işin çok modlu olması gerekmez. Basit bir form, sesli bir asistandan daha hızlı olabilir. Doğru soru şudur: hangi işte ses ya da görüntü kullanıcının yükünü gerçekten azaltıyor? Yapay zekayı ürünün merkezine alan yaklaşımı AI-native uygulama yazımızda ele aldık.