Neden Kendi Sitelerimizle Başladık
Yapay zekâ görünürlüğü konusunda bir hizmet geliştiriyoruz. Müşteriye gitmeden önce yöntemi kendi üzerimizde denemek istedik — hem çalışıp çalışmadığını görmek, hem de kendi karnemizi bilmek için.
Yönettiğimiz dört siteyi ölçtük: üç eğitim sitesi ve bu sitenin kendisi. Sonuçlar beklediğimizden kötüydü ve çoğu doğrudan bizim eksiğimizdi. Yine de yayınlıyoruz, çünkü rakamlar yöntemin işe yaradığını gösteriyor.
Nasıl Ölçtük
Her site için sektörüne uygun 8 soru belirledik ve dondurduk. Her soru üç kez çalıştırıldı — çünkü yapay zekâ cevapları turdan tura değişiyor. Ölçüm iki ayrı modda yapıldı: modelin arama yapmadan bildiği (“hafıza”) ve canlı web’e bakarak cevapladığı (“arama”).
Toplam 192 gözlem. Her cevabın ham metni ve alıntıladığı kaynaklar kaydedildi. Sıfır hata aldık.
İki şeyi peşinen söyleyelim, çünkü rakamları doğru okumak için gerekli:
- Bu 192 gözlemin tamamı tek bir yapay zekâ motorunda yapıldı. Motorlar arası fark ayrı bir konu; aşağıda ayrıca değiniyoruz.
- 8 sorudan biri marka sorusudur — yani doğrudan “şu site hakkında ne biliyorsun?” diye soruyoruz. Markanın adı sorunun içinde olduğu için cevapta geçmesi neredeyse garanti. Bu yüzden aşağıdaki tabloda skorları hem marka sorusu dahil hem de hariç veriyoruz. Asıl bakılması gereken ikinci sütundur.
Sonuç: Dördü de Görünmez
| Site | Görünürlük (arama modu) | Marka sorusu hariç | Kaynak olarak alıntı | Kendi alanının sırası |
|---|---|---|---|---|
| Sınav odaklı eğitim sitesi | %21 | %10 | %42 | 52 kaynak içinde 4. |
| Ortaokul eğitim sitesi | %17 | %5 | %33 | 70 kaynak içinde 7. |
| Online ders sitesi | %12 | %0 | %12 | 44 kaynak içinde 15. |
| Bu site (yazılım) | %12 | %0 | %12 | 114 kaynak içinde 24. |
İkinci sütun canımızı sıkan sütun. Kendi adımızı sormadığımızda dört siteden ikisi hiçbir cevapta anılmadı — sıfır. Diğer ikisi de onda bir civarında kaldı. Yani “yapay zekâ bizi biliyor” değil, “adımızı söyleyince adımızı tekrarlıyor”.
Sınav odaklı sitemiz, izlediğimiz 28 anahtar kelimenin altısında Google’da ilk üçte, birinde birinci sırada. Buna rağmen yapay zekâ cevaplarının %79’unda yok. Google sıralamasının yapay zekâ görünürlüğüne kendiliğinden dönüşmediğini gösteren en net kanıt bu oldu.
Hafıza modunda dört sitenin de skoru %8-12 bandında kaldı — ama bu skorun tamamı marka sorusundan geliyor. Marka sorusunu çıkarınca hafıza modunda dört sitenin dördü de sıfır. Modeller bu markaları eğitim verisinden tanımıyor; var olan görünürlük tamamen canlı aramadan geliyor.
Cevapları Pazaryerleri Yiyor
Üç eğitim sitemizin sorularında, cevaplarda anılan markaların dağılımı şöyleydi:
- Bir hizmet pazaryeri: %41
- Uluslararası bir ders platformu: %22
- Biz (üç sitenin toplamı): %11
Bu tablo Google’daki tabloyla neredeyse aynı — ama bir farkla: Google’da pazaryerinin altında ikinci, üçüncü sırada görünebiliyorsunuz. Yapay zekâ cevabında o alan yok. Üç isim sayılıyor ve bitiyor.
Beklemediğimiz İki Bulgu
1. Sitelerimiz birbirini eziyor. Online ders sitemizin kendi ölçümünde, en çok alıntılanan kaynaklardan biri başka bir sitemizdi — 14 alıntıyla. Ölçtüğümüz sitenin kendisi ise 3 alıntıyla 15. sıradaydı. Yani yapay zekâ, o soruyu cevaplarken bizim iki sitemizden birini seçiyor ve beklediğimizi seçmiyor.
2. Gerçek rakip listesi bildiğimiz liste değil. Yazılım tarafında yapay zekânın okuduğu siteler arasında, rakip listemizde hiç olmayan isimler vardı. Kendi sektörümüzde kimin okunduğunu bilmiyormuşuz.
Motorlar Aynı Şeyi Söylemiyor
Yukarıdaki 192 gözlemin tamamı tek motorda yapıldı, o yüzden bu ölçüm motorlar arası fark hakkında bir şey söylemiyor. Ama ayrı ve çok daha küçük bir denemede — ücretsiz tarama aracımızla, 3 soru, tekrarsız — aynı işletmeyi üç motora sorduk: iki motorda %100, birinde %67 çıktı. Motorlar ayrıca farklı firmalar öneriyordu; biri diğerinin hiç anmadığı bir işletmeyi listenin başına koydu.
Bu bir ölçüm değil, bir işaret — tekrarsız üç soru ölçüm sayılmaz, kendi kuralımız bu. Ama şunu sormaya yetiyor: “yapay zekâda çıkıyor muyum” sorusunun tek bir cevabı yok, hangi yapay zekâ olduğunu da sormak gerekiyor. Motorlar arası farkı düzgün ölçmek, aynı donmuş paneli her motorda tekrarlı çalıştırmayı gerektiriyor; sıradaki işimiz bu.
Bir de Şunu Gördük
Bir denemede model, önerdiği işletmelerden biri hakkında şunu ekledi:
“Hasta yorumları: Örneğin [işletme adı] hakkında bazı şikayetler mevcut — ilgisizlik, randevu düzeni gibi konularda sorun yaşayanlar olmuş.”
(Alıntı ham kayıttan birebir; işletmenin adını biz çıkardık.)
Yani yapay zekâ, potansiyel müşteriye o firmanın şikâyetini kendiliğinden anlatıyor — üstelik firma sorulmadan, sektör sorulduğunda. O firmanın bundan haberi olduğunu sanmıyoruz. Görünürlük ölçümünün yalnızca “anıldım mı” sorusundan ibaret olmadığını bize bu gösterdi.
Ne Öğrendik
- Tek sorgu ölçüm değil. Aynı soru aynı gün farklı cevap veriyor. Tekrarsız ölçüm yanıltıyor.
- Kendi adını sorarak ölçme. Marka sorusu skoru şişiriyor. Gerçek soru şu: müşteri sizi bilmeden sektörünüzü sorduğunda çıkıyor musunuz? Bizim cevabımız dört siteden ikisinde net bir hayırdı.
- Google sıralaması güvence değil. Kelimelerinde ilk üçte olan sitemiz cevapların %79’unda yoktu.
- Kaynak listesi yapılacaklar listesidir. Yapay zekânın okuduğu siteleri görmek, ne yapılacağını da söylüyor.
- Kendi işini önce kendine yap. Bu ölçümden sonra sıradaki işimiz kendi sitelerimizi düzeltmek ve iki hafta sonra tekrar ölçmek. O sonucu da yayınlayacağız — iyi çıksın ya da çıkmasın.
Kendi Sitenizi Ölçmek İsterseniz
Aynı yöntemin küçük bir sürümünü herkese açtık: ücretsiz yapay zekâ görünürlük taraması. Alan adınızı girin, sektörünüzle ilgili sorular yapay zekâya sorulsun, cevabın kendisini ve markanızın anılıp anılmadığını görün. Kayıt gerekmiyor.
Yukarıdaki ölçümün yöntemini adım adım anlattığımız yazı: Yapay Zekâ Görünürlüğü Nasıl Ölçülür?
Bu işin arkasındaki yöntemi ve GEO/AEO kavramlarını merak ediyorsanız: yapay zekâ görünürlüğü hizmetimiz.
