Yapay Zekâ Sitenizi Neden Okuyamıyor

Görünmek ile okunabilmek arasındaki fark

Bir işletme sahibinin sitesiyle ilgili en tuhaf deneyimlerinden biri şudur: siteyi tarayıcıda açar, her şey yerli yerindedir; sonra aynı işi tarif eden bir soruyu yapay zekâ asistanına sorar ve karşısına başka firmaların adı çıkar. Kendi sitesi ne kaynak olarak gösterilir ne de cevabın içinde geçer. Site ayakta, arama sonuçlarında bulunuyor, hatta bazı kelimelerde ilk sayfada. Peki o zaman yapay zekâ sitenizi neden okuyamıyor? Bu yazı, o soruyu duygusal bir yakınma olmaktan çıkarıp tek tek kontrol edilebilir başlıklara ayırıyor.

İşin özü şu: bir insanın tarayıcıda gördüğü sayfa ile bir dil modelinin eline geçen sayfa aynı şey değildir. İnsan için ekranda beliren her şey içeriktir. Model içinse içerik, sunucudan gelen ham yanıtın içinden çıkarılabilen metindir. Arada bir sürü katman vardır: sunucunun isteği kabul edip etmemesi, güvenlik duvarının kararı, sayfanın metni HTML olarak mı yoksa çalıştırılması gereken kod olarak mı taşıdığı, metnin gerçekten bir bilgi taşıyıp taşımadığı ve o bilginin kime ait olduğunun anlaşılıp anlaşılmadığı. Bu katmanların herhangi birinde kopma varsa, sonuç insan gözünde kusursuz, makine gözünde boş bir sayfadır.

Bir dil modeli siteyi hangi yollardan görür

Yapay zekâ sitenizi neden okuyamıyor, onu anlamak için önce mekaniği netleştirmek gerekir; çoğu yanlış teşhis burada başlıyor. Bir yapay zekâ asistanının sizin sayfanızla temas edebileceği birkaç ayrı yol vardır ve bunlar birbirinden bağımsız çalışır.

• Eğitim verisi: modelin geçmişte toplanmış geniş metin yığınından öğrendikleri. Buraya girmek uzun vadeli ve sizin kontrolünüzde olmayan bir süreçtir.
• Arama dizini üzerinden getirme: asistan bir arama motorunun dizinine sorar, dönen sonuçlardan birkaç sayfayı okur ve cevabı onlardan kurar. Burada bir arama motorunda bulunuyor olmanız şart, ama tek başına yeterli değil.
• Canlı çekme: kullanıcı doğrudan bir adres verdiğinde veya asistan bir bağlantıya tıkladığında sayfayı o an sunucunuzdan ister. Bu, sitenizin en çıplak sınavıdır: sunucunuz o isteği o an nasıl karşılıyorsa sonuç odur.

Bu üç yol farklı istemciler kullanır ve farklı kimliklerle gelir. Sunucu günlüklerinizde GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Bingbot gibi isimler görürsünüz. Bunların bir kısmı içerik toplamak için, bir kısmı arama dizini için, bir kısmı da kullanıcının o anki isteği için gelir. Hepsini tek bir "bot" kovasına atıp topluca engellemek, en sık yapılan ve en pahalıya patlayan hatalardan biridir.

Birinci engel: istek kapıdan içeri hiç girmiyor

En sık rastlanan durum, en can sıkıcı olanıdır: sayfanın içeriğiyle ilgili hiçbir sorun yoktur, çünkü içeriğe kimse ulaşamamıştır. İstek daha sunucunun kapısında geri çevrilmiştir.

Bunun dört klasik sebebi var. Birincisi robots.txt. Sitenizde yıllar önce eklenmiş, kimsenin bir daha bakmadığı bir dosya olabilir ve içinde belirli istemcileri kapatan satırlar bulunabilir. İkincisi güvenlik duvarı ve bot koruma kuralları. Saldırı trafiğini kesmek için açılan agresif bir kural, tanımadığı her istemciye doğrulama ekranı gösterir; bir dil modeli o ekranı geçemez, eline yalnızca doğrulama sayfasının metni geçer. Üçüncüsü hız sınırlarıdır: sunucu belli bir eşiğin üstündeki istekleri reddediyorsa, tarama yarıda kesilir. Dördüncüsü sunucu kaynaklı geçici hatalardır; sayfa sizin ziyaretinizde açılıyor olabilir, ama tarayıcı geldiği anda hata dönmüşse o sayfa boş kabul edilir.

Buradaki teşhis yöntemi tahmin değil, kayıt okumaktır. Sunucu erişim günlüğünüzde son birkaç aya bakın: bu istemci adlarından hiçbiri geçmiyorsa mesele içerik kalitesi değildir, kapı kapalıdır. Geçiyor ama dönen durum kodu 403 veya 429 ise cevabı bulmuşsunuz demektir. Sunucu günlüğünde tek bir yapay zekâ tarayıcısı isteği bile yoksa, yapay zekâ sitenizi neden okuyamıyor sorusunun cevabı büyük ihtimalle daha ilk adımda bitmiştir.

Yapay Zekâ Sitenizi Neden Okuyamıyor: Kapıdan Ekrana Uzanan Beş Engel

Kapı meselesini çözdüğünüzü varsayalım. Geriye dört engel daha kalır ve bunlar sırayla gelir: metnin kaynakta bulunup bulunmaması, metnin bilgi taşıyıp taşımaması, sayfanın kime ait olduğunun anlaşılması ve sayfanın kaynak olarak gösterilebilir hâlde olması. Yazının geri kalanı bu dördünü tek tek açıyor; her biri için "bende de var mı" diye bakılacak somut bir kontrol veriyorum.

İkinci engel: metin sayfanın kaynağında yok

Modern site altyapılarının bir kısmı içeriği sunucudan hazır HTML olarak göndermez. Sunucudan neredeyse boş bir iskelet gelir, metni tarayıcıda çalışan JavaScript sonradan doldurur. İnsan için fark yoktur; sayfa saniyeler içinde dolar. İçerik toplayan istemcilerin çoğu içinse fark her şeydir, çünkü bu istemciler bir web tarayıcısı gibi davranıp sayfadaki kodu çalıştırmak zorunda değildir ve genellikle çalıştırmaz.

Bunu ölçmek çok kolay. Komut satırından sayfayı ham olarak indirin ve içinde yazınızın cümlelerini arayın; ya da tarayıcıda sayfa kaynağını görüntüleyip metninizden bir cümleyi kaynak içinde aratın. Cümle kaynakta yoksa, o metin sizin için oradadır ama makine için orada değildir. Aynı sınav sekmelerin arkasına gizlenmiş içerikler, "devamını oku" ile sonradan yüklenen bölümler ve yalnızca görsel olarak basılmış metinler için de geçerlidir. Bir tabloyu ekran görüntüsü olarak koyduysanız, o tablodaki hiçbir rakam okunabilir değildir.

Çözüm her zaman altyapıyı değiştirmek olmak zorunda değil. Genellikle yeterli olan şey, sayfanın bilgi taşıyan çekirdek metnini sunucu tarafında basılan HTML'e taşımaktır: başlıklar, açıklama paragrafları, listeler, fiyat ve kapsam bilgileri, sık sorulan sorular. Süsleme ve etkileşim tarafı istediği kadar JavaScript ile gelsin.

Üçüncü engel: sayfada cevap değil slogan var

Kapı açık ve metin kaynakta olduğu hâlde sitenin cevaplarda geçmediği durumların çoğunda sebep tek kelimeyle özetlenebilir: sayfada alıntılanabilir bir bilgi yoktur. "Müşteri odaklı yaklaşımımızla sektörde fark yaratıyoruz" cümlesi bir insana bir şey hissettirebilir, ama bir cevabın içine konabilecek hiçbir olgu taşımaz.

Bir asistan cevap kurarken sayfadan çıkarabileceği somut ifadeleri arar: hizmet tam olarak neyi kapsıyor, neyi kapsamıyor, süre ne, çalışma nasıl ilerliyor, hangi durumda uygun değil, fiyat neye göre değişiyor, hangi şehirde veya hangi ölçekte iş yapılıyor. Bu bilgileri sayfaya koymuyorsanız, model sizin sayfanızı okusa bile ondan cümle kuramaz ve daha net konuşan bir kaynağa yönelir.

Pratik bir alıştırma: kendi hizmet sayfanızı açın ve içinden marka adınızı silin. Kalan metin başka herhangi bir firmanın sayfası gibi okunuyorsa, orada alıntılanacak bir şey yok demektir. Aynı testi rakip sayfalara uygulayın; ayırt edici bilgiyi kimin verdiği bir anda görünür olur. Bu, yapay zekâ sitenizi neden okuyamıyor diye sorarken çoğu kişinin hiç bakmadığı, buna karşılık en hızlı düzeltilebilen tarafıdır.

Dördüncü engel: kim olduğunuz belirsiz

Bir asistan cevabında bir firmayı anmak için o firmanın kim olduğuna dair tutarlı bir resme ihtiyaç duyar. Adınız sitenin farklı yerlerinde farklı yazılıyorsa, adres bilgisi sitede bir türlü, dizinlerde başka türlü geçiyorsa, hangi işi yaptığınız yalnızca ana sayfadaki bir görselin içinde söyleniyorsa, ortada birleştirilebilir bir kimlik yoktur.

Burada işe yarayan şeyler abartılı değil, sıkıcı derecede temeldir. Firma adının, faaliyet alanının ve iletişim bilgisinin sitenin her sayfasında aynı biçimde metin olarak bulunması. Gerçekten bilgi veren bir hakkımızda sayfası. Yapılandırılmış veri işaretlemesi, yani kuruluş, hizmet ve sık sorulan sorular bilgisinin makinenin doğrudan ayrıştırabileceği bir biçimde de sayfaya eklenmesi. Sitenizi kendi kelimelerinizle tanıtan bir özet dosyası da bu resmi tamamlar; bunun nasıl kurulduğunu llms.txt dosyasını anlattığımız yazıda adım adım bulabilirsiniz.

Kimlik netleştiğinde ilginç bir şey olur: aynı içerik, hiç değişmeden, daha çok cevapta geçmeye başlar. Yapay zekâ sitenizi neden okuyamıyor derken kastedilen çoğu zaman budur: sorun içeriğin niteliği değil, içeriğin bir sahibe bağlanamamasıdır.

Beşinci engel: sayfa kaynak gösterilebilir değil

Bir asistan cevabın altına bağlantı koyacaksa, o bağlantının kalıcı ve tek olması gerekir. Sitede aynı içeriğe giden birden çok adres varsa, adresler zaman zaman değişiyorsa, yönlendirmeler zincir hâlinde birbirine bağlanmışsa veya sayfa açılır açılmaz kullanıcıyı bir onay ekranıyla karşılıyorsa, o sayfa kaynak olarak gösterilmeye pek uygun değildir.

Kontrol listesi kısa: her içeriğin tek bir kanonik adresi olsun, yönlendirmeler tek adımda hedefe gitsin, sayfa başlığı ile içerik birbirini tutsun, önemli bilgiler PDF'in içine değil sayfanın kendisine yazılsın. Bir bilgiyi yalnızca indirilebilir bir belgeye koyduysanız, o bilginin bulunma ihtimalini kendi elinizle azaltmışsınız demektir.

Kendi sitenizi yarım saatte test etmek

Yukarıdaki beş engelin hepsi tahmin edilmeden ölçülebilir; yapay zekâ sitenizi neden okuyamıyor sorusuna kendi sitenizde cevap vermek için sırayla şunları yapın:

• robots.txt dosyanızı açın ve içindeki istemci adlarını tek tek okuyun. Kapatmak istediğiniz bir şey varsa bilerek kapatın; miras kalmış satırları temizleyin.
• Sunucu erişim günlüğünüzü tarayın. Yapay zekâ tarayıcılarının adları geçiyor mu, geçiyorsa hangi durum koduyla karşılanmışlar?
• Sayfayı ham olarak indirin. Metninizden bir cümle kaynakta görünüyor mu? Görünmüyorsa içerik JavaScript'in arkasında kalmış demektir.
• Güvenlik duvarı kurallarınıza bakın. Doğrulama ekranı kimlere çıkıyor, hız sınırı hangi eşikte devreye giriyor?
• Asistanlara doğrudan sorun. Kendi hizmetinizi tarif eden soruları sorun ve hangi kaynakların gösterildiğine bakın. Bunu düzenli ve kayıt tutarak yapmanın yöntemini yapay zekâ görünürlüğünün nasıl ölçüldüğünü anlattığımız yazıda ayrıntılı yazdık.

Bu beş adımın çıktısı bir his değil, bir listedir. Elinizde hangi kapının kapalı olduğu, hangi sayfanın boş göründüğü ve hangi bilginin hiç yazılmadığı yazılı olarak durur. Kendi sitelerimizde bu taramayı yaptığımızda çıkan sonuçları ve düzelttiğimiz maddeleri kendi sitelerimizi yapay zekâya sorduğumuz yazıda açıkça paylaşmıştık.

Hangi sırayla düzeltmeli

Sıra önemlidir, çünkü sonraki adımların etkisi öncekilere bağlıdır. İçerik yazmadan önce kapının açık olduğundan emin olun; kapalı kapının arkasına yazılan en iyi metin bile okunmaz. Kapı açıldıktan sonra metnin kaynakta göründüğünü doğrulayın. Metin görünür hâle geldikten sonra o metnin gerçekten bilgi taşıdığından emin olun. Bilgi yerine oturunca kimlik ve işaretleme tarafını tamamlayın. En sona kaynak gösterilebilirlik düzenlemelerini bırakın; bunlar en ucuz ve en hızlı olanlardır.

Bu sıralamanın pratikteki karşılığı şudur: bir haftalık teknik iş, üç aylık içerik üretiminden daha çok görünürlük kazandırabilir. Tersi de doğrudur; kapı kapalıyken üretilen içerik, üretilmemiş içerikle aynı sonucu verir.

Bu işi kendi ekibinizle yürütmek tamamen mümkün. Dışarıdan destek almayı tercih ederseniz, hangi kontrollerin yapıldığını ve nelerin düzeltildiğini yapay zekâ görünürlüğü çalışmamızın kapsam sayfasında madde madde görebilirsiniz.

Düzeltmenin ardından neye bakılır

Teknik engelleri kaldırmak tek başına bir sonuç değildir; sonucun ölçülmesi gerekir. Bakılacak üç şey var. Birincisi sunucu günlüğü: yapay zekâ tarayıcıları artık geliyor mu ve başarılı durum kodu mu alıyor? Bu, kapının açıldığının doğrudan kanıtıdır. İkincisi asistan cevaplarındaki durumunuz: aynı soruları belirli aralıklarla sorup markanızın anılıp anılmadığını ve kaynak olarak gösterilip gösterilmediğini kaydedin. Üçüncüsü bu cevaplardan gelen ziyaretler: asistan bağlantılarından gelen trafik ayrı bir kalem olarak izlenebilir.

Bu üç ölçümü tek seferlik yapmanın kıymeti azdır, çünkü hem modeller hem de siteniz değişir. Düzenli ölçümü elle yürütmek istemiyorsanız, soruları ve kaynakları periyodik olarak kaydeden yapay zekâ görünürlük takibi hizmetimiz tam olarak bu işi yapar; çıktısı bir yorum değil, tarih tarih tutulmuş bir kayıttır.

Sonuç olarak bu bir gizem değil, sıralı bir arıza tespitidir. Kapı, kaynak, bilgi, kimlik ve kaynak gösterilebilirlik. Beşini de kontrol ettiğinizde yapay zekâ sitenizi neden okuyamıyor sorusu artık havada kalmaz; elinizde ya düzeltilmiş bir madde ya da düzeltilecek somut bir madde olur. Sitenizin ekranda iyi görünmesi bugün yeterli değil; makinenin de aynı sayfadan aynı bilgiyi çıkarabiliyor olması gerekiyor.