Cloudflare, HTML'yi Markdown'a Otomatik Dönüştürüyor

Cloudflare, web sayfalarını yapay zeka ajanları için otomatik olarak Markdown'a dönüştüren bir özellik başlattı. "Ajanlar için Markdown" olarak adlandırılan bu yenilik, token tüketimini büyük ölçüde azaltmayı vaat ediyor, ancak doğal referans uygulamaları ve web içeriğinin şeffaflığı konusunda bazı karmaşık soruları gündeme getiriyor.

Öne Çıkanlar:

• HTML'den Markdown'a otomatik dönüşüm, token tüketimini %80 oranında azaltıyor; örneğin, bir blog yazısı için 16.180 token'dan 3.150 token'a düşüyor.
• Bu özellik, Accept: text/markdown başlığı aracılığıyla çalışıyor ve Cloudflare'ın Pro, Business ve Enterprise müşterileri için beta sürümünde mevcut.
• Google ve Microsoft, bu teknolojinin cloaking'i kolaylaştırabileceğinden endişe ediyor; cloaking, robotlara ve insan kullanıcılara farklı içerikler sunma uygulamasıdır.

Yapay Zeka İçin İçerik Alımında Önemli Bir Sorun

Yapay zeka sistemleri, web'de gezinirken büyük bir zorlukla karşılaşıyor: HTML, makine için gereksiz unsurlarla dolu ve ağır bir yapıya sahip. Navigasyon çubukları, analiz scriptleri, CSS etiketleri, onlarca bağlantıyla dolu altbilgiler... Bu unsurlar, sayfaları ağırlaştırıyor ve yapay zeka ajanları için anlamlı bir değer sunmuyor.

Cloudflare, bu sorunu bir metaforla açıklıyor: Bir yapay zekaya ham HTML kodu sağlamak, bir ambalajı okumak için kelime başına ödeme yapmak gibidir, oysa içindeki metni okumak gerekir. Pratikte, Markdown'da basit bir ## Hakkımızda etiketi yaklaşık 3 token'a mal olurken, HTML'deki karşılığı

Hakkımızda

Markdown, açık yapısı sayesinde otomatik işleme kolaylık sağladığı için hızla yapay zeka ajanlarının dili haline geldi ve token israfını en aza indirdi.

Anlık Dönüşüm Mekanizması

Ajanlar için Markdown'ın çalışma prensibi, HTTP içerik müzakeresine dayanıyor. Bir yapay zeka ajanı, Accept: text/markdown başlığıyla bir istek gönderdiğinde, Cloudflare isteği yakalıyor, orijinal HTML'i kaynak sunucudan alıyor ve ardından bunu otomatik olarak Markdown'a dönüştürerek istemciye iletiyor.

Yapay zeka ajanları geliştiren geliştiriciler için, uygulama TypeScript ile uygun başlıkları belirterek kolayca yapılabiliyor. Yanıt, Markdown belgesindeki tahmini token sayısını gösteren x-markdown-tokens başlığını içeriyor; bu da geliştiricilerin bağlam pencerelerini ve içerik kesme stratejilerini daha iyi yönetmelerine olanak tanıyor.

Cloudflare, dünya genelinde web'in yaklaşık %20'sini besliyor ve bu seçeneği zaten blogunda ve geliştirici belgelerinde aktif hale getirdi. Claude Code ve OpenCode gibi popüler kodlama ajanları, içerik talepleriyle bu kabul başlıklarını göndermeye başladı.

İçerik Sinyallerinin Entegrasyonu

Markdown for Agents tarafından dönüştürülen yanıtlar, otomatik olarak Content-Signal: ai-train=yes, search=yes, ai-input=yes başlığını içeriyor. Bu sinyal, içeriğin yapay zeka eğitimi, arama sonuçları ve ajanlar tarafından kullanım için uygun olduğunu gösteriyor.

Bu uygulama, Cloudflare'ın son Birthday Week'te duyurduğu İçerik Sinyalleri çerçevesinin bir parçası. Bu sistem, herkesin içeriğinin kullanımına ilişkin tercihlerinin ifade edilmesine olanak tanıyor. Cloudflare, gelecekte özel içerik sinyalleri politikaları belirleme seçenekleri sunmayı planlıyor.

SEO Dünyasında Cloaking Korkuları

Bu yenilik, doğal referans topluluğunda tam bir uzlaşma sağlamıyor. Ana kaygı, cloaking'in kolaylaştırılma riski. Cloaking, indeksleme robotlarına ve insan kullanıcılara farklı içerikler sunma uygulamasıdır ve bu bir black hat SEO pratiğidir.

Accept: text/markdown başlığının orijinal sunucuya iletilmesi, site sahiplerinin yalnızca yapay zekalar için gizli talimatlar veya değiştirilmiş veriler enjekte etme olasılığını artırıyor. Bu olasılık, web'i yöneten şeffaflık ilkelerinde bir açık oluşturuyor.

Google ve Microsoft'un Tepkileri

Arama devi özellikle Google ve Bing, bu uygulamaya karşı hızlı bir şekilde tavır aldı. Google'dan John Mueller, bu yaklaşımın geçerliliği konusunda açıkça sorguluyor: "LLM'ler, klasik web sayfaları üzerinde eğitim aldılar, onları okudular ve analiz ettiler. HTML'i işlemek konusunda hiçbir sorunları yok gibi görünüyor. Neden kullanıcıların görmediği bir sayfayı görmek istesinler? Ve eğer eşdeğerliği kontrol ediyorlarsa, neden HTML kullanmasınlar?"

Microsoft'tan Fabrice Canel, daha sert bir tutum alarak Bing'in her iki versiyonu da, HTML ve Markdown'ı kontrol edeceğini belirtiyor. Bu açıklama, arama motorlarının, farklı ziyaretçi türlerine sunulan versiyonlar arasında olası farklılıkları tespit etmek için kontrol mekanizmaları kurabileceğini öne sürüyor.

Beta Sürümünde Hızla Kullanıma Sunuluyor

Ajanlar için Markdown'ı etkinleştirmek isteyen müşterilerin, Cloudflare kontrol paneline giriş yapmaları, hesaplarını ve alanlarını seçmeleri ve ardından Ajanlar için Markdown butonunu Hızlı Eylemler'de açmaları gerekiyor. Bu özellik, bugün itibarıyla beta sürümünde, Pro, Business ve Enterprise planları için ek bir maliyet olmadan ve SSL for SaaS müşterileri için kullanılabilir.

Cloudflare ayrıca, geliştiricilerin Cloudflare dışında belge dönüştürme gereksinimlerini karşılamak için başka Markdown'a dönüştürme yöntemleri de sunuyor. Workers AI, yalnızca HTML değil, birden fazla belge türünü destekleyen AI.toMarkdown() fonksiyonunu sunuyor ve sentezleme imkanı sağlıyor. REST API Browser Rendering /markdown, bir sayfayı dinamik hale getirmek veya uygulamayı gerçek bir tarayıcıda render etmek gerektiğinde Markdown dönüşümünü sağlıyor.

Cloudflare Radar ile Kullanım Takibi

Yapay zeka sistemlerinin web'de gezinme şekillerinin evrimini öngören Cloudflare Radar, artık bot ve yapay zeka tarayıcıları için trafik türleri hakkında bilgiler içeriyor. Bu veriler, AI Insights sayfasında ve her botun bireysel bilgi sayfalarında global olarak mevcut.

Yeni boyut ve content_type filtresi, ajanlara ve tarayıcılara dönen içerik türlerinin dağılımını MIME türü kategorilerine göre gruplandırarak gösteriyor. Ayrıca, belirli bir ajan veya tarayıcıya göre filtrelenmiş Markdown taleplerini görüntülemek de mümkün; örneğin, OpenAI tarafından ChatGPT aramasını beslemek için kullanılan OAI-Searchbot gibi. Bu yeni veriler, botların, tarayıcıların ve yapay zeka ajanlarının web içeri tüketimindeki evrimi takip etmeyi sağlayacak.