Google Robots.txt Güncellemesi

Google, tarayıcılarını ve kullanıcı tetiklemeli alıcı belgelerini tamamen yeniden düzenledi. Eskiden hepsi tek bir sayfadaydı ve şimdi birkaç sayfada. Değişikliklerin çoğu yalnızca içeriği taşımaktı ancak Google, her tarayıcının hangi ürünü etkilediğine dair bölümler ekledi ve kullanıcı aracısı belirteçlerinin nasıl kullanılacağını göstermek için her tarayıcı için bir robots.txt parçacığı ekledi.

Google, 'Dokümantasyon çok uzadı ve bu da tarayıcılarımız ve kullanıcı tarafından tetiklenen getiricilerimiz hakkındaki içeriği genişletme yeteneğimizi kısıtladı,' diye yazdı, bu yüzden bunu yeniden yaptılar.

Örneğin Googlebot'un her bir taramasını incelerseniz iki yeni bölüm göreceksiniz:

• Etkilenen ürünler
• Örnek robots.txt grubu

İşte bir ekran görüntüsü örneği, ancak kırmızıyla vurguladığım şey her tarayıcı için eklendi:

• Googlebot: Googlebot kullanıcı aracısına yönelik tarama tercihleri, Google Arama'yı (Keşfet ve tüm Google Arama özellikleri dahil) ve Google Görseller, Google Video, Google Haberler ve Keşfet gibi diğer ürünleri etkiler.
• Googlebot Görseli: Googlebot-Görüntü kullanıcı aracısına yönelik tarama tercihleri, Google Görseller, Keşfet, Google Video ve Google Arama'da görsellerin, logoların ve faviconların sunulduğu tüm özellikleri etkiler.
• Googlebot Video: Googlebot-Video kullanıcı aracısına yönelik tarama tercihleri, videoyla ilgili Google Arama özelliklerini ve videolara bağlı diğer ürünleri etkiler.
• Googlebot Haberleri: Googlebot-Haberler kullanıcı aracısına yönelik tarama tercihleri, Google Haberler'in tüm yüzeylerini etkiler (örneğin, Google Arama'daki Haberler sekmesi ve Google Haberler uygulaması).
• Google StoreBot: Storebot-Google kullanıcı aracısına yönelik tarama tercihleri, Google Alışveriş'in tüm yüzeylerini etkiler (örneğin, Google Arama ve Google Alışveriş'teki Alışveriş sekmesi).
• Google-InspectionTool: Storebot-Google kullanıcı aracısına yönelik tarama tercihleri, Search Console'daki Zengin Sonuç Testi ve URL denetimi gibi Arama test araçlarını etkiler. Google Arama veya diğer ürünler üzerinde hiçbir etkisi yoktur.
• GoogleOther: GoogleOther kullanıcı aracısına yönelik tarama tercihleri ​​belirli bir ürünü etkilemez. GoogleOther, çeşitli ürün ekipleri tarafından sitelerden herkese açık içerikleri almak için kullanılabilen genel tarayıcıdır. Örneğin, dahili araştırma ve geliştirme için tek seferlik taramalar için kullanılabilir. Google Arama veya diğer ürünler üzerinde hiçbir etkisi yoktur.
• GoogleOther-Image: GoogleOther-Image kullanıcı aracısına yönelik tarama tercihleri, GoogleOther'a benzer şekilde herhangi bir belirli ürünü etkilemez. GoogleOther-Image, GoogleOther'ın herkese açık resim URL'lerini almak için optimize edilmiş sürümüdür.
• GoogleOther-Video: GoogleOther-Video kullanıcı aracısına yönelik tarama tercihleri, GoogleOther'a benzer şekilde herhangi bir belirli ürünü etkilemez. GoogleOther-Video, GoogleOther'ın herkese açık video URL'lerini getirmek için optimize edilmiş sürümüdür.
• Google-CloudVertexBot: Google-CloudVertexBot kullanıcı aracısına yönelik tarama tercihleri, site sahiplerinin Vertex AI Aracılarını oluşturmak için talep ettiği taramaları etkiler. Google Arama veya diğer ürünler üzerinde hiçbir etkisi yoktur.
• Google-Extended: Google-Extended, web yayıncılarının sitelerinin Gemini Uygulamaları ve Vertex AI üretici API'lerini ve bu ürünleri destekleyen gelecek nesil modelleri iyileştirmeye yardımcı olup olmadığını yönetmek için kullanabilecekleri bağımsız bir ürün belirtecidir. Google-Extended, bir sitenin Google Arama'da yer almasını veya sıralamasını etkilemez.
• APIs-Google: APIs-Google kullanıcı aracısına yönelik tarama tercihleri, Google API'leri tarafından gönderilen anlık bildirim mesajlarının iletilmesini etkiler.
• AdsBot Mobil Web: AdsBot-Google-Mobil kullanıcı aracısına yönelik tarama tercihleri, Google Ads'in web sayfası reklam kalitesini kontrol etme yeteneğini etkiler.
• AdsBot: AdsBot-Google kullanıcı aracısına yönelik tarama tercihleri, Google Ads'in web sayfası reklam kalitesini kontrol etme yeteneğini etkiler.
• AdSense: Mediapartners-Google kullanıcı aracısına yönelik tarama tercihleri ​​Google AdSense'i etkiler. AdSense tarayıcısı, ilgili reklamları sağlamak için katılımcı siteleri ziyaret eder.
• Google-Güvenlik: Google-Güvenlik kullanıcı aracısı, Google özelliklerinde herkese açık olarak yayınlanan bağlantılar için kötü amaçlı yazılım keşfi gibi kötüye kullanıma özgü tarama işlemlerini gerçekleştirir. Bu nedenle tarama tercihlerinden etkilenmez.
• Feedfetcher: Feedfetcher, Google Haberler ve PubSubHubbub için RSS veya Atom beslemelerini taramak için kullanılır.
• Google Yayıncı Merkezi: Google Yayıncı Merkezi, yayıncıların Google Haberler açılış sayfalarında kullanılmak üzere açıkça sağladığı beslemeleri getirir ve işler.
• Google Read Aloud: Kullanıcı talebi üzerine Google Read Aloud, metinden sese (TTS) özelliğini kullanarak web sayfalarını getirir ve okur.
• Google Site Doğrulayıcı: Google Site Doğrulayıcı, Search Console doğrulama belirteçlerini getirir.

Google şunuda ekledi;

'Google'ın tarayıcıları ve kullanıcı tetiklemeli getiricileri için belgeleri yeniden düzenledik. Ayrıca her tarayıcının hangi ürünü etkilediğine dair açık notlar ekledik ve kullanıcı aracısı belirteçlerinin nasıl kullanılacağını göstermek için her tarayıcı için bir robots.txt parçacığı ekledik. İçerikte başka türlü anlamlı bir değişiklik olmadı.'