Robots.txt

robots.txt, bir web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi sayfaların taranıp taranamayacağını belirten bir dosyadır. Arama motorları, web sitelerini indekslemek için bu dosyayı kontrol eder. Dosya, tarayıcılara belirli sayfaları engelleyebilir ya da erişim izni verebilir. Örneğin, yönetici panelleri veya özel içerikler genellikle tarama dışında tutulur. Bu sayede web sitesi sahipleri, arama motorlarının hangi içeriklere erişip hangilerine erişemeyeceğini yönetebilir.

Panel üzerinden robots.txt dosyasını oluşturmak veya düzenlemek için, sol menüdeki 'Yönetim' başlığı altında bulunan 'Sistem Ayarları' butonuna tıklıyoruz. Açılan sayfada, yine sol menüde yer alan 'Genel' başlığı altında 'robots.txt' butonuna tıklıyoruz.

Bu işlemle karşınıza varsayılan robots.txt dosyası gelecektir. Bu dosyayı, ekranda bulunan editör üzerinden düzenleyebilirsiniz. Ayrıca, dosyayı varsayılan haline geri döndürmek isterseniz, sağ üst köşedeki 'Sıfırla' butonuna tıklayarak işlemi gerçekleştirebilirsiniz.