Robots.txt jest plikiem tekstowym informującym roboty sieciowe indeksujące stronę, które zasoby witryny są dla nich dostępne. Formuły składają się z dyrektyw (reguł) zezwalających lub blokujących dostęp do strony czy pliku. Mogą być kierowane do konkretnego robota, jak i obowiązywać wszystkie. Plik robots.txt umieszcza się w folderze głównym serwera.
Robots.txt to plik tekstowy, który zawiera poniższe elementy.
Robost.txt jest jednym z mechanizmów Robots Exclusion Protocol (REP). Jest to zbiór standardów określających, w jaki sposób roboty sieciowe skanują i indeksują witryny internetowe.
Sprawdź również: robot sieciowy, co to jest mapa XML, co to jest indeksowanie stron
Sprawdź na blogu:
Dodatkowe informacje:
Definicja pojęcia robots.txt
w słowniku otrzymała ocenę
5 / 5 według 10 opinii
Przedstawimy strategię i wypromujemy Twój biznes. Daj nam znać o swoim projekcie!