Plik robots.txt to plik tekstowy, który zawiera informacje dla robotów crawlujących o tym, które podstrony są dostępne, a których nie. Plik ten powinien znajdować się w folderze głównym domeny i dostępny pod adresem nazwadomeny.pl/robots.txt. Umieszczenie go w podfolderze sprawi, że roboty Google będą go szukać w innym miejscu. Przygotowanie witryny do jak najczęstszych odwiedzin botów indeksujących jest ważnym elementem pracy SEO-wca.
Kluczowe wnioski:
- Plik robots.txt zawiera informacje dla robotów crawlujących o tym, które podstrony są dostępne, a których nie.
- Plik robots.txt powinien znajdować się w folderze głównym domeny i dostępny pod adresem nazwadomeny.pl/robots.txt.
- Umieszczenie pliku robots.txt w podfolderze sprawi, że roboty Google będą go szukać w innym miejscu.
- Przygotowanie witryny do jak najczęstszych odwiedzin botów indeksujących jest ważnym elementem pracy SEO-wca.
Autor: Karolina Baran
URL: https://semahead.agency/blog/bez-kategorii/plik-robots-txt-czym-jest/