Semahead: Plik robots.txt – czym jest?

Plik robots.txt to plik tekstowy, który zawiera informacje dla robotów crawlujących o tym, które podstrony są dostępne, a których nie. Plik ten powinien znajdować się w folderze głównym domeny i dostępny pod adresem nazwadomeny.pl/robots.txt. Umieszczenie go w podfolderze sprawi, że roboty Google będą go szukać w innym miejscu. Przygotowanie witryny do jak najczęstszych odwiedzin botów indeksujących jest ważnym elementem pracy SEO-wca.

Kluczowe wnioski:

  • Plik robots.txt zawiera informacje dla robotów crawlujących o tym, które podstrony są dostępne, a których nie.
  • Plik robots.txt powinien znajdować się w folderze głównym domeny i dostępny pod adresem nazwadomeny.pl/robots.txt.
  • Umieszczenie pliku robots.txt w podfolderze sprawi, że roboty Google będą go szukać w innym miejscu.
  • Przygotowanie witryny do jak najczęstszych odwiedzin botów indeksujących jest ważnym elementem pracy SEO-wca.

Autor: Karolina Baran
URL: https://semahead.agency/blog/bez-kategorii/plik-robots-txt-czym-jest/