fbpx
google-doodle

Google kończy z noindex i nofollow i plikiem robots.txt w ogóle

Google uznało, że koncepcja pliku robots.txt to anachronizm, z którym należy skończyć.

Robots.txt to najstarszy sposób porozumiewania się między webmasterami (słowo, które wyszło z mody) a autorami botów skanujących Internet w celu zapełniania baz danych należących do wyszukiwarek internetowych. Przez wiele lat, a nawet już dekad robots.txt pełnił ważną rolę – informował, które podstrony serwisu www powinny być indeksowane przez wyszukiwarki, a które nie, a także jak często. Ponadto, autor serwisu mógł zdecydować, które linki z jego serwisu powinny przekierowywać do zewnętrznych domen. Teraz Google ogłasza, że koniec z tą formą komunikacji.

Jak twierdzą przedstawiciele koncernu z Mountain View powód to znikomy odsetek webmasterów, którzy korzystają nadal z robots.txt i jeszcze mniejszy tych, którzy robią to właściwie. Jak donoszą ludzie z Google’a komenty noindex, nofollow i crawdelay pojawiły się w tylko 0,001% plików robots.txt. Skąd więc idea pozbycia się tego pliku w ogóle?

Skoro nie będzie on obsługiwał już praktycznie żadnych komend Google’a, a sam koncern zaleca bezwzględne korzystanie z Search Consol to per se używanie tego pliku traci sens. Warto jednak pamiętać, że inni dostawcy wyszukiwarek np. Bing lub DuckDuckGo nadal korzystają z robots.txt. W końcu w dalszym ciągu właściciele stron powinni mieć prawo do odmowy indeksowania wybranych podstron.

Google także nie zmieniło w tej kwestii zdania i proponuje poniższe formy wyłączania wybranych podstron serwisu www:

  • Meta tagi „noindex” w nagłówku strony
  • Oznaczenie strony kodem 404 lub 410
  • Skorzystanie z narzędzia Remove URL w ramach Search Console

Kolejny update SEO od Google’a – koniec władzy linków?

3 komentarze

  1. aaa 09-07-2019
  2. Grzesiek 09-07-2019
  3. Patryk 10-07-2019

Zostaw odpowiedź