Robots.txt dla Wordpress! Pobierz za darmo!

1. Zawartość:
2. Co to jest plik robots.txt i do czego służy?
3. Gdzie jest plik robots.txt i jak go utworzyć?
4. 8 popularnych błędów popełnionych przez początkujących webmasterów
5. Poprawne i zweryfikowane robots.txt dla witryny WordPress
6. Opis ciągów plików robots.txt:
7. Na wszelki wypadek kilka fajnych usług do analizy i sprawdzania błędów w pliku robots.txt:

Dzień dobry, koledzy! W jednym z poprzednich artykułów mówiłem o optymalizacja strony własnej seo i powiedział, że jest to bardzo duży temat i każdy element w ramach jednego lub dwóch artykułów jest bardzo szczegółowy, aby go w pełni ujawnić.

Pamiętasz to? Tak więc dzisiaj chcę bardziej szczegółowo ujawnić jeden z najważniejszych punktów wewnętrznej optymalizacji zasobów internetowych. Dzisiaj porozmawiamy o pliku robots.txt dla witryny WordPress. Po przeczytaniu artykułu od początku do końca dowiesz się:

Zawartość:

1 Co to jest plik robots.txt i do czego służy?
2 Gdzie jest plik robots.txt i jak go utworzyć?
3 8 popularnych błędów popełnionych przez początkujących webmasterów
4 Poprawne i zweryfikowane robots.txt dla witryny WordPress
5 Opis wartości ciągów plików robots.txt

Nawiasem mówiąc, dla tych towarzyszy, którzy nie chcą zrozumieć tego pliku z dziwną nazwą, ale chcą po prostu przygotować gotową i sprawdzoną opcję dla swojego projektu internetowego, podam link do pobrania działającego pliku robots.txt dla WordPress.

Używam go od 2013 r. We wszystkich moich zasobach internetowych tworzonych na WP i przez cały czas sprawdził się bardzo dobrze. Oczywiście staram się być w trendzie i, jeśli to konieczne, wprowadzać w nim zmiany, biorąc pod uwagę innowacje wyszukiwarek i SEO.

Bardzo długo zbierałem swój plik, pobierałem szablony z udanych witryn, które są w TOP, pobierane od blogerów, pytałem facetów o seo fora, a następnie analizowałem to wszystko, korzystałem z każdego z nich, a teraz jest to proste, skuteczne, działające roboty. Zacznijmy od definicji.

Co to jest plik robots.txt i do czego służy?

Robots.txt to systemowy, wewnętrzny plik witryny utworzony w zwykłym notatniku tekstowym, który jest instrukcją krok po kroku dla wyszukiwarek, które codziennie odwiedzają i indeksują zasoby internetowe.

Każdy webmaster powinien znać wartość tego ważnego elementu wewnętrznej optymalizacji i być w stanie poprawnie go skonfigurować. Obecność tego pliku jest warunkiem prawidłowego i wysokiej jakości SEO.

Inny taki niuans, jeśli Twoja witryna ma kilka subdomen, to każda z nich powinna mieć własne roboty w katalogu głównym serwera. Nawiasem mówiąc, ten plik jest dodatkiem do map witryn (mapa witryny dla PS), w dalszej części artykułu dowiesz się więcej na ten temat.

Każda witryna ma sekcje, które można indeksować, a które nie. W Robotach możliwe jest dyktowanie warunków dla robotów wyszukujących, na przykład, aby nakazać im indeksowanie wszystkich stron witryny za pomocą przydatnych i sprzedawanych treści, ale nie dotykać folderów silnika, plików systemowych, stron z danymi kont użytkowników itp. d.

Możesz także wydać polecenie do wyszukiwarki, obserwować pewien okres czasu między pobieraniem plików i dokumentów z serwera podczas indeksowania, a także doskonale rozwiązać problem duplikatów (kopie zawartości witryny).

A teraz chcę podzielić się z Wami małym sekretem , który, nawiasem mówiąc, nie wszyscy webmasterzy wiedzą. Jeśli utworzyłeś i skonfigurowałeś robots.txt, nie myśl, że jesteś lordem robotów wyszukujących, wiedz i pamiętaj, że pozwala tylko częściowo zarządzać indeksowaniem witryny .

Nasz krajowy gigant wyszukiwania Yandex ściśle i odpowiedzialnie przestrzega zalecanych instrukcji i zasad, ale amerykański towarzysz Google, nie sumiennie stosuje się do tego i może łatwo indeksować strony i sekcje, które są zakazane, a następnie dodawać do wyników wyszukiwania.

Gdzie jest plik robots.txt i jak go utworzyć?

Ten towarzysz znajduje się w katalogu głównym witryny , dla jasności, patrz zdjęcie z zrzutem ekranu mojego katalogu na serwerze. Jeśli zainstalujesz WordPress na hostingu za pomocą funkcji „Zainstaluj aplikacje”, powiedziałem o tym w artykule „ Jak zainstalować WordPress na serwerze? Kompletny przewodnik instalacji! „Plik robotów jest tworzony automatycznie domyślnie w standardowej, nie zmodyfikowanej formie.

Jest tworzony na pulpicie za pomocą notatnika w postaci zwykłego tekstu z rozszerzeniem .txt. Nawiasem mówiąc, zalecam używanie programu Notepad ++ do edycji i tworzenia plików tekstowych, bardzo wygodne.

Możesz przesłać go na serwer, na przykład używając ftp przy użyciu programów Filezilla lub Total Commander . Jeśli chcesz zobaczyć, jak ten plik wygląda na jakiejś stronie internetowej lub samodzielnie, wpisz w przeglądarce adres http: // nazwa_lokacji / robots.txt.

8 popularnych błędów popełnionych przez początkujących webmasterów

1.Putanitsa w pisaniu zasad. Być może jest to najpopularniejszy błąd w runecie.

Błędna opcja:
User-agent: /
Disallow: Googlebot

Prawidłowa opcja to:
User-agent: Googlebot
Disallow: /

2. Zapisanie całej listy folderów w jednej regule . Niektórym udaje się zakazać indeksowania folderów w jednej linii.

Błędna opcja:
Disallow: / wp-admin /wp-login.php /xmlrpc.php / wp-includes

Prawidłowa opcja to:
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: /wp-login.php
Disallow: /xmlrpc.php

3. Nazwa pliku robota dużymi literami . Myślę, że tutaj jest jasne, że zawsze piszemy imię tylko małymi literami.

Błędna opcja:
Robots.txt
ROBOTS.TXT

Prawidłowa opcja to:
robots.txt

4. Pisanie pustego łańcucha w dyrektywie User-agent

Błędna opcja:
Agent użytkownika:
Disallow:

Prawidłowa opcja to:
Agent użytkownika: *
Disallow:

5. Niepoprawnie napisany link w regule „Host” . Musisz napisać link bez określenia protokołu http: // i bez ukośnika na końcu /

Błędna opcja:
User-agent: Yandex
Disallow: / wp-content / plugins
Gospodarz: http://www.ivan-maslov.ru/

Prawidłowa opcja to:
User-agent: Yandex
Disallow: / wp-content / plugins
Gospodarz: www.ivan-maslov.ru

6. Pisanie długiej kiełbasy z listą każdego pliku . Aby temu zapobiec, po prostu zamknij folder przed rozpoczęciem indeksowania.

Błędna opcja:
User-agent: Yandex
Disallow: /Brend/Armani.html
Disallow: /Brend/Chanel.html
Disallow: /Tur/Thailand.html
Disallow: /Tur/Vietnam.html
Disallow: /Tur/Egypt.html

Prawidłowa opcja to:
User-agent: Yandex
Disallow: / Brend /
Disallow: / Tur /

7. Brak reguły Disallow w robotach . Zgodnie z ogólnie przyjętym standardem wyszukiwarek niniejsza instrukcja jest obowiązkowa, jeśli nie zamierzasz niczego zabraniać, po prostu pozostaw to pole puste. OK?

Błędna opcja:
User-agent: Googlebot
Gospodarz: www.ivan-maslov.ru

Prawidłowa opcja to:
User-agent: Googlebot
Disallow:
Gospodarz: www.ivan-maslov.ru

8. Nie pokazuj ukośników w katalogach.

Błędna opcja:
User-agent: Googlebot
Disallow: ivan

Prawidłowa opcja to:
User-agent: Googlebot
Disallow: / ivan /

Poprawne i zweryfikowane robots.txt dla witryny WordPress

A teraz proponuję zapoznać się z zawartością pliku kodu robotów, aby zrozumieć każdą z jego dyrektyw. a następnie pobierz gotową wersję.

User-agent: Yandex Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-login.php Disallow: / wp-register.php Disallow: /xmlrpc.php Disallow: /? S = * Disallow: / * * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / comments / Disallow: * / komentarz Disallow: * / załącznik / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Zezwól: / wp-content / uploads Opóźnienie indeksowania: 5 Host: ivan-maslov.ru Mapa strony: http: ///sitemap.xml Mapa strony: http: // /sitemap.xml.gz User-agent: Googlebot Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /? = * Disallow: / *? * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachm ent / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads User-agent: Mail.Ru Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-login.php Disallow : /wp-register.php Disallow: /xmlrpc.php Disallow: /? s = * Disallow: / *? * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow : * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachment / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi -bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-login.php Disallow: / wp-register.php Disallow: /xmlrpc.php Disallow: /? S = * Disallow: / *? * Disallow: / search * Disallow: * / tra ckback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / komentarze / Disallow: * / komentarz Disallow: * / attachment / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Zezwól: / wp-content / uploads User-agent: Googlebot-Image Zezwalaj: / wp-content / uploads / User-agent: YandexImages Zezwalaj: / wp-content / uploads / User-agent: Mediapartners-Google Disallow: User-Agent: YaDirectBot Disallow:

>> Pobierz plik robots.txt dla witryny WordPress

Opis ciągów plików robots.txt:

1. „ User-agent: * ” - poniższe zasady będą miały zastosowanie do wszystkich wyszukiwarek i ich robotów, z wyjątkiem Yandex i Google
2. „ User-agent: Yandex ” - poniższe zasady będą miały zastosowanie do giganta wyszukiwania Yandex i wszystkich jego wyszukiwarek (PR)
3. „ User-agent: Googlebot ” - poniższe zasady będą dotyczyć giganta wyszukiwania Google i wszystkich jego PR
4. „ User-agent: Mail.Ru ” - poniższe reguły będą miały zastosowanie do giganta wyszukiwania Mile p i wszystkich jego PR
5. „ Disallow :” - warunek uniemożliwiający indeksowanie
6. „ Zezwól: ” - warunek indeksu permisywnego
7. „ * ” - gwiazdka oznacza założenie absolutnie dowolnej, a nawet pustej sekwencji znaków
8. „ $ ” - umożliwia wykonanie wyjątku dla niektórych plików i katalogów w regule
9. „ Host: vas-domen.ru ” - ta reguła jest używana tylko przez starca Yandex i wskazuje mu główne zwierciadło twojej witryny (www.sait.ru lub sait.ru)
10. „ User-agent: Googlebot-Image ” - poniższe reguły będą specyficzne dla bota wyszukiwania Google, który indeksuje obrazy
11. „ User-agent: YandexImages ” - poniższe reguły będą specyficzne dla bota wyszukiwania Yandex, który zajmuje się indeksowaniem obrazów
12. „ User-agent: Mediapartners-Google ” - poniższe zasady będą specyficzne dla bota wyszukiwania Google, który zajmuje się indeksowaniem stron i reklam za pomocą reklam AdSense. Pozwolę sobie przypomnieć, że napisaliśmy tam „Disallow:”, co pozwoli wybrać bardziej odpowiednie reklamy i uniknąć błędów indeksowania. Jeśli zamierzasz umieścić reklamy z Google w przyszłości lub już je umieszczasz, zapisz te zasady od razu, aby wszystko było w porządku w Verochka, a potem zapomnisz.
13. „ User-Agent: YaDirectBot ” - poniższe reguły będą specyficzne dla bota wyszukiwania Yandex, który indeksuje strony i reklamy reklamujące Yandex Direct. W przeciwnym razie wszystko to, co napisał w poprzednim akapicie.
14. „ Mapa witryny: ” to reguła odnosząca się do lokalizacji pliku z mapą witryny sitemap.xml.
15. „ Opóźnienie indeksowania :” to przydatna zasada, która zmniejsza obciążenie serwera, gdy PR często odwiedza Twoją witrynę, tutaj ustawiamy czas w sekundach i informujemy tych niespokojnych towarzyszy o skanowaniu naszego zasobu internetowego nie więcej niż 1 co 5 sekund.

Zastanawialiśmy się nad znaczeniem wszystkich linii, jeśli ta informacja nie jest dla ciebie wystarczająca, to polecam także przeczytanie pomocy Yandex . Przy okazji, możesz pobrać cały plik robots.txt dla witryny WordPress, możesz - tutaj . Nie zapomnij zmienić w nim linii:

Link do mapy witryny
Główne lustro zasobu WWW w dyrektywie „Host:”

Po dokonaniu wszystkich ustawień i przesłaniu robotów do folderu głównego witryny, sprawdź je pod kątem błędów , jeśli pobrałeś moją wersję, nie możesz sprawdzić, już to zrobiłem, wszystko jest jasne

Na wszelki wypadek kilka fajnych usług do analizy i sprawdzania błędów w pliku robots.txt:

Sprawdzanie robots.txt w narzędziach dla webmasterów Yandex: http://webmaster.yandex.ru/robots.xml
Sprawdzanie robots.txt w narzędziach Google: https://www.google.com/webmasters/tools/robots-testing-tool?hl=en

Na koniec chciałbym zwrócić uwagę na fakt, że plik robots.txt dla witryny WordPress jest ważnym ogniwem w optymalizacji SEO , między zasobami internetowymi a wyszukiwarkami. Dzięki niemu możesz wpływać na stronę indeksowania . Przyjaciele, zapamiętaj to i używaj swoich robotów poprawnie, ponieważ w seo nie ma drobiazgów.

Są pytania - napisz je w komentarzach, postaram się odpowiedzieć w najbliższej przyszłości. Jakich instrukcji używasz w pliku robots.txt wymienionym powyżej?

Jeśli spodobał Ci się artykuł, polecam go znajomym i zapisz się na newsletter blogu. Do zobaczenia na następnych postach, przed komunikacją 😉

Pozdrawiam Ivan Maslov