Tworzenie mapy XML a indeksacja podstron
Dynamiczne lub statyczne mapy XML powodują, iż roboty wyszukiwarek chętniej odwiedzają i indeksują strony internetowe.
Najczęściej pojawiające się posty wśród nowych webmasterów zaczynają się od pytania: „dlaczego Google nie widzi mojej strony?”
Właśnie jednym z powodów jest brak mapy XML a następnym jest brak określenie zakresu wejścia dla robotów.
Jak stworzyć mapę XML ?
O ile mapy dynamiczne często można generować dynamicznie za pomocą dostępnych wtyczek w Joomla czy WordPress o tyle w innych przypadkach pozostaje nam ręczne wygenerowanie takiej mapy oraz umieszczenie w katalogu głównym w postaci pliku : „sitemap.xml”.
Mapę można wygenerować używając kreatora online : www.xml-sitemaps.com a następnie umieścić zawartość w sitemap.xml.
Warto zwrócić uwagę by ścieżkę podać w postaci : http://www.domena.pl/ i dokładnie zastanowić się czy nasza strona główna jest zaindeksowana w postaci „z www” czy też „bez www”. Bowiem posiadając jedną domenę mamy do czynienia z dwoma jej formami i dla prawidłowego działania należy dokonać przekierowania w pliku .htaccess
Jak zrobić przekierowanie REDIRECT 301 ?
Przekierowanie w najprostszej formie (przekierowanie z „bez www” na „z www”) może wyglądać jak poniżej :
RewriteEngine On
RewriteCond %{HTTP_HOST} ^domena.pl$ [NC]
RewriteRule ^(.*)$ http://www.domena.pl/$1 [R=301,L]
Najpierw należy utworzyć plik tekstowy czyli z rozszerzeniem „.txt”, następnie wkopiować zawartość i zapisać. Dopiero na samym końcu zmieniamy nazwę na „.htaccess”
Bardzo ważna jest KROPKA przed słowem „htaccess” – bez niej przekierowanie nie będzie działało.
Co oznaczają roboty i jak je zaprosić na naszą stronę ?
Plik wejścia dla robotów czyli inaczej mówiąc : spiderów / crawlerów ( robotów wyszukiwarek ) tworzymy w zależności od obostrzeń czyli zakazów wejścia do niektórych folderów. Jeśli mamy prostą stronę a roboty możemy wpuścić do wszystkich folderów to stosujemy wpis :
User-Agent: *
Allow: /
Plik o tym wpisie należy nazwać „robots.txt” i umieścić w folderze głównym.
Jak sprawdzić prawidłowość : sitemap.xml , robots.txt oraz .htaccess ?
Jeśli mapa strony jest prawidłowo zapisana powinna wyświetlić się, jeśli wywołamy ją poprzez:
www.domena.pl/sitemap.xml . Analogicznie jest z plikiem robots : www.domena.pl/robots.txt
W przypadku pliku .htaccess należy wpisać w pasek adresowy np. formę domeny „bez www” i zobaczyć czy automatycznie zostaniemy przekierowani na format „z www”.
