Начало » Уеб програмиране » Създаване на robots.txt

Създаване на robots.txt файл

Robots.txt е текстов файл, указвазващ на ботовете на търсещите машини кои папки да не индксират или обхождат. Особеността му е това, че можете да укажете забрана за определени търсещи машини, както и правила, важащи за всички останали. Важно е файлът да се намира в основната директория, в която е разположен и сайтът ви.

Пример:

User-Agent: Googlebot
Disallow: /administrator/
Disallow: /images/*.jpg
Disallow: /modules/mod
Disallow: /bg/
Allow: /bg/papka/

User-Agent: MSNBot
Disallow: /

User-Agent: *
Disallow:

Sitemap: http://Вашият_сайт/robots.xml

В този пример имаме синтаксис, показващ възможностите на robots.txt. По редове това би било обяснено така:

User-Agent: Googlebot – заявявате, че долни редове се отнасят за търсещият бот на Google. За останалите търсещи машини можете да потърсите в интернет ако прецените, че са ви нужни.
Disallow: /administrator/ Заявявате отказа си от индексиране на папка administrator
Disallow: /images/*.jpg Заявявате, че не желаете обхождане и индексация на файловете с разширение jpg в папка images
Disallow: /modules/mod В случая оказвате, че не желаете да се индексират всички файлове или директории в папка modules, започващи с mod

Disallow: /bg/

Allow: /bg/papka/ Нямате против обхождането на papka в папка bg
User-Agent: MSNBot заявявате, че долни редове се отнасят за търсещият бот на MSN.
Disallow: / желаете цялостно сайта ви да не бъде индексиран
User-Agent: * тук заявявате, че долните редове важат за всички ботове освен посочените по-горе (в случая Google bot и MSN bot)
Disallow: заявявате, че не въвеждате забрани в идексирането на никоя част от сайта ви
Sitemap: http://Вашият_сайт/robots.xml - Това е една от извън стандартните настройки с която заявявате адреса на вашата карта на сайта за търсачки. Можете да заявите повече от една спазвайки предписанието да го заявите преди това

Важно е да знаете

Търсещите машини които сте указали могат да не вземат в предвид вашите забрани посочени в robots.txt файла. По-опасното обаче е, че могат да се локализират ваши важни папки от недобронамерени лица и това да се окаже проблем за вашата сигурност.

Етикети

Модули Основни понятия Начинаещи потребители Напреднали потребители

Последни статии

Форум

Пътечки от линкове

Особености на безплатния хостинг

Вътрешни връзки

Изпозване на заглавия

Напреднали потребители

Няма документи по този критерий.

Свързани статии

Код на JavaScript и AJAX

Как да се изгради кода за сайта