Архив

Публикации с меткой ‘robots.txt’
2 ноября 2016 Нет комментариев

В примере переносим сайт с site.com на site.org
.htaccess

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]
 
RewriteCond %{HTTP_HOST} ^site\.com
RewriteRule ^(.*)$ http://site.org/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^www\.site\.com
RewriteRule ^(.*)$ http://site.org/$1 [R=301,L]

robots.txt

User-agent: Yandex
Host: site.org
 
User-agent: *
Disallow:
Sitemap: http://site.org/sitemap.xml

Источник: https://habrahabr.ru/post/168471/

Categories: Web Tags: ,