Re: [apache-talk] Search enginies & robots.txt & apache

[Igor Sysoev <is@rambler-co.ru>]

On Mon, 13 May 2002, Sokovtcev Artem wrote:

> Проблема такая, что есть 2 домена второго уровня: первый - главный, второй -
> второстепенный. Так вот. Поисковик Яндекс "засосал" второй домен
> (второстепенный) и поэтому не хочет индексировать главный домен, потому что он
> понял, что эти домены - зеркала.
> 
> Собственно на яндексе в таком случае советуют сделать так, чтобы при обращении
> к второстепенному домену выдавался robots.txt запрещающий индексацию всего
> сайта и тогда заявка на индексирование главного домена будет принята.
> 
> Как такую фишку можно сделать???
> Используется Apache 1.3.14. Есть SSI, Perl и PHP.  

Учитывая средства, способов много. Я бы предпочёл mod_rewrite:

RewriteEngine on
RewriteCond   %{HTTP_HOST}   ^some.domain.ru$
RewriteRule   ^/robot.txt$   /robot.txt.disable   [PT,L]

Можно, наверное так:

<Location  /robot.txt>
   Action  text/plain  some_perl_script
</Location>

some_perl_script анализирует host и выдаёт нужный robot.txt

Можно в robot.txt добавить SSI с анализом HTTP_HOST.
Можно написать на PHP.

Игорь Сысоев
http://sysoev.ru

=============================================================================
=               Apache-Talk@lists.lexa.ru mailing list                      =
Mail "unsubscribe apache-talk" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/apache-talk                 =