ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 

  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА














     АРХИВ :: Apache-Talk
Apache-Talk mailing list archive (apache-talk@lists.lexa.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [apache-talk] mod_accel и краулеры



Hello Dmitry,

Wednesday, September 25, 2002, 1:00:35 PM, you wrote:

> Приветствую!

> В очередной раз пытаемся решить проблему отдачи страниц краулерам.
> Представление для краулера и для браузера должно отличаться, и
> представление для краулера кешировать не стоит - иначе юзер, пришедший
> туда же с браузером до устаревания кеша, получит что-то непотребное.

Вообще-то подобная выдача разного контента поисковым роботам и
посетителям называется поисковым спамом, за это поисковики могут
забанить ваш домен. Вы этого хотите? =)

По технической части:

Вот одно из решений:

Роботы ходят с определённых сетей.
Поэтому можно сделать следующее:

1 Нат, + 2 внутренних IP
На одном (A) живёт честный апач для посетителей, на втором (B) для роботов.

При приходе запроса из сети робота, пакет отправляется к "B",
из сети человека "A".

Установка акселя на A, и т.д. по вкусу.

Best regards,
 Oleg                            mailto:ilin@rinet.ru

=============================================================================
=               Apache-Talk@lists.lexa.ru mailing list                      =
Mail "unsubscribe apache-talk" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/apache-talk                 =



 




Copyright © Lexa Software, 1996-2009.