Яндекс с новым апом принес сюрпризы, забанил несколько сайтов причем три из них были сделаны руками, на купленном уникальном контенте, можно сказать реальные сайты для людей, потому что инфа была действительно полезная для людей и хорошо разделена по разделам тегам и прочее. Какие просчеты были допущены:

1. Сайты на одном хостинге, и на одном ip
2. Рандомные данные в whois, но дата регистрации одна и та же
3. Тематика сайта одна и та же

Собственно из выводов для себя делую следующие:

1. теперь и дальше лепить гавносайты с помощью нового скрипта пачками
2. пока что СДЛ не делать вообще
3. домены регать в один и тот же день только по разной тематике с рандомными данными для whois
4. разбрасывать все домены по разным хостингам

новая цель - утопить яшу в гавносайтах... ты у меня поплатишься сцуко за угробленные домены

Первооисточник. Когда из индекса вылетают сайты с дублированным контентом и аудиторией меньше 10к это еще как то можно понять. Судя по тому что Садовский там отписал в коментах, ситуация действительно возможна.

Кстати я был в гдеэтотдом ру на собеседовании, вполне такая нормальная компания и люди там работают тоже по первому впечатлению вполне адекватные.

Эти дешевые методы Яндекса по борьбе с конкурентами напоминают мне АВТОВАЗ, ГАЗ, ЗИЛ и то как они работает в нашей стране. Если бы не высокие пошлины на иномарки, различные госзакупки этого автохлама, то все эти заводы давно стали бы банкротами. СССР развалился, а совок в головах людей остался. Не было бы пошлин, и дотаций со стороны государства — была бы нормальная конкуренция. Возможно и производили бы более менее сносные машины, а не ведра с гайками на колесах.

В том же стиле действует и Яндекс, как например давняя история с пробками, если кто не знает почему в Google Maps еще не появились пробки, причина простая. Когда я был на Google Developer Day, представители гугла рассказывали о том что они в разных странах пользуются услугами местных компаний. К примеру когда им нужны спутниковые снимки, они покупают их у местной компании, чтобы самим не тратить время на то чтобы выбить их где-то, согласовать возможность их публикации с гос. учреждениями итд. Собственно пробки на Google Maps в России так и не показываются до сих пор потому что Яндекс заключил эксклюзивные соглашения с рядом компаний, предоставляющих услуги о пробках на дорогах Москвы. По условиям этих соглашений, эти компании могут предоставлять данные только Яндексу.

ps: на youtube сделали новую версию профилей, теперь на мой блог идет прямая ссылка с PR 4, ТИЦ 19000, посмотрим что будет с показателями блога через месяц другой.

Сегодня, после проставленных ранее ссылок на дор пришли боты яндекса в интересной последовательности

93.158.151.24 - - [24/Sep/2009:09:52:15 -0500] "GET /robots.txt HTTP/1.1" 200 33 "-" "Yandex/1.01.001 (compatible; Win16; I)"
93.158.151.24 - - [24/Sep/2009:09:52:17 -0500] "GET / HTTP/1.1" 200 5834 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [24/Sep/2009:14:35:37 -0500] "GET /robots.txt HTTP/1.1" 200 33 "-" "Yandex/1.01.001 (compatible; Win16; I)"
95.108.142.154 - - [24/Sep/2009:14:35:39 -0500] "GET / HTTP/1.1" 200 5834 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [24/Sep/2009:14:36:18 -0500] "GET /robots.txt HTTP/1.1" 200 33 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.22.224 - - [24/Sep/2009:14:36:21 -0500] "GET / HTTP/1.1" 200 5834 "-" "Yandex/1.01.001 (compatible; Win16; I)"
[mindinmotion@web72 ~]$ host 95.108.142.154
154.142.108.95.in-addr.arpa domain name pointer quicktest00.yandex.ru.
[mindinmotion@web72 ~]$ host 93.158.151.24
24.151.158.93.in-addr.arpa domain name pointer spider65.yandex.ru.
[mindinmotion@web72 ~]$ host 77.88.22.224
224.22.88.77.in-addr.arpa domain name pointer turbospider.yandex.ru.

О том что Googlebot понимает javascript знают многие, провел недавно эксперимент с целью проверки как с этим у яндекс бота. Был создан дорвей на котором не было редиректа, за 2 апа дорвей полностью вылез в яше (> 98% страниц), после этого написал небольшой скрипт на php который заменил

<p><a href="http://ya.ru"><img src="images/image.jpg" border="0" /></a></p>
на
<p><a href="http://ya.ru"><script type="text/javascript">function r(){window.location = "http://tds/?r=#";}</script><img src="images/not-existing-image.jpg" border="0" onerror="r();" /></a></p>

то есть в случае когда картинки нет, происходит javascipt редирект на tds, а там уже все записывается. Не прошло и нескольких дней как в логах TDS появился 77.88.51.21       Yandex/1.01.001 (compatible; Win16; H) и судя по всему это не кто-то решил поприкалываться и зашел на дорвей с таким User-agent

$ host 77.88.51.21
21.51.88.77.in-addr.arpa domain name pointer dech023.yandex.ru.