Блог Медара » новые инструменты на google webmaster central. Learn more about Googlebot's crawl of your site and more! We've added a few new features to webmaster tools and invite you to check them out.
Googlebot activity reportsCheck out these cool charts! We show you the number of pages Googlebot's crawled from your site per day, the number of kilobytes of data Googlebot's downloaded per day, and the average time it took Googlebot to download pages. Webmaster tools show each of these for the last 90 days. Stay tuned for more information about this data and how you can use it to pinpoint issues with your site. Crawl rate controlGooglebot uses sophisticated algorithms that determine how much to crawl each site. We've been conducting a limited test of a new feature that enables you to provide us information about how we crawl your site.
If we feel your server could handle the additional bandwidth, and we can crawl your site more, we'll let you know and offer the option for a faster crawl. If you request a changed crawl rate, this change will last for 90 days. Скорость индексации в Гугле задается вручную! - (не)?путевые заметки промоутера. « Google Docs | Главная | Нестандартные теги в RSS » Скорость индексации в Гугле задается вручную!
В Google Webmaster Central добавлены очередные инструменты. Во-первых, это графики сканирования сайта: сколько страниц сайта индексируется в день, сколько килобайт в день загружено и сколько потрачено в среднем времения на загрузку одной страницы. Данные представлены за последние 90 дней. Из графиков явно видна обратно пропорциональная зависимость между временем загрузки страницы и скоростью индексации, то есть как только сайт начинает притормаживать, GoogleBot снижает количество запросов для снижения нагрузки на сайт. Во-вторых, на этой же странице добавлена форма регулирования скорости индексации. Над формой явно отмечено, что скорость индексации снижения для снижения нагрузки на сервер. Вот и ответ на вопросы о том, что GoogleBot грузит сервер, кроме того дополнительный аргумент для добавления сайта в Google SiteMaps. Категория Роботы - (не)?путевые заметки промоутера.
August 31, 2007 В Yahoo "улучшили" работу Slurp...
На прошлой неделе в Yahoo официально заявили об улучшении алгоритма работы поискового робота Slurp, в процессе тестирования и апдейта робота "отпустили погулять", в результате на многих сайтах от него увеличилось количество запросов и, соответственно, трафик. В Yahoo заявляют, что в будущем подобного больше не повторится, поскольку введены новые ограничения: Don't fret, though, if you're concerned about seeing an increased load. We've initiated efforts and established policies internally to ensure this doesn't happen, even temporarily, in the future. Западные вебмастера недовольны такими "улучшениями" и указывают на необходимость использования роботами общего кеша: Категория robots.txt - (не)?путевые заметки промоутера.
April 17, 2007 Sitemaps просачивается в robots.txt Вот сколько раз думал закрыть тему robots.txt, да никак не дадут!
Как многие уже успели отметить, большая западная четверка (Google, Yahoo! , MSN и Ask) приняли протокол Sitemaps, а в рамках протокола механизм Auto-Discovery, позволяющий роботам найти файлы Sitemaps самим, а не ждать сабмита от вебмастеров. Данный механизм подразумевает добавление в robots.txt директивы Sitemap, в значении которой указывается полный путь к файлу, примерно так: Sitemap: Эксперты отмечают, что: Яндексу достаточно включить поддержку Sitemap XML и это станет стандартом де-факто и в Рунете. Я помню дискуссию Артема Шкондина с сотрудниками Яндекса при добавлении обработки директивы Host, в частности Артем указывал, что данная директива будет непонятной, поскольку указывается главное зеркало, а не запрещаются второстепенные, формат записи приводит сразу к нескольким возможным ошибкам в записи директивы и т.д. Ужасно! March 23, 2007 Технологии запрета March 20, 2007. Расширения в robots.txt - (не)?путевые заметки промоутера.
« И здесь про выборы!
| Главная | BigMir: индексация "невидимых" страниц » Расширения в robots.txt Все-таки полезно иногда читать инструкции. Оказывется Yahoo поддерживает свое расширение в robots.txt. Дополнительная инструкция Crawl-delay определяет время в секундах между успешными запросами документов с сайта роботом Slurp. Таким образом, каждая поисковая система решает свои проблемы с помощью инструкций в robots.txt: Яндекс решает проблему с зеркалами, Google позволяет использовать символы подстановки в Disallow, а Yahoo - ограничивать нагрузку на сервер.
Осталось еще Рамблеру придумать свое расширение, только у них и стандартный robots.txt не всегда правильно разбирается, скорее всего из-за wildcards. Robots.txt: стандарт, расширения, аспекты применения - Web Art Solutions. Главная / Статьи / robots.txt: стандарт, расширения, аспекты применения Автор: Владимир Чернышов robots.txt — маленький текстовый файл, способный остановить самых больших роботов С помощью нескольких простых правил, записанных в обычном текстовой файле, вебмастер может запретить доступ поисковым роботам к отдельным документам, части сайта или сайту полностью.
Для чего запрещают индексацию Для чего запрещать роботам поисковых систем индексировать сайт, ведь во многих случаях увеличение количества проиндексированных страниц должно влиять на увеличение поискового трафика по низкочастотным запросам? Версии для печати Версии страниц для печати создаются для удобства распечатки и не содержат «дополнительных» элементов дизайна страницы, как например второстепенных текстовых блоков, баннеров, счетчиков. Страницы с формами регистрации Страницы с формами регистрации, аутентификации, анкетами пользователя также в большинстве случаев не являются информативными страницами.
Профили пользователей на форумах.