Ошибка в вебмастере гугл

Вот мой robots.txt

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://сайт.ru/sitemap.xml
Sitemap: http://сайт.ru/sitemap-forum.xml
Sitemap: http://сайт.ru/sitemap-shop.xml

Посмотри вот здесь - help.yandex.ru/webmaster/?id=996567#996574

Andrey AAAAA - скинь сюда robots.txt своего сайта для просмотра .

Talabas s писал(а):
Вот мой robots.txt

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://сайт.ru/sitemap.xml
Sitemap: http://сайт.ru/sitemap-forum.xml
Sitemap: http://сайт.ru/sitemap-shop.xml

У меня тоже самое только открыт доступ роботу гугла адсенс :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://сайт.ru/sitemap.xml
Sitemap: http://сайт.ru/sitemap-forum.xml
Sitemap: http://сайт.ru/sitemap-shop.xml

вот мой robots.txt, может кто подскажет что надо убрать или добавить что бы нормально работало ?

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums

# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.

# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html

User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
Disallow: /lang-ru/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-opc.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /attachment.php
Disallow: /guest-tracking
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*id_lang=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
# Sitemap

Что стоит после Disallow: запрещено к индексации. Вот и подставляй к своему домену эти окончания, да смотри что лишнее запретил к индексации.

Talabas s писал(а):
Что стоит после Disallow: запрещено к индексации. Вот и подставляй к своему домену эти окончания, да смотри что лишнее запретил к индексации.

я бы так и сделал, но я не знаю, что гугл считает "важными страницами".
вроде все правильно, но ошибка почему то.

Andrey AAAAA -- изучи что здесь - help.yandex.ru/webmaster/?id=996567#996574 написано и сам определись к каким страницам и материалам открывать доступ роботу для индексации, а к каким нет. Тебе ведь лучше знать что тебе надо от сайта при индексации его и продвижении.

Иван Сысоев писал(а):
Andrey AAAAA -- изучи что здесь - help.yandex.ru/webmaster/?id=996567#996574 написано и сам определись к каким страницам и материалам открывать доступ роботу для индексации, а к каким нет. Тебе ведь лучше знать что тебе надо от сайта при индексации его и продвижении.

ок спасибо, изучу.
но там вроде только админские, технические страницы запрещены, которые не нужно индексировать.
посмотрю...

мало ли что гугл там считает "важным", глянь число страниц в индексе у яши и сопоставь в чем разница.
скорее всего всё норм, ниче менять не надо а то мож и правда г.бот желает в твоей админке похозяйничать,нах такое счастье

S___ M_____ писал(а):
мало ли что гугл там считает "важным", глянь число страниц в индексе у яши и сопоставь в чем разница.
скорее всего всё норм, ниче менять не надо а то мож и правда г.бот желает в твоей админке похозяйничать,нах такое счастье

Полностью поддерживаю, для Гоши и страница с контактами, недописанная и неоформленная иногда становится очень важной, а тем временем, страницы с уникальным текстом нафиг надо. Так что посмотри что тебе надо открыть для индексации, а что нет.

phantom DNA писал(а):

S___ M_____ писал(а):
мало ли что гугл там считает "важным", глянь число страниц в индексе у яши и сопоставь в чем разница.
скорее всего всё норм, ниче менять не надо а то мож и правда г.бот желает в твоей админке похозяйничать,нах такое счастье

Полностью поддерживаю, для Гоши и страница с контактами, недописанная и неоформленная иногда становится очень важной, а тем временем, страницы с уникальным текстом нафиг надо. Так что посмотри что тебе надо открыть для индексации, а что нет.

наверно так и есть.
но как же тогда убрать эту ошибку из вебмастера ?

попробуй неск.раз попередавать данные из роботс.
у меня на одном сайте чтот типо такого выскакивало,глядиш скушает и по новой оценит содержание

У меня при наполнении блога статьями тоже были такие ошибки, при анализе ситуации, оказалось что страницы у гугла были в ошибке по след. причине: Есть метка (tag) и к ней привязана пока только одна страница, а индексирование меток закрыто в robots.txt, поэтому гугл режет метку и соответственно единственную страницу ( в вебмастере об этом предупреждает), ка колько на эту метку (tag) вешаешь еще одну страницу - ошибка через некоторое время исчезает. Блог на WordPress.

Вообщем такая проблемма.
Добавил сайт в вебмастер гугл, залил карту xml, все как нужно.
Через несколько часов выдало ошибку: "Некоторые важные страницы блокируются в файле robots.txt. Дополнительные сведения".

Кто то может помочь исправить?

Для тех кто в этом разбирается, отредактировать файл robots.txt., это минута времени.
Я могу заплатить.