Robots.txt: как правильно настроить и увеличить шансы на успешное продвижение сайта

Последние дни оказались очень поучительными для меня: с хорошей или плохой точки зрения. Самое главное – я узнал и прояснил для себя много нового. Например то, что большинство сайтов, которые мне попадаются, не имеют таких важных файлов, как .htaccess и robots.txt. Если провести более точную аналогию, то примерно на 3-х сайтах из 5, попадающих в мои руки для продвижения или правок, отсутствуют данные файлы или один из них. Может быть для одностраничника это и не будет являтся большой проблемой, но для многостраничного сайта и блога – будет.

О файле .htacess я уже писал. Но еще не рассказывал о robots.txt. Исправляюсь☺

Читать далее: http://ivanfisher.ru/robots-txt.html