Make use of your robots.txt file to immediate search engine Net crawlers on what to crawl. A robots.txt file can prevent your website from obtaining crawled and indexed, so Verify your setup with Google’s cost-free robots.txt tester Device. Проверить техническую составляющую сайта может любой пользователь, исправление лучше передавать опытным специалистам. https://rsac.org