В обновленном тексте рекомендаций для вебмастеров от Google указывается на то, что установленный с помощью robots.txt запрет на сканирование файлов JavaScript и CSS напрямую вредит качеству визуализации сайта алгоритмами гугла, что может неблагоприятно сказаться на ранжировании. Это требование связано с изменением процесса сканирования и индексации сайтов: если раньше поисковые роботы Google учитывали только текстовый контент, то с недавнего времени система визуализирует страницы, используя элементы JavaScript и таблицы стилей CSS.