Скрипт обходит по списку сайтов и считает сколько страниц у сайта - сначала проходит по нему вручную оставляет только внутрение ссылки затем считает сколько страниц внутри sitemap.xml

и сохраняет в csv

python start.py

Конечно, если у вас сайт размером с Фонбетяру, скрипт не поможет но маленьких почему бы и нет =)

0.0.1 Добавлено исключение для картинок user agent google бота