Коротый день мучаюсь вопросом, каким же образом можно сотворить катру форума в котором 8 тысяч тем.
Вчера поставил весь сайт краулиться прогой GSiteCrawler. Хороше продуманный интерсейс, куча наворотов внутри, таких как фильтрация ссылок с сессиями.На утро обнаружил, что он нихрена толкового и не накраулил. А так хочется иметь под рукой, что то, что будет постоянно работать и не будет требовать от меня усилий по обновлению.
Собрал я наконец то сайтмап, именно с помощью указаной проги, гемора с ней конечно куча, но сделал он мне сайтмап на 15000 ссылок. Скормил я все это дело гуглятине, а он доволен, лазает себе по карте, индексирует.
Через месяц еще раз сделаю карту, посмотрим какие изменения будут.
upd:
Ничего хорошего с помощью програм не вышло. Все переделал, да так, что самому аж приятно. Почитать можно в этом посте «phpbb3+google xml sitemap and html sitemap+permanent links+rss»
Я для этих целей создал собственноручно скрипт, который при каждом посещении страницы форума складывает ссылки в базу данных. Далее из базы данных просто формируем отдельным PHP скриптом сам файл карты сайта. Например если количество хитов на вашем сайте 5000, то за эти 5000 хитов можно просканировать 15000 страниц.
это решает проблему если скрипт установлен с дня основания форума, так как останется огромное количество неучтенных старых страниц, на которые даже роботы давно не заходят.
Этот скрипт сканирует каждую страницу и сбрасывает ссылки, которые есть на ней в базу данных. Потом он берет эти ссылки и по очереди анализирует. Если во вновь отрытой странице ссылка уже есть в базе она игнорируется, а если нет такой ссылки, то она добавляется в Базу данных и после этого анализируется. Таким образом будут просмотрены все страницы вашего сайта, на которые ссылается какая-нибудь другая страница.