GoogleSiteMap

https://www.google.com/webmasters/sitemaps/docs/ja/about.html
GoogleにどのURLをどういう風にクロールさせるか設定できる。
あと、そのURLを表示するにいたったキーワードも表示ができるらしい、へえ。

動的コンテンツや、単純なHTMLパージングではコンテンツに到達できないなんてのはザラだしな。そう言うのを更新頻度まで含めて詳細にGoogleにお願いする仕組みは必要だよな。まあ、Google自体が進めるAjax等の所為でもあるだろうが。
GoogleのクローラーはJavascriptに対応しないかなー（せめてDocument.writeだけでも