先月にデザインを変えてみたこのブログであるが、変えたのはデザインだけではない。実はサイト全体のディレクトリ体系とファイル名を大掛かりに変更した。記事をアップするごとに再構築が走り、スタティックなファイルにアクセスするスタイルのMovable Typeではかなり思いきったことをやってみた。ちょっと事情があったのだ。
その結果、Apacheのエラーログを見ると404エラー（アクセスしたURLが存在しない）がいっぱいある。多くはGoogleなど検索エンジンから来たもので、キーワード検索で私のブログ記事がヒットし、アクセスしたらリンク切れだった、というパターンだ。申し訳ないが、許してちょんまげ。
しかし、そのGoogleがちょっと凄い。Apacheのログを見ると、ここ最近ずっとこんな感じである。
66.249.67.99 - - [08/Jul/2012:22:53:57 0900] "GET /blog/hammer/archives/2010/04/03-23-00-34.html HTTP/1.1" 200 7262 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:53:58 0900] "GET /blog/hammer/archives/2008/10/16/ HTTP/1.1" 200 7889 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:54:12 0900] "GET /blog/hammer/2008/10/post-527.html HTTP/1.1" 404 5586 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:54:25 0900] "GET /blog/hammer/archives/2007/07/02-20-01-15.html HTTP/1.1" 200 8178 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:55:27 0900] "GET /blog/hammer/archives/2007/12/14/ HTTP/1.1" 200 6390 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 157.55.48.251 - - [08/Jul/2012:22:56:42 0900] "GET /robots.txt HTTP/1.1" 200 477 "-" "Mozilla/5.0 (compatible; bingbot/2.0; http://www.bing.com/bingbot.htm)" 157.55.48.251 - - [08/Jul/2012:22:57:50 0900] "GET /blog/hammer/2006/10/post-1815.html HTTP/1.1" 404 5586 "-" "Mozilla/5.0 (compatible; bingbot/2.0; http://www.bing.com/bingbot.htm)" 66.249.67.99 - - [08/Jul/2012:22:58:36 0900] "GET /blog/hammer/archives/2009/08/28-08-53-22.html HTTP/1.1" 200 6562 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:59:28 0900] "GET /blog/hammer/archives/2006/11/21/ HTTP/1.1" 200 8162 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:22:59:54 0900] "GET /blog/hammer/2008/06/post-469.html HTTP/1.1" 404 5586 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)" 66.249.67.99 - - [08/Jul/2012:23:02:22 0900] "GET /blog/hammer/archives/2007/09/21/ HTTP/1.1" 200 7141 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)"
ものすごい勢いでGooglebotがクロールに来ている。１分に１回かそれ以上の頻度である。まるで根こそぎ持っていかれそうな感じ。まあ、Googleなら持っていかれても いいんだけどね。怪しい国の怪しいbotはrobot.txtではじいているし。今のところrobot.txtに従わない行儀悪いbotは来てなさそう。
上のログにはこっそりbingbotも控えめにいるのだが、Googleの検索精度の高さの裏には、この圧倒的な力わざがあるようだ。