User-agent: * # 任意のロボット名 Disallow: / # CGI ディレクトリ Disallow: /cgi-bin/ # CGI ディレクトリ Disallow: images/ # IMAGE ディレクトリ Disallow: WWWstats/ # LOG stats ディレクトリ Disallow: Webalizer/ # LOG stats ディレクトリ Disallow: /analog/ # ANALOG ディレクトリ Disallow: Log/ # Log ディレクトリ # yahoo, gooなどの検索エンジン対策(CGI-BINの除外) # ***** http://localhost/robots.txt の内容 *****