Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。 X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。 [参照] Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster’s Control and Weather Update 利用できる設定値は、HTMLのmetaタグで利用するものと同じです。 1. X-Robots-Tag: NOINDEX Yahoo!の検索結果にURLを表示させたくない場合 2. X-Robots