[対象: 中〜上級] 調べる機会があったので忘備録も兼ねた「robots.txtの“Allow”の使い方」の解説が今日のテーマです。 robots.txtは検索エンジンのクローラのアクセスを拒否するために使用します。 英語で「許可しない」を意味する“Disallow”という命令をアクセスを拒否するために用います。 たとえば、以下のようにrobots.txtに記述したとします（ユーザーエージェントを指定する記述は省略してます）。 Disallow: /private/ この場合は、ルートディレクトリのなかにある「private」ディレクトリに含まれているすべてのコンテンツへのクローラのアクセスをブロックできます。 ところが英語で「許可する」を意味する“Allow”という命令をrobots.txtで使用することができます。 よくあるのが次のようなrobots.txtです。 User-Agent

[対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが本当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで

[レベル：上級] 今日は、X-Robots-Tagの使い方・書き方について説明します。 新しい情報でもなんでもないのですが、調べごとをしていてたまたまX-Robots-Tagに遭遇して、きちんと記事にしていなかったことに気付き忘備録の意味も兼ねて書いておくことにします。 X-Robots-Tagとは、クローラの動きを制御するときに用いるrobots meta タグを、HTMLドキュメントではないコンテンツのHTTPヘッダーに含めるために使う仕組みです。 たとえば、ウェブページを検索結果に表示させたくないときは、noindex robots meta タグを使います。 しかしXMLサイトマップやPDFドキュメントにはmetaタグはありません。 したがってnoindex robots meta タグを記述するとができません。 こんなときに使うのが、X-Robots-Tagです。 XMLサイトマ

[レベル：初級] 今日は、検索エンジンのロボットの動きを制御する「robots meta タグ」の記述の仕方について説明します。 robots meta タグにはいくつか種類がありますが、一般的によく使われる、noindex・nofollow・noarchiveの3つのrobots meta タグに関しては以前に詳しく説明しています。 十分に理解していないと思えば、併せて読んでください。 ちなみに日本のYahoo!では、noydir の robots meta タグはサポートが終了しています。 なお原則的にGooglebotを対象にした話なので、他の検索エンジンのロボットでは違う動きをするかもしれません。 1. 複数の属性値はまとめられる 属性値が複数あるときは、ひとまとめにできます。 <meta name="robots" content="noindex" /> <meta name=

検索エンジンのロボットのウェブページへのアクセスするを制御するときには、robots.txtやrobots meta タグを利用します。 robots.txtもrobots meta タグのどちらもロボットのユーザーエージェント名を特定して指示ができます。 しかしGoogleでは、ユーザーエージェント名を指定せずにすべてのロボットに対して指示した場合と、Googlebotを明示的に指定した指示した場合において、それらの指示が互いに反するときの動作に違いがあるようです。 Google Webmaster Centralの公式ヘルプフォーラムでGoogle社員のJohnMu(Johm Mueller: ジョン・ミューラー氏)は次のようにコメントしています。 For the robots meta tag, the effects are cumulative with regards to t

+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1

仕事でとあるサイトの新規構築をしていて、サイトマップインデックスファイルを作ろうと思ったのですが、これ robots.txt に普通の sitemap として記述していいのかどうかわからなかったんですよ。 検索とかしてみたのですが日本語の情報がなく。 あ、念のために解説しておくと、検索エンジンのクローラー(ロボット)にサイト構造を伝えるXMLサイトマップっていうのがありまして。 ページ数が多いサイトなんかは、サイトマップインデックスファイルっていうXMLサイトマップの目次みたいなのを作るんですわ。 目次の目次って何だよって感じですが、まあ、ページ数が多いんだから仕方ないんですわ。 Googleの ウェブマスター向けヘルプとか読んでも「 robots.txt には複数のsitemapを記述できるよ」みたいなことだけ書いてある。それをまとめてサイトマップインデックスファイルにした場合はクロール

今日の記事は、Search Engine Journalで知った、いつにもまして“玄人（クロウト）”好みなテクニックです。 robots.txtで利用できる”Noindex:”という知られていない記述です。 まず、簡単にrobots.txtのおさらいをしておきましょう。 robots.txtは、サーチエンジンのロボットのアクセスをブロックしてクローリングを拒否するために使います。 アクセスを禁じますから、インデックスされることはなく、当然SERPにも現れません。 メンバー専用エリアのように外部に公開したくないページに用いられます。 たとえば、次のように記述したrobots.txtを設置していたとします。 User-Agent: * Disallow: /members/ 「www.suzukikenichi.com/memnbers/」と、これより下のディレクトリ（フォルダ）とファイルには

αSEO トップ > SEO FAQ > Google FAQ > どうしても検索結果には表示させたくないページがあります。ただ、必要上サイト内から削除することはできません。検索結果に該当ページを表示させない方法はないでしょうか？ SEO FAQ ページそのものを削除せずに、かつ、検索結果には表示させないようにするには以下の4つの方法があります。 meta要素にインデックスを削除させる記述やキャッシュさせない記述を行う robots.txtに該当ページをインデックスさせない記述を行う Googleウェブマスターツール、Yahoo!検索 サイトエクスプローラーから削除申請をする .htaccessファイルを置き、アクセス制限をかける 1．meta要素にインデックスを削除させる記述やキャッシュさせない記述を行う 該当ページのmeta要素に以下のような記述を行います。 meta要素の記述例 <M

というわけで、再び負荷を下げる方法を模索した、戦いの記録。 1.MySQLの設定を変更して高速化 2.Zend Optimizer 3の導入 3.ionCube PHP Acceleratorの導入 4.テンプレートの見直しでクエリーを減らす 5.robots.txtでクロールする間隔を制御する 6.MySQLの設定を負荷を低くする設定に変更 7.キャッシュを有効化する 前回解説した「GIGAZINEのLoadAverageを「27」から「2」へ下げた方法」から約3週間後、6月20日（火）の夜、気がつくと負荷の15分平均は「25」をコンスタントに吐き出すようになり、さらに訪問者は急増、ついに6月28日（水）12時45分、負荷対策の効果がほとんど出ないまま、LoadAverage15分平均は「86」に…。 何か対策が根本的に間違っているのだろうか？それとも、もうGIGAZINEサーバのハード

検索エンジンロボットを制御するために、robots.txtの設置やsitemap.xmlの生成、meta情報の設定をされているかと思います。 その中で、設定を間違えやすいものや、どのように解釈して対応するべきか判断が難しいものをいくつまとめてみました。 ■meta keywords 既にSEOでは重要ではない、というのが一般的な解釈になっていますが、このmeta keywordsに対しては、GoogleとYahoo!では対応に違いがあります。 Googleは下記のように言っています（意訳）。 ページとしては使えるが、Googleでサポートしていないので無視する Googleがサポートするメタタグ 一方Yahoo!は下記のように言っています。 メタタグ（<meta name="keywords">）を使い、ウェブページに関連するキーワードをリストアップします。サイト全体に当てはまるキーワード

前回の記事に続き、モバイルSEOの具体的な対策を解説していこう。 文：中島 淑史（アウンコンサルティング株式会社） 監修：棚橋 繁行（アウンコンサルティング株式会社 取締役 兼 常務執行役員） ケータイもPCも検索エンジンのシステムに大きな違いはない。クローラがウェブを巡回してページを読み込むとインデックスが作成され、キーワードが投げられるたびにアルゴリズムによって順位が決まり、検索結果が返される仕組みだ。だが、サイト側には主に5つの違いがある。それぞれの違いと、SEOでのポイントを解説しよう。ケータイとPCの違いは主に以下の5点だ。 公式サイト・一般サイトの区別キャリア／端末の識別IPアドレスによるアクセス制限ケータイ特有の記述言語と構造の違いケータイ検索エンジンの仕様(1) 公式サイト・一般サイトの区別ポイント PCでは、メーカーやアーティストなどが運営する公式サイトはあっても「キャリ

検索エンジンのロボットのアクセスを制御して、特定のページをインデックスさせないようにする手段の一つとして、robots.txtを用いる方法があります。 通常、特にロボットからブロックしたいコンテンツがないときは、robots.txtは不要です。 robots.txtが存在しなければ、すべてのファイルにアクセスしてインデックス（しようと）します。 ところが、robots.txtが存在しないと、Goolgebotにクローリングされず、「サイト全体」がGoogleのインデックスから消えてしまうことがあるという恐ろしい事実がGoogle Groupsのスレッドで、明らかになりました。 ウェブページを閲覧するときは、Internet ExplorerやFirefoxのようなブラウザと、ApacheやIISというウェブサーバーの間でHTTPと規格に従った通信が行われます。 HTTP通信の状態として、H