特定のURLをインデックス削除してクローラーからブロックする方法。

Tweet

Pocket

特定の記事を別ドメインで移すために元サイトのURLをインデックスから削除して、ブロックしたときのお話。

この方法を使うときの状況としては
・元のURLから別のサイトに記事を移す
・インデックスさせるのは別のサイトのURL
・元のURLの記事は削除しないけれど、コピーコンテンツとして認識されないためにクローラーのインデックスをブロックする。

移そうとした元記事はこちら：
にんにく種入りラーメンは食べたことは？ないなら是非湖南市の拉麺八ッパを！



URLのインデックス操作は、Googleウェブマスターツールから行います。
まずは元URLの管理画面にログインして、左側のURLの削除から削除したいURLを指定します。
パラメーターは「検索結果とキャッシュからページを削除」を選んで、リクエストを送信。




リクエスト送信後はステータスが保留中となるので、リクエストが承認されるまで待ちます。
今回の場合、リクエストを送信してから1日ぐらいで承認されていました。



続いて、元URLをクローラーからブロックします。
なぜこの作業を行うのかというと、時間が経つと削除したURLがまたインデックスされてしまうのを防ぐためです。

書き方としては Disallow:URL名。
右下の送信ボタンを押すと、robot.txtのダウンロードができます。



ダウンロード後、送信を押します。




すると、robot.txtの最新バージョンが書き換えられました。




またしっかりブロックが作動しているか確認する為に、robot.txtテスターの下にある、URL入力欄で、URLを指定してテストを実行。





問題なく作動していれば、【ブロック済み】として出てきます。

記事を新しいサイトに移して、なおかつ元記事のURLを削除させたくない場合はこの方法がオススメ。

最新投稿された記事はいかがですか？

• 南野どうなる?2015年冬から4大リーグにいったザルツブルクの選手をリストアップ！
• 毎日25分のオンライン中国語レッスンサイトまとめ。結構サイトによって金額と時間が違ってます。
• 中国語で覚えておきたい接続詞まとめ。
• [サッカーまとめ]2007-2016に欧州のクラブチームに移籍して日本人選手リスト。