目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロール禁止にしたい!

内部検索スパム サーチコンソールの未登録件数

最近サーチコンソールの未登録件数が異常に増えすぎて50万件以上の内部検索スパムがnoindexで除外されていた事に気付きました。
実際にはGoogle検索にインデックス登録されていないので問題は無いのですが、かなり目障りなのでRobots.txtでクロールをブロックしてしまいます!

目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロールさせたくない!

増え続ける内部検索スパム SEO To66.Asia

内部検索スパム サーチコンソールの未登録件数
久しぶりにgoogleサーチコンソールを眺めていると、ページのインデックス登録で未登録件数が異常に増え続けている事に気付きました。
ほとんどの場合はnoindexタグでインデックス登録自体を除外できているものの、一部はクロール済み – インデックス未登録となっております。

これは内部検索スパムと言って、内部検索フォームに様々な文字列を入力してクローラーに巡回させるスパムらしいのです。

ほとんどの場合はcontent=”noindex”でGoogle検索にインデックスをさせないように制御をできるものの、metaタグにnoindexを入れていないウェブサイトは、Google検索に内容の無いページが検索登録されてしまっている状況です。

内部検索スパムをnoindexでブロックした件数
URLに決まったパターンがあれば特定のURLにcanonicalを入れたり404ページにしたり出来るのですが、ドメイン直後の文字列に決まったパターンがなく、ランダムな文字列を入れてその後にギャンブル系の文字列を入力しているのです。

黒幕は中華系のSEO業者らしいのですが、登録されたページにはギャンブル系の文字列に関する内容のページが存在しておらず、内部検索スパムをする意図も全く分からないものとなっておりますので、ほぼ嫌がらせに近いのではないかとも言われているようです。

ほとんどの場合は文字列の中に[To66.Asia]が入っているのが特徴ですが、ドメインの後にランダムな文字列が入ってから[To66.Asia]が入っているので、悩みに悩んでどうやってクローラーの巡回を止めるか考えてみました。

WordPressは仮想Robots.txtを編集する仕組みが必要

WordPressテーマにTCDのGENSENを使用しているのですが、noindexとnofollowでクローラーを制御する仕組みが無く、プラグイン頼りでWP Custom Noindex Nofollowをインストールしておりますので、検索フォームの制御はnoindex化しかできません。

つまり、このままでは50万件近い内部検索スパムのURLにクローラーが巡回してしまうのです。

これを止めてしまおうという事で、Robots.txtで特定文字列が入ったURLにクローラーが巡回しないようにすれば良いのではないかと考えました。

Robots.txtは通常ディレクトリ直下に配置されますが、WordPressは仮想Robots.txtが生成される仕組みになっているため、このファイル自体がサーバー内に存在しておりません。

つまり、仮想Robots.txtの内容を読み込んで編集できるようにしないといけないのです。

WP Robots Txtをインストールしてクローラーの巡回を停止させる

ワードプレスプラグインWP-ROBOTS.TXTのインストール
ワードプレス用プラグインのWP Robots Txt By George Pattihisをインストールして、有効化します。
有効化をしたら、設定の表示設定の欄にRobots.txt Contentという項目が追加されますので、これでWordPressの仮想Robots.txtを編集できるようになります。

Disallow: *To66.Asia*を仮想Robots.txtに入力
Disallow: *キーワード*をRobots.txtに書き込むと、このキーワードが入ったURLへのクローラーの巡回を停止させられる事が出来るはずです。
Disallow: *to66.asia*でもクローラーの巡回をブロック出来ると思いますが、念のためDisallow: *To66.Asia*も入力して、大文字と小文字の両方を仮想Robots.txtに書き込みました。

ちなみにXMLサイトマップのURLが記載されていないのは、XMLサイトマップ作成プラグインのGoogle XML Sitemaps Generator Proが自動で出力しているためで、実際に出力しているRobots.txtにはXMLサイトマップのURLが入っております。
実際に読み込ませたいXMLサイトマップのURL以外をサーチコンソールに認識せないためにもWP Robots Txtは有効なのです。

サーチコンソール robots.txt によりブロックされました
これで様子を見続けておりましたが、「クロール済み – インデックス未登録」と「noindexタグによって除外されました」の項目にはTo66.Asiaが入った新たなURLは表示されなくなりました。
しかし、インデックス未登録の項目に「robots.txt によりブロックされました」の項目が追加されてしまったので、未登録が増え続ける事自体の根本的な解決には至っておりません。

サーチコンソールに表示される項目が変わらない限り増え続けるのだと思いますが、クローラーの巡回自体は停止させられていると思うので、しばらくこのまま様子を見ていこうと思います。

この内部検索スパムは何をしたいんでしょうね。意図があってやっているのか、ただ単に頭が悪いだけなのか・・。この文字列を好みそうな人同士で勝手にやってくれれば良いけど、関係ないウェブサイトまで巻き込むのは非常に迷惑です。



YouTubeチャンネルの紹介

Youtubeチャンネルでは、日本国内各地の美しい四季の風景、ネイチャービデオ、花火大会やイベント・お祭り等、クリスマスイルミネーションや夜景、星景タイムラプス映像、Vlog、飛行機や新幹線などの乗り物等の映像をライブラリー化し、世界各地に発信しております。
また、不定期で花火大会やイベントのライブ配信も実施中!
下のYouTubeアイコンからチャンネルを表示していただき、チャンネル登録後に通知をオンにしていただくとライブ配信の通知が受け取れます!
もちろん動画URLや埋め込みタグを使用したウェブサイトへの埋め込みやSNSでのシェアもOKです!



最新の更新情報を受け取れる各種SNSを運営中!フォローや登録はこちら!


関連記事

  1. 記事の最後に定型文を自動表示するWord Pressプラグイン!Add Widget After Content

    記事の最後に定型文を自動表示するWordPressプラグイン!Add Widget After Content

  2. Ultimate XML Sitemaps Generator for Googleのインストール

    動画と写真のXMLサイトマップもインデックス可! Ultimate Google XML Sitemaps Generator Proのレビュー

  3. WordPress ブログ記事を書き始めて8ヶ月目のアクセス数や収益は?

    WordPress ブログ記事を書き始めて8ヶ月目のアクセス数や収益は?

  4. 閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法 サムネイル画像

    閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法

  5. Google サーチコンソール サイトマップ送信

    WordPressでブログ開設して1ヶ月目の記事数、アクセス数や収益は?

  6. Wordpressでブログ開設して2ヶ月目の記事数、アクセス数や収益は?

    WordPressでブログ開設して2ヶ月目の記事数、アクセス数や収益は?

  7. WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

    WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

  8. WordPress プラグイン Google XML Sitemapsの設定・使用方法

    WordPress プラグイン Google XML Sitemapsの設定・使用方法

  9. Word Pressプラグイン Your Channel

    Your Channel | Youtubeチャンネルを埋め込むWordPressプラグイン

  10. udinra sitemap proの購入

    Udinra Sitemap pro|WordPress画像・動画サイトマップ作成プラグインの使用方法

  11. WordPressで記事を書いて3か月目 100記事のPV数やアドセンス収益を公開!

    WordPressで記事を書いて3か月目 100記事のPV数やアドセンス収益を公開!

  12. WordPress6.5とXアクセラレータの不具合

    WordPress 6.5 Redinaアップデート!XアクセラレータVer.2で504の不具合

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

  1. BIUBLE 自動車用ジャンプスターターMサイズを補機バッテリーに接続

    BIUBLEジャンプスターター | 自動車のバッテリー上り…

  2. 本荘川まつり花火大会|6,000発の花火が彩る由利本荘花火大会の一つ|秋田県由利本荘市

    子吉川を彩る第72回本荘川まつり花火大会は、2024年7…

  3. 2023年 神明の花火 グランドフィナーレ

    神明の花火は2024年8月7日に開催!有料観覧席は残り…

  4. 2022年 わたりふるさと夏まつり花火大会のミュージックワイドスターマインの写真

    鳥の海公園で壮大な花火が楽しめる! わたりふるさと…

  5. 田瀬湖湖水まつり 水・空中花火大会

    田瀬湖湖水まつり 水・空中花火大会は、2024年7月27…

  6. ぎおん柏崎まつり海の大花火大会 尺玉100発一斉打上げ

    ぎおん柏崎まつり海の大花火大会を2024年7月26日に開…

  7. 新潟県上越市 高田城址公園観蓮会

    東洋一のハスの花の名所 高田城址公園観蓮会は、2024…

  8. 宮城県登米市 伊豆沼はすまつり

    遊覧船で蓮の花を観賞できる伊豆沼・内沼はすまつり…

  9. レーザーショーと花火が楽しめる2023年 忍野八海祭りの花火大会を観覧してきた! | 山梨県忍野村

    レーザーショーとの競演!忍野八海祭り花火大会は、2…

  10. 能代港疫病退散サプライズ花火

    能代の花火は2024年7月20日に開催!東北唯一の正3尺…

楽天トラベルのバナー画像

よく読まれている人気記事ランキング




Amazonトップページバナー
楽天モバイルアフィリエイト