目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロール禁止にしたい!

内部検索スパム サーチコンソールの未登録件数

最近サーチコンソールの未登録件数が異常に増えすぎて50万件以上の内部検索スパムがnoindexで除外されていた事に気付きました。
実際にはGoogle検索にインデックス登録されていないので問題は無いのですが、かなり目障りなのでRobots.txtでクロールをブロックしてしまいます!

目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロールさせたくない!

増え続ける内部検索スパム SEO To66.Asia

内部検索スパム サーチコンソールの未登録件数
久しぶりにgoogleサーチコンソールを眺めていると、ページのインデックス登録で未登録件数が異常に増え続けている事に気付きました。
ほとんどの場合はnoindexタグでインデックス登録自体を除外できているものの、一部はクロール済み – インデックス未登録となっております。

これは内部検索スパムと言って、内部検索フォームに様々な文字列を入力してクローラーに巡回させるスパムらしいのです。

ほとんどの場合はcontent=”noindex”でGoogle検索にインデックスをさせないように制御をできるものの、metaタグにnoindexを入れていないウェブサイトは、Google検索に内容の無いページが検索登録されてしまっている状況です。

内部検索スパムをnoindexでブロックした件数
URLに決まったパターンがあれば特定のURLにcanonicalを入れたり404ページにしたり出来るのですが、ドメイン直後の文字列に決まったパターンがなく、ランダムな文字列を入れてその後にギャンブル系の文字列を入力しているのです。

黒幕は中華系のSEO業者らしいのですが、登録されたページにはギャンブル系の文字列に関する内容のページが存在しておらず、内部検索スパムをする意図も全く分からないものとなっておりますので、ほぼ嫌がらせに近いのではないかとも言われているようです。

ほとんどの場合は文字列の中に[To66.Asia]が入っているのが特徴ですが、ドメインの後にランダムな文字列が入ってから[To66.Asia]が入っているので、悩みに悩んでどうやってクローラーの巡回を止めるか考えてみました。

WordPressは仮想Robots.txtを編集する仕組みが必要

WordPressテーマにTCDのGENSENを使用しているのですが、noindexとnofollowでクローラーを制御する仕組みが無く、プラグイン頼りでWP Custom Noindex Nofollowをインストールしておりますので、検索フォームの制御はnoindex化しかできません。

つまり、このままでは50万件近い内部検索スパムのURLにクローラーが巡回してしまうのです。

これを止めてしまおうという事で、Robots.txtで特定文字列が入ったURLにクローラーが巡回しないようにすれば良いのではないかと考えました。

Robots.txtは通常ディレクトリ直下に配置されますが、WordPressは仮想Robots.txtが生成される仕組みになっているため、このファイル自体がサーバー内に存在しておりません。

つまり、仮想Robots.txtの内容を読み込んで編集できるようにしないといけないのです。

WP Robots Txtをインストールしてクローラーの巡回を停止させる

ワードプレスプラグインWP-ROBOTS.TXTのインストール
ワードプレス用プラグインのWP Robots Txt By George Pattihisをインストールして、有効化します。
有効化をしたら、設定の表示設定の欄にRobots.txt Contentという項目が追加されますので、これでWordPressの仮想Robots.txtを編集できるようになります。

Disallow: *To66.Asia*を仮想Robots.txtに入力
Disallow: *キーワード*をRobots.txtに書き込むと、このキーワードが入ったURLへのクローラーの巡回を停止させられる事が出来るはずです。
Disallow: *to66.asia*でもクローラーの巡回をブロック出来ると思いますが、念のためDisallow: *To66.Asia*も入力して、大文字と小文字の両方を仮想Robots.txtに書き込みました。

ちなみにXMLサイトマップのURLが記載されていないのは、XMLサイトマップ作成プラグインのGoogle XML Sitemaps Generator Proが自動で出力しているためで、実際に出力しているRobots.txtにはXMLサイトマップのURLが入っております。
実際に読み込ませたいXMLサイトマップのURL以外をサーチコンソールに認識せないためにもWP Robots Txtは有効なのです。

サーチコンソール robots.txt によりブロックされました
これで様子を見続けておりましたが、「クロール済み – インデックス未登録」と「noindexタグによって除外されました」の項目にはTo66.Asiaが入った新たなURLは表示されなくなりました。
しかし、インデックス未登録の項目に「robots.txt によりブロックされました」の項目が追加されてしまったので、未登録が増え続ける事自体の根本的な解決には至っておりません。

サーチコンソールに表示される項目が変わらない限り増え続けるのだと思いますが、クローラーの巡回自体は停止させられていると思うので、しばらくこのまま様子を見ていこうと思います。

この内部検索スパムは何をしたいんでしょうね。意図があってやっているのか、ただ単に頭が悪いだけなのか・・。この文字列を好みそうな人同士で勝手にやってくれれば良いけど、関係ないウェブサイトまで巻き込むのは非常に迷惑です。


YouTubeチャンネルのご紹介

Youtubeチャンネルでは、日本国内各地の美しい四季の風景、ネイチャービデオ、花火大会やイベント・お祭り等、クリスマスイルミネーションや夜景、星景タイムラプス映像、Vlog、飛行機や新幹線などの乗り物等の映像をライブラリー化し、世界各地に発信しております。
また、不定期で花火大会やイベントのライブ配信も実施中!
下のYouTubeアイコンからチャンネルを表示していただき、チャンネル登録後に通知をオンにしていただくとライブ配信の通知が受け取れます!
もちろん動画URLや埋め込みタグを使用したウェブサイトへの埋め込みやSNSでのシェアもOKです!
YouTube チャンネルリンク
各種SNSを運営中!フォローや登録はこちら!
YouTubeチャンネル
Bluesky
Fecebook
threads
instagram

関連記事

  1. XサーバーのXPageSpeedの設定

    TCD GENSENのヘッダーバー検索機能が使えなくなったけど対処法を発見!WordPressサイトのトラブル!

  2. udinra sitemap proの購入

    Udinra Sitemap pro|WordPress画像・動画サイトマップ作成プラグインの使用方法

  3. WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

    WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

  4. Ultimate XML Sitemaps Generator for Googleのインストール

    動画と写真のXMLサイトマップもインデックス可! Ultimate Google XML Sitemaps Generator Proのレビュー

  5. サーチコンソールのエラー

    Word PressのXMLサイトマップ作成プラグイン!Sitemap Pro by BestWebSoftで確実にインデックス登録!

  6. WordPressでブログ記事を書いて5か月目 157記事のPV数や収益を公開!

    WordPressでブログ記事を書いて5か月目 157記事のPV数や収益を公開!

  7. Wordpressでブログ開設して2ヶ月目の記事数、アクセス数や収益は?

    WordPressでブログ開設して2ヶ月目の記事数、アクセス数や収益は?

  8. Word Pressプラグイン Your Channel

    Your Channel | Youtubeチャンネルを埋め込むWordPressプラグイン

  9. エックスサーバー 2024年のハードウェア増強

    Xサーバーがハードウェアを増強したので、新サーバー簡単移行でお引越し!

  10. WordPress ブログ記事を書き始めて8ヶ月目のアクセス数や収益は?

    WordPress ブログ記事を書き始めて8ヶ月目のアクセス数や収益は?

  11. 肘をつき悩む女性 [モデル:Lala*]

    WordPress ブログ記事を書き始めて11ヶ月目のアクセス数は?収益は?SEOや書き方も!

  12. WordPress プラグイン Google XML Sitemapsの設定・使用方法

    WordPress プラグイン Google XML Sitemapsの設定・使用方法

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

  1. 秋田のあじさい寺・雲昌寺の参道

    アジサイ寺・雲昌寺で2024年6月8日から「あじさい観…

  2. 秋田県大仙市 余目公園の桜

    桜の名所 余目公園 (あまりめこうえん) | 秋田県大仙…

  3. 宮城県栗原市一迫山王史跡公園あやめ祭り

    一迫山王史跡公園あやめ祭りを2024年6月13日から開催…

  4. 多賀城跡あやめ園 ライトアップ

    多賀城跡あやめまつりは、2024年6月15日から開催!光…

  5. 新潟県三条市 しらさぎ森林公園 花菖蒲まつり

    2024年6月10日から開催予定!しらさぎ森林公園で花菖…

  6. 五十公野公園 しばたあやめまつり

    五十公野公園 しばたあやめまつりは、2024年6月12日…

  7. おながわみなと祭り 海上花火大会 芳賀火工 音楽花火

    海上獅子舞や花火大会が行われる、おながわみなと祭…

  8. Flying Scriptsで高速化する前後のPagespeed Insightsのスコア比較

    WordPress高速化 アドセンス自動広告等のJavaScript…

  9. クリニカADNSハブラシ4列コンパクトふつう

    歯磨き時のブラッシングの圧力が強すぎる人のチェッ…

  10. SmallRig ARRI互換ダブテールプレート -3770とBMPCC6Kと500mmレンズ

    動画撮影時のブレを抑えてカメラの脱着も簡単なSmall…

よく読まれている人気記事ランキング

YouTube チャンネルリンク