初めてのワードプレス(16)検索に表示したくない画像がある場合の対処法(robots.txtの作成と設置方法)

地蔵川と居醒の清水

robots.txtを作成することで、検索エンジンにどこまでクロール(巡回)してほしいかを詳細に記述できます。

例えば画像検索に一切写真を表示されないようにする(画像検索に引っかからないようにする)とか、プロフィールの顔写真だけ画像検索されないようにするといった指定ができます。

このほか、検索エンジン向けにXMLサイトマップの場所を記載することができます。XMLサイトマップとは、検索エンジン(Google等)のクローラー(ロボット)が読める形のサイト全体図です。どこにどんな記事があるかクローラー向けに書いておくことで、検索にかかりやすくするのが目的です。

robots.txtによる制御は強制的な力を持つものではありませんが、筆者の経験上、少なくともGoogleとTwitterのクロ-ラーはrobots.txtに従ってくれています。

クロールとは、検索エンジン内のシステムであるクローラ(ロボット)が一つ一つのサイトを巡回し、サイトの情報を収集すること
クロールとは – Webマーケティング用語|ferret [フェレット]

既にGoogle 検索に出ている画像の削除依頼:Google Search Consoleを使うことで削除できます。

◆筆者の経験談:グーグル検索(キャッシュ)に残っているだけの場合でも、Google に削除依頼できます(パクリ記事の存否不問)⇒https://katata.info/2016/07/copyright-problem/

上記記事後半の「記事自体は残っている場合の、キャッシュ削除依頼方法」の箇所に方法を図示しています。

 

写真:「夏の醒井宿とバイカモの花(滋賀県米原市)」(2016年8月26日朝撮影)より、「地蔵川と居醒の清水」

 

目次
1.robots.txtの作成
1-1.robots.txtの作成方法
1-2.robots.txtの記載例
2.robots.txtの設置方法
3. robots.txtの送信と確認方法(robots.txt テスター)

 

1. robots.txtの作成

1-1.robots.txtの作成方法

テキストエディタで作成できます。Windowsのメモ帳でもOKです。
robotsという名前で、テキスト形式(.txt)で保存して下さい。
robot.txtではありませんので、ご注意下さい。

 

1-2.robots.txtの記載例

筆者の経験上、画像検索のクローラーを拒否しても、Yahoo!やGoogleでの通常検索に特に影響は出ていません。

少なくとも2016年末に問題化するまでは、日本国内ではグーグル画像検索が悪用されてキュレーションサイト等の写真盗用の温床になってきた経緯があります。ブログを運営していて写真盗用に困っている方は、グーグル画像検索のクローラーを拒否することをお勧めします。

    記載例(※1)では、

  • wp-login.php等ワードプレスのセキュリティに関わるものはクロール不許可、css(スタイルシート)は許可、jpg等の画像は不許可
  • グーグル(Googlebot)は許可するが、グーグルの画像検索(googlebot-Image)は不許可(※2)=グーグル画像検索だけ拒否
  • Twitterに投稿した場合、Twitterカードの画像表示許可(画像部分がno photo状態になるのを回避)(※3)
  • Baiduspider(baidu)以下の検索エンジン(※4)は不許可としています。
User-agent: *
Disallow: /blog/wp-login.php
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Allow: /blog/wp-includes/css/
Allow: /blog/wp-includes/js/
Disallow: /blog/wp-content/
Disallow: /blog/*.php$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.JPG$
Disallow: /*.gif$
Disallow: /*.png$

User-agent: Googlebot
Allow: /blog/wp-content/

User-agent: Googlebot-Image
Disallow: /blog/wp-content/

User-agent: Twitterbot
Allow: /blog/wp-content/

User-agent: Baiduspider
Disallow: /

User-agent: capture
Disallow: /

User-agent: ekaki3.net
Disallow: /

User-agent: ichiro
Disallow: /

User-agent: illust
Disallow: /

User-agent: image
Disallow: /

User-agent: Mail.Ru
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: MLBot
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: yeti
Disallow: /

User-agent: yodao
Disallow: /

User-agent: youdao
Disallow: /

User-agent: yrspider
Disallow: /

Sitemap: https://example.com/sitemap.xml

WordPressをインストールしたフォルダ名が「blog」の場合です。/blogの箇所をご自分の場合に直して下さい。
SitemapのURLについては、ご自分のサイト名に置き換えて下さい。

XMLサイトマップの作成方法については次回掲載予定です。

    注記

  • ※1:一切の検索エンジンへの登録を禁止する場合は、記載は
    User-agent: *
    Disallow: /

    この2行だけ記載すればOK。
  • ※2:記載例で、グーグルの画像検索(Googlebot-Image)を許可したい場合は
    User-agent: Googlebot-Image
    Allow: /blog/wp-content/
  • ※3:記載例で、Twitterカードに画像を表示したくない場合は
    User-agent: Twitterbot
    Allow: /blog/wp-content/
    の2行を削除
  • ※4:実際にこの10年間に当サイトにアクセスがあった検索エンジンで、歓迎しない(ご退散願いたい)ものを列挙。

Twitterカードに画像を表示しない場合:no photo状態(画像表示不許可
twitter-no-photo

 

ウェブ魚拓を拒否したい場合(下記を記述)

User-agent: Megalodon
Disallow: /

 

Internet Archiveを拒否したい場合(下記を記述)

User-agent: ia_archiver
Disallow: /

 

robots.txtを設置する場合は、強制力のある.htaccessファイルと併用すると効果的です。
初めてのワードプレス(15)画像の直リンク禁止と自動コピーサイト作成阻止法(.htaccessで出来る盗用対策)

 

2. robots.txtの設置方法

FTPソフトまたはサーバーのFTP機能を使って、robots.txtをサーバーにアップロードして下さい。

robots.txt ファイルのアップロード先は、そのサイトのトップになります。WordPressだと、WordPressをインストールしたルート直下(例えばwp)です。

root-folder

FTPソフト等の使い方とアップロード方法は、下記記事で掲載しています。
初めてのワードプレス(10).htaccess/TeraPad/FTPソフト

 

3. robots.txtの送信と確認方法(robots.txt テスター)

Googlebotについては、Google Search Consoleグーグルサーチコンソール旧・ウェブマスターツール)を使って送信と確認をすることができます。

グーグルサーチコンソールについては次回掲載します。

↓追記:掲載しました。↓
初めてのワードプレス(17)より、Google Serach Cosole活用法:robots.txt テスター


次回(第17回)は、検索エンジン対策(XMLサイトマップとGoogle Search Console)の予定です。


◆初めてのワードプレス(全20回)目次

1)独自ドメイン取得
2)レンタルサーバーの選び方(必要な条件やスペックを考えてみた)

3)サーバーを借りた後、何をどうすればいいか(手順)
4)WordPressをインストールする

5)Edit Author Slugでユーザー名を非表示にする
6)メンテナンス中表示にするComing Soon Page & Maintenance Mode by SeedProd

7)高機能プラグインJetpackの設定方法
8)Akismet Anti-Spamの設定とAPIキー取得方法

9)ワードプレスの設定とテーマの変更・カスタマイズ
10).htaccess/TeraPad/FTPソフト

11)WordPressをドメイン直下に表示する方法
12)固定ページの作り方/レイアウト/メニュー表示(問い合わせページを例に)

13)WordPressを使った写真ブログの作り方
14)訪問者に配慮しつつ画像文章の盗用対策になるプラグイン3選

15)画像の直リンク禁止と自動コピーサイト作成阻止法(.htaccessで出来る盗用対策)
16)検索に表示したくない画像がある場合の対処法(robots.txtの作成と設置方法)(今回)

17)検索エンジンに登録する方法(XMLサイトマップとGoogle Search Console活用法)
18)入れておくといい基本的プラグイン20選

19)圧縮とキャッシュの設定、ログイン画面にアクセス制限をする(.htaccessで出来るSEOとセキュリティ対策)

20)今後の注意点6選(更新・PHPバージョン・バックアップ・パーミッション変更・WordPressの基本形・データベース接続確立エラー)

 

◆番外編(画像4600枚超える写真ブログ、10年目の試行錯誤)

写真ブログの画像だけMixHostから別サーバー(スターサーバー)に移してみました(2017/9/5)

スターサーバーで無料の独自SSLを設定した手順(ネットオウル提供のサブドメインでも可能)(2017/9/5)

レンタルサーバーの話(2017年夏):ロリポップ!無料独自SSL対応、エックスサーバーSSD採用、そしてスターサーバー統合(2017/8/11)

写真サイトに使えそうな新しい独自ドメインが次々登場~.camera.photoから.studioまで(2017/7/3)

10年続く写真ブログ、サーバーをファイアバードからmixhostへお試し移転中です(2017/6/30)

 

◆無料ブログからワードプレスへの移転(無料ブログ側の設定)

無料ブログからWordPressへの確実な引越し~リダイレクトできない無料ブログで行った3つのこと

 

にほんブログ村 写真ブログ 地域の歴史文化写真へ にほんブログ村

滋賀県ランキング



コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)