今回は、以前、「メタタグ生成ツール」や「リダイレクト検証ツール」をご紹介させていただいたのと同じサイト、住太陽の「SEO検索エンジン最適化」（http://www.searchengineoptimization.jp/tools/）で提供されているSEOツールを紹介します。
今回は、「robots.txt解析ツール」です。
【 提供されている SEO
ツール 】 「robots.txt解析ツール」
【 URL
】 http://www.searchengineoptimization.jp/tools/robots_txt_analyzer.html
【 概要 】
このツールは、解析したいサイトのURLを入力するだけで、そのサーバ内にある「robots.txt」の内容を簡単に検証することができるツールです。
自分のサイトに設置できるソースコードも用意されています。
【
感想 】
実際にURLを入力し、解析をおこなうと、設置されている「robots.txt」のURL、サーバ名、IPアドレス、内容と項目が結果画面に表示されます。
そもそも、「robots.txt」とはどういったファイルであるかを簡単に説明します。
「robots.txt」はその名の通り、ロボットのためのファイルです。役割としては、おもにアクセスの許認可を制御するという役割を担っています。
SEO対策の観点からみると、とても大切なファイルのひとつと言えます。
検索エンジンロボットは、最初にサイトトップ直下の「robots.txt」にアクセスします。そして、「robots.txt」に記載されている、ファイルやディレクトリへのアクセス許可に従ってサイト内を巡回します。
たとえば、この「フォルダ以下はアクセスしてほしくない」「このファイルにはアクセスしてほしくない」といったような設定をおこなうことができます。
アクセスしない＝インデックスしない、ということなので、検索エンジンの結果に表示させたくない場合には有効です。
試運転のサイトや限られた相手のみにURLを教えたいサイトの場合には、こうした制御をおこなうと良いのではないでしょうか。
実際に自分の意図する通りにサイトクローラーへのアクセス許諾ができているかどうかを検証するために役立つツールだと感じました。
自分ではきちんと書いたつもりでいても、正しく認識されていなければ苦労が水の泡になってしまいますので、こうしたツールで確認をすることはとても良いことだと思います。