robots.txt生成ツール

プリセットを選ぶか、User-agent・Allow・Disallowパスを入力して「robots.txtを生成」をクリックします。

生成されたテキストをダウンロードし、Webサーバーのルートディレクトリに配置してください。

Disallowが空の場合はそのUser-agentのクロールをすべて許可します。

Googleなど主要検索エンジンはrobots.txtを尊重しますが、全てのクローラーが従うわけではありません。