別のサイトにジャンプします。
よろしければ、下記のリンクをクリックして下さい。
https://grow.itxoft.com/understanding-robots-txt-itxoft-16176