بررسی فایل robots.txt

بررسی فایل robots.txt ایجاد فایل robots.txt ای که به درستی مطالب را مشخص کند و بخش های غیر مطلوب سایت را به خوبی پوشش دهد کار ساده ای نیست، به همین دلیل بسیاری از ساختن این فایل سر باز می زنند. گوگل وبمستر تولز با ارائه robots.txt testing tool این کار را برای افراد آسان[…]