ไฟล์ robots.txt คืออะไร ? สร้างและใช้อย่างไร
ไฟล์ robots.txt คืออะไร ? Robots.txt คือ ไฟล์ที่ใช้บอก Search Engine Robot ที่เข้ามาเก็บข้อมูลภายในเว็บไซต์ให้ทราบว่า URL หรือ ไฟล์ หรือโฟลเดอร์ ไหนบ้าง ที่อนุญาตให้เข้ามาเก็บข้อมูลได้ หรือไม่อนุญาตให้เข้าเก็บข้อมูล การเก็บข้อมูลเว็บไซต์ของ Search Engine โดยทั่วไป เช่น Google, Bing [...]