#SEO 20 : Robot.txt ไฟล์ที่บอก Bot ให้เก็บข้อมูลไปไว้บน Google
โดยปรกติเเล้วเวลา Bot จาก Google, Yahaoo เเละอื่นๆวิ่งเข้ามาที่เว็บเราเพื่อทำการมองหาลิงก์ (Link) หรือ ไฟล์ต่างๆ สิ่งเเรกที่ Bot จะเจอก่อนคือ ไฟล์ Robots.txt ครับ เจ้า Robot.txt เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูลที่ไหน จนกระทั่งบอกทางไปของเจ้า sitemap ของเรานั้นเองขั้นตอนสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt เเละข้างในไฟล์เขียน ส่วน URL ที่นิยมใช้กันสร้าง Robot.txt คือ /robot.txt ครับ เช่น smokybike.com/robot.txt เป็นต้น
User-agent: *
Disallow: /adminSitemap: htts://smokybike.com/sitemap.xml
User-agent: ให้บอทตัวไหนวิ่งเข้ามาเก็บบ้าง ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง
Disallow: ไม่ต้องใส่อะไรหลังคำสั่ง Disallow: เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด เช่น ผมไม่อยากให้เข้าไปเก็บหน้า smokybike.com/admin ผมจะใส่ /admin ครับ
Sitemap : ใส่ URL ของ Sitemap ที่อยู่ในเว็บคุณลงไปครับ ถ้าไม่รู้จัก Sitemap คืออะไรให้อ่าน แผนผังเว็บไซต์ (Sitemap) ก่อนนะครับ
Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ
