สร้าง robots.txt สำหรับ Bluehost + WordPress
โพสโดย bird -
Tuesday, Nov 29th, 2011 at 10:08 pm -
353 views
ท่านที่ใช้ Bluehost + WordPress ลองเข้าไปดู FTP นะครับจะเห็นไฟล์พวกนี้อยู่ซึ่งมันไม่จำเป็นที่จะให้ google ไต่ไปเก็บข้อมูล ตัวอย่างโค้ดครับ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /sitemap.xml Disallow: /default.html Disallow: /400.shtml Disallow: /401.shtml Disallow: /403.shtml Disallow: /404.shtml Disallow: /500.php Disallow: /500.shtml Disallow: /readme.html Disallow: /wp-login.php Disallow: /wp-register.php |
สำหรับ hostgator ก็ประมาณเอาเท่านี้พอ
1 2 3 4 5 6 7 8 | User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /sitemap.xml Disallow: /readme.html Disallow: /wp-login.php Disallow: /wp-register.php |
สำคัญมากไฟล์ sitemap.xml ถ้ามีนะครับ ระวังบอทจะเข้าไปถล่มจนโฮสต์ท่านเดี้ยงและท่านอาจจะโดนเตะได้นะ สำคัญๆ
อันนี้ของ google
http://www.google.com/robots.txt