Robots.txt là gì?
robots.txt là file dạng text chứa các lệnh để chỉ dẫn cho robot của các công cụ tìm kiếm như google, bing, yahoo,...thu thập thông tin từ website có sử dụng dạng file này. Robots.txt rất quan trọng đối với một website, nó quyết định website đó có được các công cụ tìm kiếm để ý đến hay không.
Tối ưu robots.txt chuẩn SEO cho blogspot
Khi bạn sử dụng blogspot (blogger) để phát triển website cho riêng mình thì blogspot đã hỗ trợ sẵn robots.txt với nội dung mặc định. Tuy nhiên, nội dung mặc định đó thường chưa chuẩn với định hướng phát triển website theo phong cách blog, trang tin tức,... và theo xu hướng, thủ thuật SEO hiện tại.
Dưới đây là nội dung file robots.txt đầy đủ, chuẩn SEO và tối ưu với một website với blogspot:
*Chú thích:
- Dòng Allow: / cho phép bot có thể index tất cả nội dung trên trang web.
- Disallow: /search không muốn bot index trang /search
- Disallow: /*?updated-max=* không cho bot index các dạng trang có link chứa "?updated-max=" (thường là các phân trang)
- Disallow: *archive.html chặn không cho bot index các dạng trang có link chứa "archive.html"
- Ở Sitemap: Bạn thay www.xn--knhit-hsa.vn thành địa chỉ trang của bạn (www.xn--knhit-hsa.vn là dạng mã ascii của www.kênhit.vn. Vậy nên nếu trang bạn đang dùng domain có dấu như vậy thì hãy chuyển về dạng ascii nhé)
Cách thêm nội dung vào file robots.txt
Bước 1: Vào trang quản trị blogger.com (điều đương nhiên 😀)
Bước 2: Vào Cài đặt (Setting), chọn phần Tuỳ chọn tìm kiếm (Search Options), chọn tiếp Chỉnh sửa ở Robots.txt tuỳ chỉnh và dán nội dung file robots.txt như ở trên vào.
Bước 3: Cuối cùng là lưu lại thôi.
Việc viết nội dung cho file robots.txt không khó, bạn chỉ cần theo mẫu ở trên miễn sao đúng cú pháp và phù hợp với định hướng phát triển website của bạn là được. Nếu có gì cần thảo luận, thắc mắc, góp ý thì để lại bình luận bên dưới bạn nhé 😀
Cuối cùng, like và share bài viết này nếu bạn thấy bổ ích :)))
