Hướng dẫn tạo file robots.txt cho Blogspot
Robots.txt là gì? Vì sao chúng ta cần tạo File robot cho website để tối ưu Seo
Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ Blog/Website của họ. Nó hoạt động theo cách tương tự như các “Thẻ tiêu đề robot tùy chỉnh”. Điểm khác biệt chính giữa chúng là các tập tin “Robots.txt tùy chỉnh” sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các “Thẻ tiêu đề robot tùy chỉnh” chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).
Chức năng “Robots.txt tùy chỉnh” và “Thẻ tiêu đề robot tùy chỉnh” được Blogger đưa ra rất lâu rồi. Đây là chức năng được các Chuyên gia SEO đánh giá rất cao tuy nhiên các Blog Việt chưa biết các sử dụng nó (thường để ở dạng mặc định). Hôm nay Windows2it viết bài này để hướng dẫn các bạn. Dưới đây là cài đặt chuẩn nhất hiện nay mà được các Blog Việt sử dụng, mình cũng đã áp dụng cài đặt này trên Blog tài liệu miễn phí của mình.
Bạn vào Blog => Cài đặt => Tùy chọn tìm kiếm (“Robots.txt tùy chỉnh” và “Thẻ tiêu đề robot tùy chỉnh”)
Code tối ưu “Robots tùy chỉnh” Chọn chỉnh sửa => Yes => Paste đoạn Code dưới đây và Lưu thay đổi.
User-agent: Mediapartners-GoogleDisallow:User-agent: *Allow: /Disallow: /searchDisallow: /*?updated-max=*Disallow: *archive.htmlSitemap: http://websitecuaban.com/feeds/posts/default?orderby=UPDATED