Blogspot: Tối ưu Robots.txt

Robots.txt là gì? Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp cho các quản trị viên webmaster có thể "tư vấn" cho các công cụ tìm kiếm cách thu thập thông tin từ blog và website của họ. Nó hoạt động theo cách tương tự như các "Thẻ tiêu đề robot tùy chỉnh". Điểm khác biệt chính giữa chúng là tập tin "Robots.txt tùy chỉnh" sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các "Thẻ tiêu đề robot tùy chỉnh" chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục trên các máy công cụ tìm kiếm.

Với Blogspot chúng ta có thể tùy chỉnh Robots.txt theo các bước sau để tối ưu hóa:

Bước 1: Blog \ Cài đặt \ Tùy chọn tìm kiếm

Bước 2: Chọn Robots.txt tùy chỉnh và chọn tùy chọn Có, sau đó bạn copy và dán vào ô TextBox đoạn mã sau.

Thẻ	Ý nghĩa
User-agent: *	Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
Disallow: /	Báo cho công cụ tìm kiếm biết nó không được tìm ở những tập tin này.
Allow: /	Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.
iwego.link	Sửa thành địa chỉ trang của bạn.

Bước 3: Cài đặt tối ưu cho Thẻ tiêu đề robot tùy chỉnh bằng cách chọn như hình sau và nhấn nút Lưu thay đổi

Thẻ	Ý nghĩa
all	Cho phép công cụ tìm kiếm lập chỉ mục.
noindex	Không hiển thị trang này trong kết quả tìm kiếm.
nofollow	Thông báo cho công cụ tìm kiếm không nên lần theo các liên kết này.
none	Tương tự như nonidex và nofollow.
noarchive	Không hiển thị một liên kết "Cached" trong kết quả tìm kiếm.
nosnippet	Không hiển thị một đoạn mã trong kết quả tìm kiếm cho trang này.
noodp	Không sử dụng dữ liệu từ các dự án Open Directory (DMOZ) cho tiêu đề hoặc đoạn hiển thị cho trang này.
notranslate	Không cung cấp bản dịch của trang này với các ngôn ngữ khác trong kết quả tìm kiếm.
noimageindex	Không lập chỉ mục cho hình ảnh trên trang này.
unavailable_after	Không hiển thị trang này trong kết quả tìm kiếm sau khi ngày/thời gian quy định. Ngày/thời phải được xác định trong các định dạng RCF 850.