Thiết lập file robots cho website và những vấn đề liên quan

Thiết lập file robots cho website là một trong những công việc quan trọng người dùng cần phải chú ý về nó bỏi file này là một trong những yếu tố quan trọng cấu thành nên website của bạn. Vậy làm thế nào để thiết lập file robots cho website và những vấn đề liên quan đến nó là gì?

Thiết lập file robots cho website

Thiết lập file robots cho website

Những thông tin chung về file robots cho website

Muốn thiết lập file robots cho website bạn phải hiểu nó là gì, những đặc điểm của nó là gì? Cụ thể:

Khái niệm file robots

File robots là một tập tin được tạo ra nhằm xây dựng một bộ chỉ dẫn cho các con bọ tìm kiếm vào trang web có được một sơ đồ tổng thể nhất về trang web nó có thể đến thu thập và những phần nhất định không được vào. Với file này, khi không được cài đặ trên website thì trang web của bạn vẫn được truy cập vào thu tập dữ liệu, tuy nhiên các con bọ tìm kiếm sẽ không thể thu thập chính xác được những gì bạn mong muốn. Nhiều trang bạn sẽ không muốn để cho các con bọ vào thu  thập và cho hiển thị với người truy cập cũng sẽ được đào sâu vào thu thập thì nó vẫn cứ làm. File này hình thành để hướng dẫn cho các con bọ đó những gì nó nên làm và không nên làm. Đồng thời khi thiết lập file robots cho website nó sẽ giúp cho việc cải thiện hiệu năng làm việc website do hạn chế được sự truy cập không đáng có.

Và hầu hết các trang wordpress khi xây dựng sẽ được tạo file robots.txt và bạn hoàn toàn có thể truy cập nó thông qua đường dẫn: tenwwebsite.com/robots.txt. Các thông số sẽ giúp bạn biết được trang web sẽ cho phép các loại trình thu thập nào vào tìm kiếm dữ liệu và lập chỉ mục, những trang nào được phép lập chỉ mục, những trang nào không được phép lập chỉ mục,.. Vị trí chủ yếu mà file này được đặt đó là ở thư mục gốc, nó thường có một file ảo do WP tự thiết lập mặc định. Người quản lý cần phải xây dựng cho mình một file robots riêng với những yêu câu cầu của mình.

Một số quy tắc trong file robots.txt

Một số quy tắc trong file

Một số quy tắc trong file

Để thiết lập file robots cho website, bạn cần nắm vững được những quy tắc thể hiện trong file từ đó mới có thể đưa những yêu cầu của mình vào đó để áp dụng cho website của mình. Các quy tắc cơ bản như:

  • User-agent: các loại đối tượng bot được chấp nhận
  • Disallow/Allow: các thông số về URL muốn chặn/cho phép
  • Ký tự *: Đại diện cho tất cả
  • Để khóa toàn bộ site: sử dụng cấu trúc Disallow: /
  • Để chặn 1 thư mục và mọi thứ nằm trong nó: sử dụng cấu trúc Disallow: /wp-admin/
  • Để chặn 1 trang thì sử dụng cấu trúc Disallow: /private_file.html
  • Để loại bỏ 1 hình từ Google Images: User-agent: Googlebot-Image

Khi xây dựng các quy tắc trong file cần phải chú ý rằng các thông số khi nhập vào nó có sự phân biệt giữa chữ hoa và chữ thường, chú ý đến khoảng trắng, không sử dụng các ký hiệu riêng, 1 câu lệnh cho một yêu cầu nên viết một dòng.

Xem thêm: Thiết kế web bất động sản

Hướng dẫn thiết lập file robots cho website

Để thiết lập file robots cho website có thể sử dụng các cách sau:

Thiết lập file robots cho website bằng cách sử dụng yoast seo

Các yoast seo sẽ hướng dẫn cho bạn chi tiết cách thức để tạo file này. Người dùng cần phải cài đặt yoast seo để hỗ trợ. Bạn vào phần cài đặt plugin và cài đặt ứng dụng này sau đó vào Seo  chọn Tools và tìm đến File editor. Tại đây, bạn nhấn vào đường linh trong đó để được chuyển đến một trang chỉnh sửa .htaccrss. Tại đó bạn chọn vào Create robots.txt và tiến hành chỉnh sửa file robot thông qua file ảo mặc định. Với mỗi thao tác thực hiện bạn cần chú ý save lại để lưu các thay đổi đúng.

Thiết lập file robots cho website bằng cách tạo và upload thông qua FTP

Tạo và tải file lên server

Tạo và tải file lên server

Bạn có thể sử dụng Notepad hay Textedit, tại đó ghi các thông số cần thiết cho file và lưu nó lại dưới định dạng txt. Sau đó kết nối trang web qua FTP và vào mục public_html để tải file lên server.

Trên đây là một số vấn đề liên quan đến thiết lập file robots cho website cũng như những vấn đề liên quan đến nó. Với những hướng dẫn trên, hi  vọng có thể giúp ích cho bạn trong việc thiết lập file robots cho website của mình.

Xem thêm: Webmaster tool là gì? – hướng dẫn cài webmaster tool cho website

Hotline: 1900 0366

Notice: Undefined index: check_id in /home/wswp/domains/websitewordpress.net/public_html/wp-content/themes/default/modal.php on line 2
Hotline tư vấn miễn phí