# Cho phép tất cả bot truy cập mọi thứ
User-agent: *
Disallow: /color/*/page/
Disallow: /size/*/page/
# Chặn truy cập vào các thư mục nhất định không cần được thu thập thông tin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /cgi-bin/
# Chặn các loại file nhất định không cho lập chỉ mục
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
# Cho phép Googlebot thu thập thông tin CSS, JS để hiển thị tốt hơn
User-agent: Googlebot
Allow: /*.js$
Allow: /*.css$
# Chặn truy cập vào các file đặc thù của WordPress
Disallow: /readme.html
Disallow: /license.txt
# Không cho phép lập chỉ mục các trang kết quả tìm kiếm
Disallow: /?s=
Disallow: /?orderby=
# Cho phép bot thu thập thông tin các file media
Allow: /wp-content/uploads/
# Cho phép Googlebot thu thập thông tin các file AJAX
User-agent: Googlebot
Allow: /wp-admin/admin-ajax.php
# Chỉ định vị trí của sitemap
Sitemap: https://gotrangtri.vn/sitemap_index.xml