# robots.txt cho tongquan.vuduykien.com
#
# Trước ngày 9/9/2026 trang này không có tệp riêng, nên Cloudflare trả về bản
# mặc định của họ — bản ấy không có dòng Sitemap và không chặn khu nào cả.
#
# Chặn ở đây KHÔNG PHẢI là lớp bảo mật. Mọi đường /api/ đã có lớp chắn quyền
# thật ở máy chủ; ghi vào đây chỉ để máy tìm kiếm khỏi gõ cửa và khỏi đem những
# đường ấy ra hiện. Ai cũng đọc được tệp này, nên không bao giờ viết vào đây một
# đường dẫn bí mật.

User-agent: *
# `search=yes, ai-input=yes, ai-train=no` — cùng một khai báo với trang sách và
# trang khóa học. Cho lập chỉ mục, cho trợ lý AI trích dẫn (có dẫn nguồn về
# trang), nhưng không cho lấy nội dung đi huấn luyện mô hình.
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /api/
# (30/9/2026, GV-0166) Không cần Allow riêng cho llms.txt, llms-full.txt, index.md, /cho-ai/: `Allow: /` đã mở. /mcp là địa chỉ
# cho máy (agent), không phải trang để đọc — chống lập chỉ mục bằng tiêu đề X-Robots-Tag: noindex do functions/mcp.js đặt, KHÔNG chặn
# bằng robots.txt (chặn ở đây thì agent tuân robots như ChatGPT-User có thể từ chối kết nối).

# ── Chặn riêng những máy đi thu nội dung để HUẤN LUYỆN ──────────────────────
#
# Chọn lọc chứ không chặn bừa. Máy nào ĐEM NGƯỜI ĐỌC TỚI TRANG thì giữ, máy nào
# chỉ LẤY CHỮ MANG ĐI thì chặn.
#
#   Google-Extended chỉ điều khiển việc huấn luyện Gemini. Chặn nó KHÔNG ảnh
#   hưởng gì tới thứ hạng trên Google Tìm kiếm — Googlebot là một máy khác.
#
# KHÔNG chặn ChatGPT-User, OAI-SearchBot, PerplexityBot: đó là lúc có người thật
# đang hỏi và câu trả lời sẽ kèm đường dẫn về trang này.
# ── Bot HUẤN LUYỆN: chặn TOÀN SITE (giữ nguyên như trước GV-0166) ─────────────
# Anh chưa quyết chuyện cho bot huấn luyện đọc (ai-train) — CoS dặn 30/9/2026: giữ trạng thái cũ. Nên nhóm này vẫn `Disallow: /` tuyệt đối,
# kể cả llms.txt, index.md, /cho-ai/. Bot tìm kiếm/agent (nhóm `*` và nhóm dưới) vẫn đọc được các tệp ấy.
# Sau này anh quyết cho bot huấn luyện đọc trang giới thiệu/giá (chuẩn 0.Dieu hanh\02.Quy-trinh\09.trang-cho-AI-va-MCP.md mục 1.4) thì thêm,
# TRƯỚC dòng `Disallow: /`: Allow: /$ · Allow: /llms.txt · Allow: /llms-full.txt · Allow: /index.md · Allow: /cho-ai/ (dòng khớp dài nhất thắng, RFC 9309).
#
# ⚠ Máy quét có nhóm riêng thì CHỈ đọc nhóm riêng, KHÔNG đọc thêm nhóm `*` ở trên → mọi dòng chặn khu riêng tư phải có mặt ở MỌI nhóm.
# Ở nhóm này `Disallow: /` đã bao trùm `/api/`; nhóm tìm kiếm dưới đây chép lại `Disallow: /api/`.
User-agent: GPTBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: anthropic-ai
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

# ── Bot tìm kiếm / trả lời và agent làm theo lệnh người dùng (GV-0166, 30/9/2026) ──
# Mở toàn bộ trang công khai như nhóm `*`, chép lại chặn /api/ (xem ⚠ ở trên). Không đổi hành vi so với trước: các bot này vốn rơi vào nhóm `*`;
# viết ra để rõ ý và để công cụ kiểm không phải đoán.
# (Applebot-Extended vốn nằm ở nhóm huấn luyện phía trên từ 9/9 và giữ nguyên ở đó — Apple dùng cờ này riêng cho huấn luyện.)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /api/

Sitemap: https://tongquan.vuduykien.com/sitemap.xml