抓取權限檢查
輸入網站後會讀取 /robots.txt，顯示 User-agent、Disallow、Allow 與 Sitemap 重點。
robots.txt 不是用來保證收錄，而是控制搜尋工具是否可以抓取。重要服務頁、分類頁與 blog 文章不應被Disallow 誤傷；Sitemap 入口則能幫 Google、Bing 等搜尋引擎更快發現內容。
如果網站沒有 robots.txt，通常代表沒有額外限制 crawler 抓取；仍要配合頁面 meta robots、X-Robots-Tag、canonical 與 Sitemap 一起檢查。
robots.txt Guide
工具可以先幫你看見問題，但真正影響 SEO / GEO 成效的是：檢查結果代表甚麼、是否影響重要頁面，以及下一步應該先修哪一段。
很多網站以為只要頁面打得開，Google 就一定看得到。實際上，搜尋引擎會先看抓取權限，再決定能不能讀到頁面內容。robots.txt 設定錯，可能令服務頁、分類頁、blog、圖片或 Sitemap 入口全部失去抓取機會。
robots.txt 只控制抓取，不保證 URL 不會出現在搜尋結果，也不能用來保護私人資料。如果某個 URL 被外部連結引用，Google 仍可能知道它存在，只是無法讀取頁面內容。真正不希望索引的頁面，應該配合 robots meta、X-Robots-Tag 或後台權限。
單看 robots.txt 只能知道抓取入口，還要抽查頁面本身是否有 canonical、noindex、X-Robots-Tag、狀態碼和內鏈問題。YUSIHK 通常會把 robots、Sitemap、重定向、canonical 和 Search Console 數據一起看，才判斷真正風險。
FAQ
不一定。robots.txt 會阻止 Google 抓取內容，但如果 URL 已被外部連結發現，仍可能以沒有摘要的形式留在結果中。要移除索引，通常要讓 Google 能讀到 noindex，或使用 Search Console 移除工具處理短期結果。
不是必須，但非常建議。Sitemap 行可以幫 Google、Bing 和其他 crawler 更快找到重要 URL，尤其是新站、改版後網站、內容量大的 blog 或多語言網站。
不一定。沒有 robots.txt 時，搜尋引擎通常視為沒有額外抓取限制。真正要留意的是重要頁面是否被 meta robots、X-Robots-Tag、登入牆、錯誤 canonical 或跳轉鏈阻擋。
