搜尋觀點
robots.txt 允許抓取，但 noindex 會怎樣？ChatGPT Search 與公開內容的界線
允許抓取、索引控制與資料存取權限，應以不同工具處理。
『我已經在 robots.txt 允許了 crawler，為何頁面仍未出現？』這個問題常源於把 crawl 與顯示混為一談。頁面是否可被讀取、是否有 noindex、是否需要登入，會共同決定它能否被搜尋系統使用。
這篇要先回答甚麼？
若 crawler 無法讀取 noindex，便不能可靠地遵守指令；若頁面其實是私人資料，單靠 noindex 也不足。網站需要按公開內容、受限內容與敏感資料分層設計。
對香港公司來説，問題不在於是否追逐一個新名詞，而在於：客戶在 Google、AI 回答、比較頁與品牌搜尋之間來回時，哪一個頁面真正幫他理解服務，哪一個入口最後帶來可以跟進的查詢。
為甚麼現在要處理？
OpenAI 的發佈者説明指出，若不希望內容出現在 ChatGPT Search 摘要與片段中，可用 noindex，但 crawler 必須能讀到該標記。這正反映 robots 與 meta 指令的配合關係。
這不代表要把原本 SEO 策略推倒重來。較穩妥的做法，是先把現有的重要服務頁、案例、FAQ、地區資訊、作者與公司資料整理清楚，再用可驗證的數據看哪些內容開始出現在新的搜尋場景。
實務上怎樣做
- 按內容風險分層：公開服務與文章可作可抓取評估；低價值重複頁可用 noindex；客戶與內部資料應使用登入或伺服器權限。
- 核對 HTTP 與 HTML 指令：檢查 meta robots、X-Robots-Tag、status code 和 robots.txt 是否彼此矛盾。
- 保留可驗證記錄：對重要不公開區域保留 URL 清單與保護方法，不要只記得曾經『加過 robots』。
不要用錯指標
用 URL inspection、header 檢查和實際匿名瀏覽驗證。對公開頁，可觀察索引與 referral；對受限頁，目標是確認不可被匿名存取。
排名、曝光、點擊和詢盤並不是同一件事。報表應該讓團隊判斷「哪個搜尋入口值得繼續投資」，而不是隻為了展示一個好看的數字。
常見誤區
- 先封鎖 robots，再期待 crawler 讀到 noindex。
- 用 noindex 保護敏感檔案。
- 忘記 CDN 或快取仍可能提供舊頁面。
給香港網站負責人的檢查清單
- 重要服務是否有清楚的定義、適合對象、地區與下一步聯絡方式？
- 關鍵頁是否可抓取、可索引，並有自我 canonical、正常 title 與 description？
- 能否在 Search Console、GA4、WhatsApp 或表單紀錄中追到查詢來源？
- 圖片、案例、FAQ 和作者資訊是否真的支援內容，而不是隻填版面？
- 團隊是否已決定哪些公開內容可以被搜尋與 AI crawler 讀取？
延伸閲讀
若你已經有 Search Console、技術檢查與 AI 搜尋可見度的數據，但很難把它們連成可執行的優先次序，可以用 Fennec SEO Audit 集中查看審計項目與修正方向，或直接聯絡 YUSIHK 做 SEO / GEO 技術診斷。