搜尋觀點
OAI-SearchBot、GPTBot、ChatGPT-User 有甚麼分別？
不同 user agent 對應不同目的，規則應與內容政策一起制定。
robots.txt 的一行規則看起來簡單，實際卻代表一個內容使用決策。OpenAI 為不同情境使用不同 user agent，網站不能只用『全部允許』或『全部封鎖』處理。
這篇要先回答甚麼？
最常見錯誤是把 GPTBot 當作所有 ChatGPT 流量的入口，或在沒有盤點公開內容前一次過開放所有 crawler。這會令技術設定與公司內容政策脱節。
對香港公司來説，問題不在於是否追逐一個新名詞，而在於：客戶在 Google、AI 回答、比較頁與品牌搜尋之間來回時，哪一個頁面真正幫他理解服務，哪一個入口最後帶來可以跟進的查詢。
為甚麼現在要處理？
AI crawler 已成為網站技術治理的一部分。把 user agent 用途寫入內部規則，日後新增服務頁、客戶案例或文件中心時才有一致決定。
這不代表要把原本 SEO 策略推倒重來。較穩妥的做法，是先把現有的重要服務頁、案例、FAQ、地區資訊、作者與公司資料整理清楚，再用可驗證的數據看哪些內容開始出現在新的搜尋場景。
實務上怎樣做
- 建立 crawler 決策表：列出每個 user agent 的用途、是否允許、涉及哪些內容區域與負責人。
- 為敏感區域另設保護：robots.txt 不能取代登入、權限、noindex 或伺服器存取控制；私人資料不應只靠 crawler 宣告保護。
- 測試實際規則：修改後用 robots.txt 工具與伺服器 log 確認規則語法、網域和路徑沒有意外阻擋重要頁。
不要用錯指標
記錄 robots 更新日期、版本、受影響目錄與 crawl log。若搜尋流量或 AI referral 出現異常，才能快速對照是否與設定變更有關。
排名、曝光、點擊和詢盤並不是同一件事。報表應該讓團隊判斷「哪個搜尋入口值得繼續投資」，而不是隻為了展示一個好看的數字。
常見誤區
- 把 robots.txt 放在子路徑而非網域根目錄。
- 用不精確 wildcard 意外封鎖全站。
- 未確認 bot 用途便複製網上的規則。
給香港網站負責人的檢查清單
- 重要服務是否有清楚的定義、適合對象、地區與下一步聯絡方式？
- 關鍵頁是否可抓取、可索引，並有自我 canonical、正常 title 與 description？
- 能否在 Search Console、GA4、WhatsApp 或表單紀錄中追到查詢來源？
- 圖片、案例、FAQ 和作者資訊是否真的支援內容，而不是隻填版面？
- 團隊是否已決定哪些公開內容可以被搜尋與 AI crawler 讀取？
延伸閲讀
若你已經有 Search Console、技術檢查與 AI 搜尋可見度的數據，但很難把它們連成可執行的優先次序，可以用 Fennec SEO Audit 集中查看審計項目與修正方向，或直接聯絡 YUSIHK 做 SEO / GEO 技術診斷。