
Shopify 預設 Robots.txt 僅能滿足基礎爬取需求,未針對不同業務的頁面特性優化,容易出現「爬取預算浪費」「無價值頁面誤索引」問題,直接影響搜尋流量轉化。
為何 Shopify 需依業務類型調整 Robots.txt?2個核心原因
核心原因1:不同業務的無價值頁面類型不同,通用規則無法精準屏蔽。例如批發商城的「零售價查詢頁」、精品店的「庫存查詢頁」,均需單獨屏蔽避免浪費爬取資源。
核心原因2:業務核心頁面優先級有差異,需引導爬蟲聚焦高價值內容。例如獨立站品牌店需優先爬取「品牌故事頁」,跨境電商則需重點保障「產品詳情頁」與「多語言頁」爬取。
4大常見業務類型 Robots.txt 客製化建議(含程式碼範例)
Shopify 無法直接上傳 Robots.txt 檔案,需透過「Liquid 模板」自訂,步驟統一:後台→線上商店→主題→操作→編輯程式碼→新增模板→選擇「Robots(txt類型)」,生成 robots.txt.liquid 後插入對應規則,以下分業務類型給出具體方案。
① 跨境電商(多語言、多貨幣)
核心需求:屏蔽貨幣切換頁、語言切換冗余頁,保障多語言產品頁、結算相關核心頁爬取
User-agent: *
# 屏蔽貨幣切換冗余頁
Disallow: /*?currency=*
# 屏蔽語言切換重複頁(排除首頁語言切換)
Disallow: /collections/*?locale=*
Disallow: /products/*?locale=*
Allow: /?locale=*
# 屏蔽未開放國家地區頁
Disallow: /geoblock/*
# 屏蔽廢棄購物車與搜尋結果頁(通用必要規則)
Disallow: /cart/*
Disallow: /search/*
# 指定多語言網站地圖,引導爬蟲識別語言分類
Sitemap: https://你的域名.com/sitemap_products_1.xml
Sitemap: https://你的域名.com/sitemap_collections_1.xml
Sitemap: https://你的域名.com/sitemap_pages_1.xml
② 精品零售(單一語言、高客單)
核心需求:屏蔽庫存查詢、尺寸篩選冗余頁,保護會員專屬頁,聚焦產品詳情與品牌頁
User-agent: *
# 屏蔽產品尺寸、顏色篩選重複頁
Disallow: /collections/*?filter.v.option1=*
Disallow: /collections/*?filter.v.option2=*
# 屏蔽庫存查詢頁
Disallow: /products/*?inventory=*
# 屏蔽會員專屬頁與後台入口
Disallow: /account/*
Disallow: /admin/*
Disallow: /wp-admin/*
# 屏蔽廢棄購物車與搜尋頁
Disallow: /cart/*
Disallow: /search/*
# 保留品牌故事、關於我們等高價值頁面爬取
Allow: /about-us/
Allow: /brand-story/
Sitemap: https://你的域名.com/sitemap_index.xml
③ 批發商城(B2B為主,含零售入口)
核心需求:屏蔽零售價查詢、散客訂單頁,保障批發報價、批量訂購頁爬取
User-agent: *
# 屏蔽零售價查詢與散客訂購頁
Disallow: /retail-price/*
Disallow: /single-order/*
# 屏蔽批發數量篩選冗余頁
Disallow: /wholesale-collections/*?filter.quantity=*
# 屏蔽未登錄批發商可見的報價頁
Disallow: /wholesale-quote/*?unlogged=*
# 屏蔽通用無價值頁
Disallow: /cart/*
Disallow: /search/*
Disallow: /account/retail/*
# 保留批發核心頁爬取許可
Allow: /wholesale-collections/
Allow: /wholesale-quote/
Sitemap: https://你的域名.com/sitemap_products_1.xml
Sitemap: https://你的域名.com/sitemap_collections_1.xml
④ 自營品牌獨立站(含內容行銷)
核心需求:屏蔽標籤頁、舊文章歸檔,保障部落格、產品詳情、品牌頁優先爬取
# 屏蔽部落格標籤與舊歸檔頁(僅保留近2年內容)<br />User-agent: *<br />Disallow: /blog/tag/*
Disallow: /blog/2022/*
Disallow: /blog/2023/*
# 屏蔽產品分類舊版頁面
Disallow: /collections/old-*
# 屏蔽測試頁與廢棄頁面
Disallow: /test/*
Disallow: /discarded/*
# 屏蔽通用無價值頁
Disallow: /cart/*
Disallow: /search/*
# 保留內容與品牌核心頁
Allow: /blog/
Allow: /brand/
Allow: /products/
Sitemap: https://你的域名.com/sitemap_pages_1.xml
Sitemap: https://你的域名.com/sitemap_products_1.xml
Sitemap: https://你的域名.com/sitemap_blogs_1.xml
搭配 GSC 排查修復索引問題,避免流量浪費
Robots.txt 調整後,需透過 Google Search Console(GSC)驗證效果、修復殘留索引問題,步驟簡單易操作:
1. 驗證 Robots.txt 規則有效性:進入 GSC→設定→Robots.txt 測試工具,輸入自訂規則(如屏蔽的篩選頁路徑),點擊「測試」,確認無「無效規則」「衝突規則」,避免爬蟲誤解。
2. 排查未索引核心頁:進入 GSC→索引→未索引頁面,查看「因 Robots.txt 被屏蔽」「伺服器錯誤」等原因,若核心頁(如產品詳情頁)誤被屏蔽,即時調整 Robots.txt Allow 規則;若為其他原因(如內容重複),搭配 noindex 標籤修復。
3. 監控爬取統計:進入 GSC→爬取→爬取統計資訊,觀察調整後「爬取請求數」「成功爬取率」,若高價值頁面爬取次數提升,說明規則生效;若爬取失敗率上升,檢查規則是否誤屏蔽資源路徑。
4. 提交網站地圖:Robots.txt 中指定的 Sitemap,需手動提交至 GSC→索引→網站地圖,加速爬蟲識別,縮短內容索引週期。
Shopify Robots.txt 編輯注意事項,避開降權雷區
1. 不可隨意添加 Disallow: / ,會直接屏蔽全站爬取,導致網站從搜尋結果中消失,僅能針對具體路徑設定屏蔽。
2. 保留 Shopify 核心功能路徑,不可屏蔽 /wp-admin/admin-ajax.php 「/cdn/」等,否則會影響頁面動態功能、圖片加載,間接降低用戶體驗與爬取體驗。
3. 規則路徑需精確,結尾建議加「/」,例如 Disallow: /blog/tag/ 而非 Disallow: /blog/tag ,避免誤屏蔽「/blog/tag-page」等有效頁面。
4. 調整後勿頻繁修改,Google 爬蟲需時間更新 Robots.txt 快取,建議調整後觀察1-2周,透過 GSC 確認效果後再優化,減少爬蟲混淆。
若你尚未針對 Shopify 業務類型優化 Robots.txt,可先透過「網站域名+ /robots.txt」查看當前規則,再對照上述對應業務方案調整;調整後記得搭配 GSC 跟蹤1周,確保核心頁爬取與索引正常,避免因規則失誤浪費流量機會。若遇到規則編輯或 GSC 排查問題,可留言業務類型與具體難題,進一步對接解決方案。

YUSI 技術SEO顧問
7年全端開發經驗,擅長融合技術開發與SEO策略,專注解決複雜網站優化難題,提供高水準技術SEO諮詢服務。
核心專業能力
網站架構:設計符合搜尋引擎抓取邏輯的架構,兼顧可抓取性與用戶體驗
效能優化:精調技術參數,提升頁面載入速度與整體效能,契合搜尋引擎「快體驗」需求
資料完整性:保障數據分析準確性,為SEO決策提供堅實依據
認證與技術儲備
權威認證:Google GA4 2025認證、Google搜尋產品專家(PE)認證
技術堆疊:精通JavaScript、Next.js、Node.js、PHP等,可實現深層網站優化及開發SEO友好的數位資產
核心使命:
為企業打造「技術穩固、適配搜尋、長效成長」的SEO解決方案,助力客戶穩占Google頭部排名,實現自然流量持續增長,構建數位競爭壁壘。
Discover more from YUSI SEO
Subscribe to get the latest posts sent to your email.
