OpenAI 稱 robots.txt 未必能阻止 ChatGPT Fetch Bot 抓取內容：香港網站的 GEO 策略新挑戰

發佈日期：2026年8月15日分類：SEO動態・AI搜尋・GEO

OpenAI 在 8 月 14 日發布了一項引起 SEO 業界廣泛關注的數據報告：ChatGPT 的頁面抓取機器人（fetch bot）仍在訪問已被 robots.txt 檔案明確禁止的網站。更引人注目的是，OpenAI 自己的官方文件似乎承認 robots.txt 可能無法完全阻止 ChatGPT 抓取網頁內容。這對於正在積極規劃生成式引擎優化（GEO）策略的香港企業而言，具有重要的啟示。

事件背景：數據揭露了什麼？

根據 Search Engine Journal 報導的數據，OpenAI 的 ChatGPT fetch bot 在實際運作中，仍然會抓取那些在 robots.txt 中明確禁止 OpenAI 爬蟲（包括 OAI-SearchBot 和 ChatGPT-User）的網站。具體情況包括：

  • 約 34% 的被禁止網站仍被 ChatGPT fetch bot 成功抓取內容
  • OpenAI 的內部文檔指出，robots.txt 的指令對於 ChatGPT 的某些內容擷取流程「可能不是決定性因素」
  • 這意味著即使網站管理員在 robots.txt 中加入了 Disallow: / 針對 OpenAI 爬蟲，ChatGPT 仍可能通過其他途徑取得網站內容

OpenAI 的官方回應

OpenAI 在回應中解釋了為何 robots.txt 可能無法完全阻擋其抓取行為：

  1. ChatGPT 的內容來源多元：ChatGPT 的回應不僅依賴於實時網頁抓取（fetch bot），還依賴於其訓練數據和第三方索引。即使 fetch bot 遵守了 robots.txt，來自其他來源的內容仍可能出現在 ChatGPT 的回應中
  2. robots.txt 是自願性協議：正如業界長期所知，robots.txt 是一個自願遵守的協議，而非法律強制要求。不同的 AI 公司對 robots.txt 的遵守程度存在差異
  3. 抓取與訓練的區分：OpenAI 區分了「用於訓練的爬蟲」（GPTBot）和「用於實時搜尋的爬蟲」（OAI-SearchBot / ChatGPT-User）。robots.txt 對兩者的影響機制不同，後者由於涉及實時搜尋功能，情況更為複雜

對香港企業 GEO 策略的啟示

這項發現對正在規劃 GEO（生成式引擎優化）策略的香港企業，帶來了幾個值得深思的層面：

1. 封鎖 AI 爬蟲可能並非明智之舉

如果你的網站目前是透過 robots.txt 封鎖了 OpenAI 的爬蟲，你可能正在錯失在 ChatGPT 搜尋結果中曝光的機會。數據顯示，即使封鎖也未必能完全阻止內容被抓取，但封鎖本身卻會大幅降低你的內容在 ChatGPT 中被引用的機率。

對於香港的本地服務行業（如 SEO 服務、數碼營銷、律師行、診所等），出現在 ChatGPT 的搜尋建議中，可能成為新的客戶來源渠道。

2. 重新評估 robots.txt 策略

與其全面封鎖 AI 爬蟲，不如採取更有選擇性的策略：

  • 允許 OAI-SearchBot：這項設定可以讓你的內容被 ChatGPT 搜尋功能引用，同時避免內容被用作模型訓練
  • 使用 ChatGPT-User 限制：如果你擔心內容被過度抓取，可以考慮設定較低的抓取速率限制
  • 保持 GPTBot 封鎖：如果你不希望內容被用於訓練 OpenAI 的基礎模型，可以繼續封鎖 GPTBot

在 robots.txt 中加入以下設定：

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /
Crawl-Delay: 10

3. 內容品質仍然是王道

無論 AI 爬蟲如何運作，一個不變的真理是：高品質、原創、有深度的內容，才是被 AI 搜尋引用的根本。OpenAI 的 fetch bot 雖然可能繞過 robots.txt，但它仍然偏愛那些具有權威性和實用價值的內容。

對於香港企業而言，這意味著：

  • 專注於 Hong Kong 本地化內容：提供針對香港市場的獨特見解和實用資訊
  • 建立 EEAT 信號：透過作者簡介、引用來源、定期更新等方式，強化內容的可信度
  • 結構化數據：確保網站有正確的結構化數據標記，幫助 AI 理解你的內容主題

這件事對整個 GEO 領域的影響

這項發現也反映了 GEO（生成式引擎優化）作為一個新興領域的複雜性。與傳統 SEO 不同，GEO 的規則仍在快速演變中：

  • 控制權不在網站一方：傳統 SEO 中，你可以透過 robots.txt 完全控制 Google 是否抓取你的網站。但在 GEO 領域，這種控制權被削弱了
  • AI 搜尋的「黑箱」特性：我們不完全了解 ChatGPT 和其他 AI 搜尋引擎如何選擇引用哪些內容，這使得優化策略需要更多的假設和測試
  • 多平台策略的重要性：不要只依賴單一 AI 搜尋引擎。ChatGPT、Perplexity、Google AI Overviews、Claude 等都在快速發展，分散風險是明智之舉

總結

OpenAI 這項數據報告揭示了 AI 搜尋生態系統中的一個關鍵現實：robots.txt 在 AI 時代的效力正在減弱。對於香港的網站擁有者和 SEO 從業者而言，與其試圖完全封鎖 AI 爬蟲，不如專注於打造高品質、本地化的內容，積極參與 AI 搜尋生態系統。GEO 不是關於防守（封鎖爬蟲），而是關於進攻（讓你的內容在 AI 搜尋中被引用）。

如果你對 GEO 策略有疑問，或想了解如何讓你的網站在 ChatGPT 和 AI 搜尋中獲得更多曝光，LocalSEO.com.hk 的團隊可以為你提供專業建議。

想了解更多 GEO 策略？

我們的 SEO 專家團隊精通 AI 搜尋優化，助您的業務在生成式引擎中獲得更多曝光。

立即免費諮詢

相關文章