2025 Cloudflare全球斷網揭密:一場權限變更如何震動數位世界
2025年11月18日,全球網際網路經歷了一場數小時的動盪,原因正是廣泛依賴的Cloudflare網路出現了嚴重的服務中斷。這不僅導致數千個網站顯示錯誤頁面,更凸顯了單一基礎設施提供商在數位生態系統中的關鍵地位。此次事件被Cloudflare自身形容為「自2019年以來最嚴重的一次」,因為它造成了其網路中大部分核心流量停止流動,影響範圍之廣,牽動了包括X (Twitter)、ChatGPT、Spotify等無數知名線上服務,以及全球近五分之一的網頁內容。
此次中斷始於UTC時間11時20分,用戶開始普遍看到錯誤頁面,無法正常訪問依賴Cloudflare服務的網站。最初的跡象一度讓Cloudflare團隊懷疑是一場超大規模的DDoS攻擊,因為系統呈現出每五分鐘恢復又再次失效的不尋常波動。然而,經過深入調查,根本原因卻指向了一個意想不到的內部問題:資料庫系統權限的一次變更。這次於11時05分進行的更改,導致Cloudflare的ClickHouse集群中用於Bot Management系統的資料庫查詢返回了重複的列元數據,進而使其關鍵的「功能文件」大小翻倍。這個膨脹的文件隨後被傳播到Cloudflare網路中的每一台機器。問題在於,這些機器上負責路由流量的軟體對此文件設有200個機器學習功能的預分配記憶體限制。當遇到包含超過此限制的錯誤文件時,系統便會因超出限制而崩潰,頻繁觸發5xx錯誤,導致大規模服務失敗。
影響範圍橫跨了Cloudflare的多項核心服務。核心CDN與安全服務首當其衝,大量HTTP 5xx錯誤湧現;Turnstile人機驗證服務無法加載,進而導致依賴它的Dashboard出現登入問題,並導致Email Security暫時失去IP信譽來源,自動移動操作失敗;Workers KV也出現了HTTP 5xx錯誤的顯著升高;而Access服務則面臨了廣泛的身份驗證失敗。除了技術層面的影響,實際應用中,從即時通訊、金融交易到娛樂媒體,許多服務都因無法正常運作而中斷。Cloudflare的VPN服務WARP在倫敦也曾短暫禁用。面對嚴峻的局面,Cloudflare團隊迅速反應,確認了核心問題,停止了過大功能文件的傳播,並替換為先前正確的版本。儘管修復過程曲折,核心流量在14時30分左右已大致恢復正常,所有系統最終於17時06分完全恢復運作。事後,Cloudflare對此次事件向客戶和整個網際網路表達了誠摯的歉意,承認此次中斷是不可接受的,並承諾將採取多項補救措施,包括強化配置文件攝取機制、啟用更多全局終止開關、防止錯誤報告壓垮系統資源,以及全面審查核心代理模組的故障模式。
然而,這並非Cloudflare首次面臨如此大規模的服務考驗。回顧其運營歷史,數次重大中斷事件都曾震動網路世界。2019年7月2日,一次Web應用防火牆(WAF)管理規則中編寫不佳的正則表達式導致了全球HTTP/HTTPS流量處理的CPU核心耗盡,引發廣泛的502錯誤。同年6月24日,Cloudflare曾因Verizon的邊界網關協議(BGP)故障而導致中斷,將Verizon的所有網路流量意外重新路由到一家小型ISP,使其無法處理龐大流量。近期的2023年11月2日,Cloudflare的問題也曾讓數千個熱門網站和中小型企業網頁離線約20分鐘。值得一提的是,並非所有與Cloudflare相關的中斷都源於其自身問題,例如2020年8月30日影響眾多商業網站的中斷,被確認是由於網際網路服務提供商CenturyLink的IP故障引起,而非Cloudflare特有。此外,2023年2月21日、2025年4月以及2020年4月14日和1月6日,Cloudflare也經歷過不同程度的服務降級或廣泛中斷,影響了Dashboard、API、DNS更新、SSL配置、Bot Management等核心服務。更久遠的歷史中,2016年9月至2017年2月期間的「Cloudbleed」錯誤曾因在回應網路請求時發送額外數據,洩露了客戶網站的敏感信息,包括密碼和身份驗證令牌,暴露了其服務可能存在的安全漏洞。甚至在2012年6月1日,駭客組織UGNazi曾透過社會工程和利用Google雙因素身份驗證系統的漏洞,入侵Cloudflare CEO Matthew Prince的部分帳戶,將4chan的訪問者重定向到UGNazi的Twitter帳戶。
Cloudflare的每一次中斷,無論是因內部配置失誤、外部路由問題,還是更深層的安全漏洞,都清晰地描繪出當代網際網路的脆弱與複雜。這些事件不僅是對技術團隊的考驗,也是對整個數位世界基礎設施韌性的一次次審視。隨著越來越多的服務依賴於少數幾家大型基礎設施提供商,確保這些節點的穩定性變得至關重要,促使我們不斷思考如何在快速發展的網路環境中,構建一個更穩定、更具彈性的未來。