進一步了解班尼·查尼(Benny Czarny)的著作《顛覆性的網路安全》

瞭解更多資訊
我們利用人工智慧進行網站翻譯,雖然我們力求準確性,但它們可能並不總是 100% 精確。感謝您的理解。

飛機設計能為我們帶來哪些啟示,以因應下一次關鍵基礎設施中斷事件?

作者: Benny Czarny

這幾天來,我一直在關注微軟、美國聯邦航空總署(FAA)、聯合航空、大通銀行(Chase)以及美國鐵路公司(Amtrak)發生系統中斷的相關報導。我也一直致電給受此中斷影響的朋友、家人和員工,確認他們是否安好,以及他們將如何返家。

當你關心的人被困在機場時,「服務中斷」這個詞聽起來就截然不同了。在技術性的解釋背後,是疲憊的孩子、排隊等候的年長乘客、錯過的轉機,以及徹底泡湯的行程。對企業而言,這可能意味著訂單流失、款項延遲,以及整整一天的工作付諸東流。

我是OPSWAT 的創辦人兼執行長,這是一家專注於保護關鍵基礎設施的網路安全公司。我同時也是一名持有儀表飛行執照的飛行員。觀察這些事件時,我總是不由得反覆思考同一個問題:為何我們不將那些確保飛機正常運作的思維,更多地應用到我們每天所依賴的基礎設施上呢?

一架飛機將動力、導航、通訊及飛行控制系統整合於極其狹小的空間內。這些系統相互協作,有時甚至在艱困的環境下運作,而人們的生命就取決於它們。

這項設計預設了會發生失誤。飛行員訓練的很大一部分,就是學習辨識這些失誤,並知道接下來該如何應對。你是在還擁有犯錯餘地的階段進行練習。

舉例來說,以電力為例。發電機負責為飛機產生電力。沒錯,它或許能幫你為 iPhone 充電,但我更關心的是確保無線電設備和飛行儀表能正常運作。

在配備兩台交流發電機的飛機上,若其中一台發生故障,另一台仍可維持基本負載的供電。若兩台同時故障,電池可提供有限的運作時間。此時應降低負載,並利用這段時間處理緊急狀況。

關鍵在於,發電機和電池的運作方式不同。一個負責發電,另一個則負責儲存電力。當發電系統失效時,電池能提供另一種方式,讓重要設備持續運作。

這種思維還更進一步。空中巴士已針對主電腦與備用電腦採用不同硬體和軟體的飛行控制設計進行了文件記錄,其中也包含較為簡單的備用系統。其目的是降低因單一故障導致所有執行關鍵功能的方式皆失效的機率。

我通常會帶著安裝了 ForeFlight 的 iPad,與飛機上原本配備的儀表一同使用。這是一種輔助工具,其功能取決於連接的感測器,因此我必須了解它的限制。儘管如此,擁有另一個飛行資訊來源——且是運行於不同硬體、具備獨立電池的裝置——仍讓我感到安心。

現在來看看資訊科技領域、關鍵系統以及關鍵基礎設施中的相同問題。這些系統需要支撐生命或自由,例如飛機,因此我們應該抱持相同的设计思維。

如果我的主系統和備援系統運行相同的軟體、接收相同的更新,並且依賴相同的網路,那麼它們究竟有多獨立?將其中一個系統移至另一棟大樓,並不能消除程式碼中的缺陷。第二個雲端環境可能仍然依賴相同的身分識別服務或資料來源。

我們可以複製一個系統,同時也將其弱點一併複製過來。

如果同一個故障會導致兩個系統同時癱瘓,那我們真的有備援方案嗎?

最近發生的事件顯示,這個問題為何確實至關重要。

微軟,11月12日及13日

他們的初步報告描述了一項隱藏的軟體缺陷、閘道流量增加以及處理能力下降的情況。將流量從發生故障的伺服器重新導向,反而導致故障蔓延至其他具有相同弱點的伺服器。微軟雖然已具備多種閘道架構,但某些服務(包括 Exchange Online)無法在所需規模下遷移至替代方案。 我對微軟公佈的詳細資訊表示讚賞。My 的關鍵啟示在於,獨立性與處理能力必須一併進行測試。我認為,替代架構必須能在實際需要時,作為熱備援來承擔核心工作。

美國聯邦航空總署(FAA),11月13日

美國聯邦航空總署(FAA)描述了在路由器更換作業期間發生的網路擁塞狀況。封鎖兩個疑似源頭地點後,網路狀況得以穩定。管制員與飛行員雖維持了飛行安全,但全國範圍內的航班起飛均已暫停。根本原因仍在調查中,FAA 表示 SMART(空域、航線與航跡戰略管理)系統與此事件無關。 關於架構的關鍵問題在於:為何少數地點的問題會擴散至如此廣泛的範圍,以及哪些額外的隔離措施與獨立通訊機制能更安全地維持更多航班運作。然而,我們是否也該探究是什麼原因導致現有架構崩潰,以及SMART系統是如何被排除在事故原因之外的?

美國鐵路公司(Amtrak),11月13日

當受困的航空旅客正尋求替代方案之際,預訂系統卻出現了問題。美國鐵路公司(Amtrak)將原因歸咎於系統更新及需求增加,儘管確切的技術原因仍不明朗。這正是我會納入任何復原演練的場景:當基礎設施的一部分發生故障時,人們便會轉向其他系統。而接下來的系統也必須具備容納這些人的能力。

《聯合報》,11月16日

路透社報導指出,一場系統故障影響了多項機組人員應用程式,導致聯合航空無法為即將起飛的航班提供最終飛機重量。其根本技術原因至今仍未公開。試想:即使飛機、機組人員和乘客都已準備就緒,但若缺少關鍵資訊,航班仍無法起飛。任何替代方案都必須具備最新且準確的裝載數據。昨天的備份資料是不夠的。我們需要恢復一個能正常運作且具備最新數據的系統。

蔡斯,11月16日。

一項內部軟體錯誤導致交易延遲,包括涉及其他銀行的付款。在此情況下,恢復作業必須確保財務紀錄完整無缺。唯有在付款已入帳、餘額正確且交易未被重複處理的情況下,快速切換才會有幫助。這必須在實際的交易量下加以驗證。

這些是不同的事件,在調查持續進行期間,我們應謹慎下結論。但其中已有許多值得納入我們自身工程討論的內容。

如今,我們正將人工智慧融入我們所依賴的系統之中。

要還原一個傳統應用程式,本身就已相當困難。而由人工智慧驅動的系統則額外增加了模型、執行環境、資料湖及資料管線,一旦發生問題,這些元件之間的關聯性往往難以理清。即使模型保持不變,資料和運作情境仍可能發生變化。還原程式碼的早期版本時,可能會導致某些元件無法再正常協同運作。

即使系統仍在提供不當的建議,該軟體仍可繼續運行。

正因如此,我將人工智慧系統視為一個活生生的運作環境。所謂的復原,是指釐清哪些部分發生了變化、恢復相容的組件,並在再次依賴該系統之前,先檢查其運作行為。

在進行這項工作的期間,人們仍然需要這項服務。

針對我們最關鍵的功能,我認為應考慮在另一種架構上建立獨立的實作方案,該方案應已上線並準備好隨時接管。這可能是另一個 AI 平台,也可能是能維持基本運作的較簡單傳統系統。

這種獨立性必須延伸至應用程式之下。即使在同一個故障的網路中,不同的軟體仍可能無法運作。兩個使用相同損壞資料的不同模型,仍可能產生錯誤結果。我們需要檢視服務所依賴的整個路徑。我們需要採取我在空中巴士駕駛艙架構範例中所述的相同方法。

我知道這會增加成本並使系統更為複雜。替代方案無需具備主系統的所有功能。就像飛機上的電池一樣,它需要採用不同的架構,在一段既定的時間內支援基本功能。

首先,必須決定哪些作業必須持續運作、以何種規模運作,以及持續多久。如果該作業僅能容忍數毫秒或數秒的中斷,這便成為我們必須驗證的工程需求。至於其餘部分的恢復,則可能需要更長的時間。

接著在受控條件下對該設計進行壓力測試。讓 AI 無法使用。切斷網路連線。引入過時資料、錯誤的修補程式,或模擬網路安全遭入侵的情況。試著在備援系統已喪失部分容量時進行測試。觀察當真實使用者必須進行切換時會發生什麼情況,並評估服務是否仍能正常運作且結果正確。

在駕駛艙裡,我需要知道在發生故障後哪些系統仍能運作、能運作多久,以及接下來該採取什麼行動。我必須在起飛前就掌握這些答案。

那些試圖返家的家庭,以及等待款項的企業,都值得我們給予同樣的準備。

在下一次領導層會議上,請向您的團隊提問: 「如果我們的主要系統此刻發生故障,哪些系統仍能繼續運作?而同樣的故障是否也會讓這些系統停止運作?」

深入探究其詳細設計與架構,並試著找出其中的漏洞。例如:Server 癱瘓、通訊中斷、網路安全事件等。若是像 SMART 這樣的 AI 系統,請仔細研究其組成元件。假設系統可能失控,應限制頻寬,並準備一套架構不同的備用系統,以防整個系統癱瘓時能立即啟用。

接著請他們示範給你看。

下次停電時,不該是我們才第一次發現備援系統是否能正常運作。

隨時瞭解OPSWAT 的最新資訊!

立即註冊,即可接收最新的公司動態、故事、活動資訊等內容。