關於 MetaDefender Cloud
MetaDefender Cloud 是OPSWAT雲端式進階威脅防護與惡意軟體分析平台。我們獨特的 Deep CDR™ 技術結合Multiscanning 20 多種頂尖防毒引擎Multiscanning ，能保護組織免受零時差攻擊與日益複雜的惡意軟體侵害。MetaDefender Cloud沙箱技術結合OPSWAT世界級威脅情報資料庫，透過即時雜湊值、IP 位址及網域分析，不僅協助惡意軟體研究人員，更能深入解析現存與潛在威脅。
MetaDefender Cloud 平臺目前每天支援來自客戶的超過500萬次掃描請求，同時仍為他們提供0.4秒的平均掃描時間。
我們為什麼要開發 MetaDefender 即服務 （MDaaS）？
滿足市場需求，更好地支援我們的客戶
我們希望確保 MetaDefender Cloud 可以進行擴展，以滿足不斷變化的需求和對高階應用程式安全服務不斷增長的需求，以及隨著越來越多的應用程式遷移到雲，DevOps Security 的複雜性不斷增加。隨著檔流量的增加，有必要 MetaDefender Cloud 保持和改進其性能，以確保為我們的最終客戶提供流暢的用戶體驗。
增強監控和預測性擴展
我們決定將本地架構遷移到基於微服務的雲原生 Kubernetes，並採用基礎結構即代碼，以便能夠在當前的部署和監視模型中提供無縫且一致的體驗。
MetaDefender 即服務架構
當我們遷移到 MDaaS 時，我們的多防毒引擎掃描服務從基於 Windows 的 AMI 到基於 Kubernetes 的集群。管理員現在可以配置每個引擎的可伸縮性。由於引擎的性能不同，因此可以放大較慢的引擎以保持快速掃描時間。
檔案處理流程現在如下所示：
1. 外部請求者將一則訊息傳送至名為「request」的 Kafka 主題 (1)，其中包含請求指示，例如使用 AV1、AV2 等工具掃描檔案、透過 Deep CDR™ 技術對檔案進行淨化處理，以及使用Sandbox 分析檔案等。
2. 隨後，一個訂閱接收訊息的 Lambda 提取器 (2) 會將請求拆分為多個不同的指令，並將其傳送至另一個 Kafka 主題 (3)，這些指令接著會在該處進行分類，並分配給相關的引擎 (4)。
3. 引擎處理模組 (4) 是系統的核心。它包含多個引擎容器，運行於 Amazon Elastic Kubernetes Service (EKS) 上，並能根據工作負載進行縮減或擴展。每個引擎負責處理特定的請求，從而提升處理效能。
4. 在此過程中，亦會使用一個 S3 儲存桶 (5) 來儲存輸入與輸出檔案。
5. 同時，一個可用的日誌處理模組 (6) 會接收來自引擎的日誌，並將其傳送至日誌分析系統。
6. 檔案處理完成後，各引擎產生的結果將傳回「results」Kafka 主題 (7)
7. 隨後，一個採用 AWS Lambda 的微服務聚合器 (8) 將結果整合成一份報告，並將其傳送至一個 Kafka 主題 (9)，再回傳給請求者。
技術挑戰與解決方案
預測發動機行為和處理異常
傳統的MD Core AMI 部署允許引擎在功能強大的電腦上運行，在那裡它們可以相互共用資源（CPU、RAM、磁碟、網路等）。但是，在微服務架構中，每個引擎都在功能較弱的容器中單獨運行。因此，在這種情況下，我們很難確定系統的資源需求。
為了解決這個問題，我們使用舊系統的歷史資料為每個引擎設置了基線，並添加了 Datadog 監控。我們不斷監控引擎的行為並微調基礎設施，直到產品達到卓越的性能。
在性能和託管成本之間保持平衡
在新的架構中， MetaDefender Cloud 可以輕鬆擴展，以適應客戶的無限需求，並以最佳水平運行。然而，這也意味著維護成本可能會成比例地飆升。如果沒有支出檢查或治理模型，擴展可能無法控制，導致雲端服務費用的增加遠遠超出初始分配的預算。
因此，我們經常與利益關係人進行架構審查，以確保一致的體驗和穩定和平衡的成本。
環境類比
在沒有真實即時資料的情況下，將生產負載類比到非生產環境中是一項挑戰。為了解決這個問題，我們設置了並行工作流，以便真實資料同時透過新舊架構，從而使我們能夠並排評估兩者的關鍵指標。這種同類比較使我們能夠快速有效地確定新架構優於舊架構的領域，以及新架構需要改進的領域。
監測、報告和控制
即時雲端基礎設施監控
MetaDefender Cloud 非常重視在其系統中建構強大的監控功能，以提供系統運行狀況的清晰視圖。對於像 MDaaS 這樣的服務，它可以以 0.6% 的錯誤率處理每秒超過 44 個請求 （RPS），依賴多個上游系統和合作夥伴生態系統作為其流量來源，同時為不同的內部和外部下游系統產生大量流量，因此必須將指標、警報和日誌記錄緊密結合到位。
Datadog 中環境的高異常流量警報
除了 CPU、記憶體和性能等標準系統運行狀況指標外，我們還添加了幾個「服務邊緣」指標，例如佇列增長、服務回應時間、狀態蛋糕和日誌記錄，以捕獲來自上游或下游系統的任何異常。此外，我們還添加了對重要指標的趨勢分析，以説明捕捉長期退化。我們使用一個名為 Datadog 的即時流處理應用程式來檢測 MDaaS（您可以 在此處瞭解更多資訊）。它允許我們以特定於容器的粒度透過網路即時追蹤事件，從而使調試更容易。最後，我們發現使用特定於服務的警報有助於更快地確定問題的根本原因。
在 Datadog 中創建需要網站可靠性工程師注意的異常事件
使用 Datadog 平台進行 SaaS 監控使團隊能夠更快、更輕鬆地上手，並且無需進行持續的工具維護、容量擴展、更新或管理。這些優勢意味著團隊有更多時間處理核心產品，而不必自己創建監視解決方案。
結果
• 透過遷移至 MDaaS，引擎微服務現已具備更高彈性，有助於滿足FedRAMP 中等基準的安全控制要求。
• 應用程式效能監控功能現已強化，新增即時警示與儀表板。全新的微服務架構讓管理員能夠輕鬆且有效地監控應用程式及其各個元件，同時也便於部署與擴展。
• 既然基礎架構被定義為程式碼，這便能讓使用者輕鬆編輯和分發配置，同時確保基礎架構維持在預期的狀態。這意味著您可以建立可重現的基礎架構配置。
進一步了解 MetaDefender Cloud 或聯絡我們以獲取更多資訊。
