前面讲过 Agent 的工程实现——那是一个"每台终端上跑一份"的问题。平台侧是另一个维度的问题,它要同时面对三个数量级:
这三个数量级叠加,平台设计的核心矛盾就出现了:采集要全、存储要久、查询要快、成本要低,四者互相制约。本文拆解一个 EDR 云端管理平台的架构设计。

┌──────────────────────────────────────────────────────┐
│ 应用层:控制台 · 告警视图 · 狩猎查询 · 报表 · API │
├──────────────────────────────────────────────────────┤
│ 查询层:查询路由 · 索引服务 · 聚合引擎 · 缓存 │
├──────────────────────────────────────────────────────┤
│ 存储层:热存储(可检索)· 温存储(压缩列存)· 冷归档 │
├──────────────────────────────────────────────────────┤
│ 处理层:解析 · 规范化(OCSF) · 富化 · 分流 · 去重 │
├──────────────────────────────────────────────────────┤
│ 接入层:连接网关 · 认证 · 限流 · 消息缓冲(Kafka) │
├──────────────────────────────────────────────────────┤
│ 管理层:策略下发 · 指令通道 · Agent 健康 · 版本管理 │
└──────────────────────────────────────────────────────┘
▲ ▲
│ 长连接(Agent 上行/下行) │ 管理 API
十万级终端 Agent 分析师 / 第三方系统
关键设计原则:接入、处理、存储、查询四层解耦。任何一层的容量瓶颈不应直接拖垮其他层——Agent 上报激增时,接入层用缓冲削峰;存储层扩容时不中断查询;查询高峰时不影响数据写入。
Agent 与平台之间需要双向通信(上报 + 接收指令)。候选方案:
|
协议 |
优势 |
劣势 |
适用 |
|
HTTPS 短连接轮询 |
实现简单、穿透性好 |
延迟高、连接开销大 |
低频上报 |
|
WebSocket 长连接 |
双向、低延迟、穿透性好 |
需处理断线重连 |
常规方案 |
|
gRPC 流 |
高效、多路复用、强类型 |
代理兼容性需验证 |
高性能方案 |
|
MQTT |
轻量、专为海量设备设计 |
需额外 broker 集群 |
超大规模 |
实践中主流是 WebSocket 或 gRPC 长连接:常态保持一条连接用于指令下发,数据上报可在连接上复用或走独立的 HTTPS 批量接口。
单机连接数有上限(受文件描述符、内存、CPU 影响)。十万级终端必须用连接网关集群:
平台升级重启、网络抖动后,十万台终端可能在几十秒内同时重连,瞬间打满网关。缓解手段:
Agent 上报(批量、压缩)
→ 接入网关(认证、限流)
→ 消息队列缓冲(Kafka / Pulsar)
→ 解析与规范化(统一 schema)
→ 富化(资产属性、威胁情报、地理位置)
→ 分流(按价值路由到不同存储)
→ 落库
Kafka 这类消息队列在管道中是削峰 + 解耦的关键:
分区策略通常按"租户 ID"或"终端 ID"分区,保证同一终端的事件有序,同时便于并行消费。
这是平台架构中最考验设计的地方。业界常见三层模型:
|
层级 |
保留期 |
介质 |
查询特性 |
成本 |
|
热存储 |
7~30 天 |
搜索引擎 / 列式数据库(SSD) |
毫秒~秒级,支持复杂查询 |
高 |
|
温存储 |
90~180 天 |
压缩列存(Parquet/ORC)落地对象存储 |
秒~分钟级,批量扫描 |
中 |
|
冷归档 |
1 年以上 |
对象存储低频层 / 归档层 |
分钟~小时级,需先恢复 |
低 |
不同查询模式适合不同引擎:
成熟平台往往混合使用:搜索引擎负责告警与近期检索,列存数据库负责狩猎的大范围扫描,数据湖负责长期归档与回溯重算。
索引不是越多越好。每增加一个索引字段,写入成本和存储成本都上升:
存储成本主要由保留期驱动。合理的做法是按数据用途设定不同 TTL:
同时配置自动下沉策略:热存储中超期数据自动转温存储(压缩为列存),温存储超期后转冷归档,全程对查询层透明。
|
查询类型 |
示例 |
执行路径 |
|
点查 |
查某哈希的命中记录 |
倒排索引,毫秒级 |
|
范围过滤 |
某终端某时段的进程列表 |
时间分区 + 终端索引 |
|
跨全网扫描 |
全网搜某命令行模式 |
列存批量扫描,可能分钟级 |
|
聚合统计 |
各规则告警趋势 |
预聚合 + 列存 |
|
关联深度查询 |
某进程的完整父子链 |
图/关系查询 + 多表 join |
分析师随手发起的一个全网扫描查询,可能拖垮整个集群。治理手段:
平台自身必须监控:查询 P50/P99 延迟、扫描数据量、缓存命中率、慢查询 top N。这些指标既用于运维,也用于指导索引优化。
SaaS 模式下,平台同时服务多个客户(租户),隔离是硬要求。
一个租户的大量上报或重量级查询,不应拖慢其他租户:
不同租户的数据可能有地域合规要求(数据不出境)。架构上需要支持按地域分集群部署(如国内集群、欧洲集群),租户数据固定落在指定地域。
平台架构必须决定检测逻辑在哪里运行,这直接影响带宽、延迟和终端资源:
|
位置 |
优势 |
劣势 |
适合的检测 |
|
终端本地 |
零延迟、离线可用、不上传原始数据 |
受终端资源限制,规则复杂度受限 |
已知恶意拦截、高频行为规则、勒索检测 |
|
云端 |
算力充足、可跨终端关联、规则更新即时 |
依赖网络、延迟高 |
跨终端关联、复杂 ML、威胁狩猎、情报回溯 |
实践中是分工:轻量规则在终端跑(毫秒级判定),复杂的跨终端分析和回溯在云端跑。规则下发采用"签名 + 版本 + 灰度"机制,Agent 定期拉取规则增量更新。
需要特别注意:云端检测不能是唯一防线。离线终端、隔离网环境的检测能力必须由终端本地规则保障。
平台向 Agent 下发指令(隔离终端、扫描、取证收集、升级),这条链路的可靠性直接影响响应效果。
指令通道是攻击者的高价值目标——伪造"解除隔离"指令可能让已被隔离的失陷终端重新联网:
云上 EDR 平台的最大成本项通常是存储和网络出口:
EDR 云端管理平台的架构本质,是在四个互相制约的目标之间找平衡:
|
目标 |
关键手段 |
|
采集要全 |
分级采集、增量上报、终端侧过滤 |
|
存储要久 |
热/温/冷三层存储、按用途设 TTL、自动下沉 |
|
查询要快 |
混合存储引擎、分层索引、查询分级与治理 |
|
成本要低 |
压缩、采样、冷归档、弹性计算 |
再叠加三个工程约束:
平台侧最容易被低估的是"查询体验"——检测能力再强,如果分析师发起一次狩猎要等十分钟才出结果,EDR 的实际价值就大打折扣。因此查询层的索引设计、分级治理和结果缓存,与技术选型同样重要。