Black Hat NOC 揭示 AI 安全的人工边界

Black Hat 的 NOC 在处理了 2.85 亿条警报后登上 Google News，但其最明确的发现却挑战了自主式 AI 安全的承诺。定制智能体加快了调查速度，但仍由经验丰富的分析师决定哪些威胁真正重要，以及何时应对自动化结论保持克制。

网络运营中心（NOC）在拉斯维加斯举行的 Black Hat USA 2026 期间，为超过 23,000 名与会者提供防护。其环境汇集了敌对研究流量、现场培训演练、受感染设备和真实攻击。这样的混合环境意味着，若脱离上下文，常规警报数量几乎毫无意义。

这并非 AI 与人工分析师之间的对立，而是自动化的承诺与高度模糊网络中所需判断力之间的冲突。NOC 的经验展示了智能体在哪些场景有帮助、商业产品在哪些方面不足，以及为何人工决策权仍居于核心地位。

Black Hat NOC 实际面对的是什么

Black Hat 的网络将威胁检测变成了一项分类难题，几乎每个信号看起来都可疑。

Black Hat USA 于 8 月 1 日至 8 月 6 日在 Mandalay Bay Convention Center 举行。主会议安排在最后两天，此前为四天的专项培训。其议程包含 200 多场会议，涵盖恶意软件、检测工程、隐私、密码学、AI 智能体和自主利用等主题。

NOC 团队并不只是监控场地原有的基础设施。它用为活动专门选定的设备替换了每一台路由器、交换机、防火墙和无线接入点。这样的控制权使团队能够在流量需要调查或缓解时立即作出响应。

根据 NOC 现场报告，超过 100 人为此次行动提供支持。分析师、研究人员、工程师和威胁猎手与 Palo Alto Networks、Corelight、Cisco、Arista、Lumen 和 Jamf 的技术协同工作。

活动规模已发生显著变化。早期版本的 NOC 由三人负责保护一个有 1,500 名与会者的会议。到 2026 年，与会人数已超过 23,000，培训课程也增至 100 多门。

更大的难题不只是流量规模。Black Hat 允许的活动，在大多数企业网络中都会立即触发升级响应。与会者会运行安全工具、研究恶意软件、重放攻击，并测试培训中学到的技术。

这些获授权的活动造就了团队所称的“Black Hat positives”。它们是对会议预期并允许行为的准确检测。这并非误报，但对其进行拦截仍然是错误的应对方式。

这一区分至关重要，因为传统安全自动化通常假定可疑活动应被遏制。在 Black Hat，这一假设可能中断课程或干扰正当研究。警报必须先获得上下文，才能成为事件。

网络开放仅 15 分钟，就有人攻击了内部服务器。这一早期活动说明团队为何需要立即掌控基础设施，也表明真实威胁会与获授权的实验同时出现。

到会议结束时，团队已收到 2.85 亿条信息性警报。它将这些信号缩减为 1,710 万个已识别威胁，最终仅拦截了 383 起事件。如此巨大的缩减幅度表明，原始警报量对于运营风险的说明极其有限。

1,710 万个威胁与 383 起被拦截事件之间的差距，是这篇报道的核心数字。自动化工具发现了活动，但由人工引导的分析决定哪些活动需要干预。NOC 并非试图最大化拦截数量。

Black Hat 高级网络运营负责人 Neil “Grifter” Wyler 将这项工作形容为在针堆里找针。每个候选项看起来都已具备危险性。真正的任务是识别其中违反活动边界的更小一部分。

这一环境使 NOC 成为检验 AI 安全失效问题的严苛场景。模型不能依赖恶意、良性或异常等简单标签，而必须解读意图、位置、时机、身份和会议规则。

这一成果之所以吸引 Google News，是因为它提供了供应商演示很少能提供的东西。智能体面对真实流量运行，承受时间压力，错误决策会带来后果。它们的价值取决于证据和监督，而非流畅的回答。

为什么商业 AI 安全工具未能满足需求

NOC 构建定制智能体，是因为现有产品无法满足其对速度、负载和上下文的要求。

与许多安全组织的起点一样，团队最初将机器学习用于生成警报。这种方法可以识别异常行为，或在比分析师能够手动检查的更多数据中发现模式。但它不会自动说明这些行为是否值得采取行动。

NOC 人员评估了多种现有工具，但发现许多工具无法承受其流量负载。其他产品在网络变化时响应不够迅速。因此，团队围绕自身工作流程开发了软件。

这一决定暴露出 AI 安全采购中的常见弱点。买方往往比较模型功能、界面质量或支持集成的数量。运营成败则更依赖于遥测数据质量、响应时间，以及系统对本地规则的表达能力。

Black Hat 的规则尤其难以编码。一项漏洞扫描在某个教室中可能完全正常，但针对会议基础设施时则不可接受。同一种数据包模式会因其来源和目的地不同而具有不同含义。

NOC 使用名为 Trevor 的 AI 聊天机器人，并接入 Palo Alto Networks 的安全运营平台。分析师可以询问某个地址，助手会从日志中检索相关信息。这减少了启动调查所需的机械性工作。

检索的价值在于缩短警报与其支持证据之间的距离。它也比自主事件响应更为有限。Trevor 在不获得广泛设备遏制权或指控用户权限的情况下协助分析师。

团队在 2026 年活动期间推出了一套名为 NOCgentic 的更大型系统。这个多智能体平台会将问题路由至专门组件、查询遥测数据，并返回包含建议后续步骤的答案。公开的 NOCgentic repository 现已记录该项目。

多智能体平台使用多个面向特定任务的 AI 组件，而不是要求一个模型处理每个阶段。一个组件可以检索网络证据，另一个则可以解释问题或准备回复。路由可以提升专注度，但也会增加需要安全控制的连接点。

NOC 将 NOCgentic 定位为经验较少的威胁猎手的助手。其目标效果是让一级操作员身旁拥有更深入的分析支持。这一定位很重要，因为它将专业能力视为系统可以协助分发的资源。

团队还开发了限制更少的版本 SOCgentic。其界面 Postcog 与名为 Precogs 的传感器协同工作。这些名称取自电影 Minority Report，其中预测会在犯罪发生前到来。

幽默让界面在高压工作中更容易接受，但底层设计依然严肃。分析师在调查重复警报时会产生疲劳。一个有用的助手可以检索上下文、提出问题并整理证据，而不拥有最终决策权。

NOC 的经验还包括 AI 辅助软件开发。2024 年，团队开发了基于 Rust 的网络诊断工具 FragglePacket，因为现有产品缺少所需能力。在 Black Hat USA 2026 期间，AI 帮助开发者新增了 71 项功能。

这些新增功能包括攻击路径探测、数据包模糊测试、数据包捕获重放、分阶段 HTTPS 分析和基于规则的诊断引擎。数据包模糊测试会发送经过改动的输入以识别故障。数据包捕获重放则重现记录的流量，用于受控测试。

功能数量不应被误认为独立验证。AI 可以加快代码生成，同时也可能引入缺陷、不安全的假设或不必要的复杂性。生成的改动仍需经过测试和审查。

AI 安全失效往往正是从这里开始。团队衡量模型生成代码或调查结果的速度，却忽视其结果在陌生条件下是否仍然正确。速度既会增加有用产出，也会增加审查责任。

Black Hat 的定制方法之所以成功，是因为它与自身遥测数据和运营流程紧密结合。大多数企业无法直接复制这样的环境。它们拥有规模更小的团队、有限的预算、碎片化的日志，以及对基础设施更少的控制权。

据报道，NOC 的资源由经过筛选的技术合作伙伴捐赠。其负责人将这些公司称为运营合作伙伴，而非付费购买访问权的赞助商。这一区别让团队能够获得许多企业安全团队难以组合使用的工具。

因此，通过 Google News 了解该项目的组织应避免得出肤浅结论。经验并不是每个安全运营中心都需要多个自制智能体，而是自动化必须契合现有的证据、授权机制和响应流程。

Google News 聚焦自动化与判断之间的差距

NOC 最强的 AI 安全保障，是其能够拒绝自动化建议。

团队一再强调，人类仍在回路中。这个说法可能沦为模糊的营销语言，但 Black Hat 赋予了它具体含义：由人保留解读上下文并说“不”的权力。

这一权力至关重要，因为网络中包含获授权的进攻性活动。智能体可能正确检测到利用行为，却误解其发生原因。若在缺乏上下文的情况下依据检测采取行动，可能会干扰研究，而非阻止攻击。

这一问题类似于安全运营领域长期存在的挑战。检测系统识别技术模式，而事件响应人员判断业务影响。AI 改变了这项工作的速度和呈现方式，但并未消除两者之间的区别。

Black Hat 使用 AI 收集证据、搜索遥测数据、构建画像并建议后续步骤。它并未将流畅的回答视为最终证据。分析师可以在干预前检查底层网络数据。

这种证据优先的方法应对了大语言模型的一项弱点。模型生成的是可能性较高的语言，而非得到保证的事实。连接到工具后，它们也可能选择错误的数据、误解查询，或得出缺乏依据的结论。

NOC 此前在亚洲的工作提供了一个有用例子。一名智能体标记出包含疑似用户账户标识符的明文通信。分析师没有接受最初解释，而是继续调查。

这些流量来自一款与会议录制相关的应用。根据一项 network investigation，后续请求暴露了一个 Tencent application programming interface 密钥。团队没有使用该凭据，因此其权限范围仍不清楚。

这种克制本身就是分析的一部分。证据支持“某项凭据已泄露”的判断，但不足以断言攻击者能够访问什么。负责任的工作流程会保留这种不确定性，而不是用猜测填补空白。

同一事件还涉及另一台设备：它触发了针对两种远程访问木马的检测。远程访问木马（RAT）可让攻击者控制已被攻陷的系统。多个彼此独立的检测结果降低了误判的可能性。

一个名为 The Profiler 的 AI 组件分析网络证据后推断，该设备可能属于一名科技记者。随后，人工团队利用注册信息和内部媒体联系人缩小了搜索范围。

这名记者收到了警告，并被建议在联系企业安全人员之前关闭设备。该智能体加快了身份确认过程，但由人员核实结论并处理这一敏感互动。

这一过程展示了一种实用的人在回路（human-in-the-loop）模式。AI 缩短了搜索时间，分析师评估其证据，获授权人员决定如何响应。每个阶段都有明确职责。

它也揭示了隐私层面的权衡。从流量中推断个人身份，能够帮助保护使用受感染设备的人。但如果组织在没有明确规则、适当性或问责机制的情况下使用这种能力，它同样可能构成侵扰。

Black Hat 的特殊环境并不能消除这种担忧。会议参与者接入的是一个出于防御目的而被高度监控的网络。企业员工、客户和访客可能具有不同的预期和法律保护。

安全负责人应在部署前明确智能体可以推断哪些内容。他们还需要为涉及身份的结论设置留存期限、访问控制和升级规则。即使推断正确，仍可能带来治理风险。

另一个担忧是自动化偏见：由于机器建议显得自信或细致，人们倾向于信任它。AI 生成的调查摘要往往看起来很完整，即便它们遗漏了相互矛盾的证据。初级分析师尤其可能受到这种呈现方式的影响。

NOC 尝试将智能体用作高级专业知识的延伸。如果回答能够展示其证据及推理边界，这有助于改善培训。但如果初级人员学会在未进行独立核查的情况下批准建议，情况就会变得危险。

另一则事件响应警告进一步印证了这一点。Gartner 分析师 Craig Porter 表示，内部 AI 智能体即使在获授权权限内运行，也可能造成意外事件。

Porter 认为，传统事件响应并未完全涵盖那些在没有恶意攻击者的情况下仍会产生有害结果的系统。安全团队必须调查行为、设计和决策过程。这将责任范围扩展到普通恶意软件遏制之外。

Black Hat NOC 从防御角度也遇到了同样的概念边界。获授权的智能体可以检索数据、建议行动或生成软件，同时仍可能带来风险。获得许可并不等同于正确。

Google News 的分发可能会将这个故事带给安全运营之外的读者。对这些读者而言，重点很简单：AI 安全并不只会在攻击者越狱模型时失效。

当防御方赋予智能体过大的权限、薄弱的证据基础或不明确的目标时，它同样会失效。模型可以遵循指令，却依然导致错误结果。人工审查必须被设计进工作流程，而不是等到事件发生后再补上。

NOC 也揭示了 AI 在进攻端的局限

2026 年，AI 驱动的攻击速度很快且噪声很大，但防御者不能假设这种优势会持续。

Black Hat 团队发现，当前 AI 驱动的攻击相对容易检测。Wyler 表示，它们行动迅速，但缺乏隐蔽性。其行为触发了许多传感器，包括金丝雀、蜜罐和其他欺骗系统。

金丝雀是一种受监控的资源，旨在揭示未经授权的访问。蜜罐则提供一个诱人的诱饵，让防御者能够观察可疑行为。当自动化攻击者不加区分地触碰大量系统时，这两种机制都非常有效。

这一发现使有关自主网络攻击的最令人担忧的预测变得更复杂。更快的利用并不必然带来更好的规避能力。一个测试一切的智能体，可能会因规模、重复性和异常访问模式而暴露自己。

这种局限不应让安全团队长期安心。模型和智能体框架正在改进，攻击者也可以优化提示词和工具访问方式。他们还可以利用失败尝试的反馈来降低噪声。

Black Hat 官方 2026 年议程反映了这种转变。据keynote schedule显示，一场主题演讲聚焦于当 AI 让进攻能力变得更廉价时如何防御系统，另一场则探讨智能体时代的漏洞研究。

担忧不止于 AI 生成的恶意软件。智能体可以自动化侦察、测试漏洞、整合公开信息，并运行成熟的安全工具。它们的优势往往来自协调和持续性，而不是某种全新的漏洞利用方式。

这使得网络证据愈发重要。终端控制措施或许能够记录单台设备上发生的事情，而网络遥测则显示了哪些系统彼此通信。单独依靠任何一种视角都不足够。

NOC 能够区分这些活动，是因为它控制着基础设施并整合了多个来源。许多企业缺乏这种可见性。云服务、远程设备、第三方应用和加密流量会将证据分散在不同所有者之间。

遥测数据不完整的组织，会为其防御智能体提供不完整的上下文。由此生成的摘要可能看似确定，实际却建立在缺失数据之上。在成为模型问题之前，这是一个可观测性问题。

企业还面临更严格的运营限制。Black Hat 可以容忍激进的监控和快速干预，因为参与者进入的是一个专门的安全环境。医院、银行或制造商则必须保护可用性、隐私和受监管流程。

NOC 拦截的 383 起威胁体现了审慎克制。拦截更多并不一定能提升安全性，反而可能中断合法工作，并削弱人们对响应团队的信任。

这一权衡直接适用于自主遏制。能够禁用账户或隔离系统的安全智能体可以迅速阻止攻击，但同样的行动也可能中断营收、患者护理、生产活动或正在进行的调查。

人工审批会带来延迟，但取消它意味着将运营权限交给可能误读上下文的软件。正确的设计取决于可逆性和影响程度。低风险行动可以比高影响决策获得更多自动化。

例如，智能体可以安全地利用资产归属数据或近期网络活动来丰富告警，也可以准备遏制建议。但隔离生产数据库则需要更高的门槛和更强的授权。

NOC 还受益于异常丰富的经验型人员。其操作员了解在异常环境中什么样的活动属于正常。模型无法仅通过阅读历史工单就取代这种机构知识。

团队需要让智能体能够检索经过整理的运营上下文，其中包括资产归属、获批准的测试窗口、业务依赖关系和升级联系人。可搜索的知识库可以帮助为获授权的调查保存这些材料。

仅有文档还不够。安全团队必须测试智能体能否在压力下检索到正确规则，也应记录哪些证据影响了每一项建议。

怀疑态度仍然是必要的，因为大多数报告结果来自参与 NOC 运营的人员。他们的说法描述了一次严肃的实时部署，但并不构成独立基准。其他组织可能获得不同结果。

FragglePacket 的 71 项新增功能听起来令人印象深刻，但功能数量并不衡量可靠性。NOCgentic 的发布提供了有价值的透明度，但公开代码并不能证明每一次模型响应都准确无误。

读者应区分三项主张。AI 显然帮助该团队检索和组织信息。据称，它加快了软件开发和威胁狩猎；但它并未消除对专家核验的需求。

这种区分让报道保持客观。Black Hat 展示了智能体的高效应用，却并未证明自主安全运营已经准备就绪。其最可信的成功来自软件与人员之间受控的协作。

安全团队接下来应关注什么

下一个考验是，Black Hat 的证据优先模式能否经受更隐蔽的攻击、常规预算和更广泛智能体权限的检验。

第一个信号是 Black Hat USA 2027 的攻击隐蔽性。2026 年，据称 AI 驱动的活动触发了许多防御控制措施。真正的变化将出现在智能体降低扫描噪声，并在遭遇欺骗系统后进行适应之时。

如果发生这种情况，NOC 将需要更强的行为分析和更好的跨系统关联能力。这将支持一种担忧：当前的检测优势只是暂时的。若持续出现高噪声行为，则会削弱有关近期自主进攻能力的说法。

第二个信号是 NOCgentic 是否获得独立采用。该项目的公开发布允许其他团队检查其架构、测试其工作流程并报告失败情况。来自普通安全运营中心的证据，将比 Black Hat 上的更多演示更重要。

采用情况应通过有文档记录的调查、审查时间、更正率和运营事件来衡量。下载量或代码仓库关注度反映的是兴趣，而非安全价值。有价值的评估必须将获得辅助的分析师与既有工作流程进行比较。

第三个信号是组织赋予防御智能体多少权限。检索和摘要与账户暂停、终端隔离、防火墙变更或凭据轮换的风险不同。产品越来越常在“自动化”这一标签下模糊这些类别。

安全团队应为每一项行动要求明确边界。他们应当知道，智能体是在建议、准备还是执行变更。日志必须保留请求、证据、模型响应、人工审批和最终结果。

当智能体在获授权范围内行事却造成损害时，这些控制措施同样有帮助。调查人员需要重建系统为何采取行动、使用了哪些信息，以及由谁批准了其权限。普通恶意软件处置手册无法单独回答这些问题。

Black Hat 的结果表明，智能体在近期最安全的角色是加速分析。它们可以收集证据、关联日志、识别缺失的问题，并起草响应计划。人类应保留对重大决策的权力。

这种安排依然能创造可观价值。分析师花在切换控制台和编写查询格式上的时间会更少。高级人员可以编码调查模式，帮助初级队友以更一致的方式工作。

不过，团队应避免把生成的解释当作证据。底层的数据包、日志条目、身份记录或配置才是证据。智能体的摘要只是通向这些材料的界面。

Google News 读者还应关注供应商如何描述人工监督。“Human in the loop”如果组织并未明确界定这个“闭环”，就没有太大意义。一个例行批准不透明操作的人，能提供的保护十分有限。

有效的监督需要时间、获取相互矛盾信息的权限，以及拒绝模型判断的授权。审查人员还需要接受培训，了解自动化偏见和模型局限性。否则，人工批准就会沦为一种仪式。

Black Hat NOC 提供了一个更有力的范例，因为分析师既了解网络，也理解活动规则。他们能够识别出哪些在技术上看似恶意的流量，实际上属于获授权的演练。这样的情境化判断权很难实现自动化。

最后的教训并不是 AI 在 Black Hat 失败了。这项技术在安全领域最严苛的环境之一中完成了有意义的工作。正因为团队将其用于应对真实的模糊情境，它的局限才得以显现。

NOC 的经验用一种更有价值的运营叙事，取代了简单的自动化故事。AI 提升了速度，扩大了专业知识的可及性，并帮助梳理压倒性的证据量。但它同样需要定制工程、大量遥测数据，以及人为克制。

安全负责人现在应当审视一个具体工作流程，而不是购买一个抽象的承诺。选择一项重复性调查，界定其证据范围，限制代理权限，并在衡量速度的同时记录修正情况。只有在记录证明可行时，才扩大其授权范围。

下一条 Google News 标题很可能聚焦于更快的代理或更大规模的攻击。更重要的问题是，组织能否重建并质疑这些代理的行为。Black Hat 的答案是可以，因为人类仍然承担责任。

这一标准应指导每一次部署。分析师能否检查证据、拒绝建议，并在不造成更大伤害的情况下撤销行动？如果其中任何一个答案不明确，该代理就尚未准备好获得更广泛的权限。