在 Ivanti 工作期间,我亲眼见证了 AI如何成为企业组织的力量倍增器。如果进行战略性部署,AI 可以大规模加速决策和运营执行,其效率是团队单靠人工难以持续实现的。然而,如果缺少清晰且可执行的 AI 护栏,实施 AI 会让组织面临严重的新风险。

Ivanti《2026 年网络安全现状报告》凸显了我在整个行业中观察到的一个日益扩大的脱节:人们对 AI 的乐观预期正在上升,但治理和准备程度却没有跟上。目前,仅有 50% 的组织表示已建立正式护栏,用于指导 AI 系统和智能体的部署与运行。

随着 AI 采用速度超过治理推进速度,我看到组织正面临不断增加的内部风险,例如影子 AI 使用、数据质量不一致、输出存在偏见以及员工培训不均衡等。

从我横跨法务、安全和人力资源的工作视角来看,可以明确地说:AI 治理并不是抽象的合规演练,而是建立信任、问责和控制的核心要求。

企业 AI 的现状:充满风险的“蛮荒地带”

要大规模实现负责任 AI,需要有意识地进行治理,并为所有员工建立可执行的护栏。如果忽视这一点,影子 AI 的使用将继续增长。我们的《2025 年工作中的技术》研究报告显示,46% 的办公室员工使用并非由雇主提供的 AI。更令人担忧的是,近三分之一的员工(32%)会向雇主隐瞒自己在工作中使用 AI 工具的情况。

太多组织在没有总体治理的情况下部署 AI,而这种做法的后果是真实存在的。组织可能暴露敏感数据,可能违反监管义务,也可能削弱市场信任。某个团队在缺少适当护栏的情况下部署 AI 平台,很快就可能出现有偏见的输出或性能下降。没有人工监督,AI 系统可能生成不准确的建议或触发不当操作,从而让人们对 AI 驱动的结果产生危险的错误信心。

什么是 AI 治理框架?

AI 治理框架是我们在整个生命周期中设计、部署和监督 AI 系统的蓝图。其目标是让 AI 使用与业务目标、法律义务和企业风险承受能力保持一致,并从一开始就内置透明度和问责机制。

在 Ivanti,我们的框架明确了:

  • 谁负责 AI 决策和结果
  • 如何识别风险、评估和缓解
  • 必须具备哪些护栏,才能让 AI 系统上线
  • 如何对 AI 的性能、行为和影响进行持续监控

在实践中,治理让规模化成为可能。清晰的框架使我们能够超越碎片化试点,在整个企业范围内将 AI 运营化。没有治理,采用就会停滞。

我们的立场很简单:治理不会阻碍创新,而是让创新具备可持续性。

AI 治理框架中的 3 层 AI 护栏

作为 Ivanti AI 治理委员会的一员,我认识到,全面的框架需要多层护栏。每一层都应对不同类别的风险。它们共同构成安全、可靠使用 AI 的基础。

技术护栏

技术护栏将 AI 系统限制在预定义的安全和运营参数范围内。

数据护栏:数据护栏保护数据完整性,并确保 AI 系统基于可信输入进行训练和运行。这些护栏通常由数据和安全团队负责,他们会制定数据来源、验证、访问控制和持续质量监控的标准。糟糕的数据质量仍然是有效部署 AI 的主要障碍,尤其是在安全领域,不完整、有偏见或未经验证的数据可能会扭曲结果,并随着时间推移降低检测准确性。

模型护栏:模型护栏关注稳健性、可解释性和偏见检测,以确保 AI 系统能够长期按预期运行。这些护栏通常由安全、数据科学和平台团队设计,他们会在部署前以及部署后持续定义漂移、偏见和性能下降的测试要求,尤其是在模型重新训练或接触不断变化的运营数据时。

应用和输出护栏:这类护栏用于验证 AI 生成的输出,尤其是在决策支持或自动化响应场景中。这些护栏通常由安全和运营团队实施,他们会定义审批阈值、升级路径以及人在环路控制。没有这些护栏,系统可能会生成不准确的建议或采取不当操作,从而强化对自动化的错误信心。

基础设施护栏:基础设施护栏保护承载和支持 AI 工作负载的系统,通常由 IT 和安全团队负责。这些团队会在云端和本地环境中执行安全部署实践、访问控制、日志记录和可审计性,同时确保 AI 服务集成到现有的安全监控和事件响应工作流中。

伦理护栏

伦理护栏使 AI 行为与组织标准保持一致,并在 AI 影响人员、客户或业务结果时明确问责。

Ivanti 的 AI 治理委员会在这方面发挥着核心作用。我们处理自主智能体的“灰色地带”。我们汇集法务、安全、人力资源和业务领导者,共同定义可接受使用、升级路径和问责机制。什么时候应由人类介入?决策如何审计?当事情出错时,最终由谁对结果负责?

一旦缺少这种治理,后果会迅速升级。

近期事件显示了伦理护栏不清晰所带来的代价。例如,由 xAI 开发的 AI 聊天机器人 Grok 在生成未经同意且不当的真实个人图像后,引发广泛批评。这一失败不仅是技术问题,也与治理有关,因为伦理边界没有得到充分定义。

同样的问题也会出现在企业内部。当 AI 阻止用户账户、标记员工或限制客户访问时,如果决策有误,我们必须知道由谁负责。无论 AI 用于安全、人力资源还是面向客户的系统,伦理原则都是一致的。治理可确保在自动化造成伤害之前就明确问责。

监管和法律护栏

监管和法律护栏确保 AI 使用符合不断演变的全球法规、行业规则和数据保护法律。由于这些要求变化迅速,团队不能在职能孤岛中运作。

法务必须尽早引领 AI 治理。在 Ivanti,我们与安全和 IT 团队紧密合作,解读义务并将其转化为可执行的控制措施。成功取决于从一开始就保持一致,确保合规要求嵌入 AI 设计和部署之中。

近期事件表明,监管护栏不能事后再考虑。欧洲和英国监管机构确认,Clearview AI 基于抓取数十亿张图像而构建的面部识别业务受到 GDPR 等隐私法律约束,并基于违规行为采取了执法行动。这表明,当治理与监管预期不一致时,组织将面临法律风险。

教训很明确。法务和产品开发团队必须尽早合作,将监管义务嵌入 AI 设计、部署和运营之中。治理可确保合规要求默认得到执行,而不是等到监管审查开始后再追溯补救。

AI 治理与 AI 风险管理

治理和风险管理密切相关,但二者并不相同。我的看法是:治理设定规则和问责结构。风险管理则专注于在整个系统生命周期中识别和缓解与 AI 相关的具体威胁。

常见 AI 风险包括数据泄露、偏见、不可靠输出、对自动化决策的过度依赖,以及通过未受管理的工具或集成引入的安全弱点。随着 AI 系统变得更加自主,这些风险会相互叠加。

将 AI 风险缓解融入治理,可确保风险不会被孤立处理。我们会结合业务影响、运营韧性和组织的风险偏好来评估这些风险。这样,我们可以在最关键的地方优先部署控制措施,并避免采取无法降低风险却拖慢进展的一刀切限制。

扩展 AI 治理面临的挑战

许多组织会从单个团队中的小范围 AI 试点开始。扩展到全企业采用时,会带来新的挑战。

孤岛是削弱治理最快的方式。安全、IT、法务和业务团队往往基于相互冲突的假设开展工作。我们需要跨团队的共同所有权。正如我的同事 Sterling Parker 所解释的,成功的愿景需要让整个业务中的利益相关者参与进来,以防止“AI 蔓延”。

这一转变需要以人为中心的运营模式。我们的治理机构会清晰定义 AI 可以在哪些方面增强现有角色、哪些地方需要额外培训,以及哪些场景仍然必须保留人工监督。来自员工的持续反馈有助于确保 AI 应用于能够创造价值的领域,同时不会造成问责或信任方面的缺口。我们优先提升员工技能,以积极采用取代恐惧。

我们的网络安全研究显示,成熟组织应对这些挑战的方式有所不同。自评为网络安全最先进水平(第 4 级)的组织,相比网络安全成熟度处于中等水平(第 2 级)的组织,使用全面 AI 护栏的可能性高出近 3 倍。

它们会及早投资治理,使领导层围绕共享框架保持一致,并将 AI 视为战略能力,而不是一组工具。这些组织更有可能在整个企业范围内将 AI 运营化,同时保持信任和控制。

如何实施负责任 AI

构建框架只是基本要求。执行才是 AI 治理真正落地的关键。

从明确政策开始,涵盖可接受使用和升级处理。这些政策必须务实,并与您现有的风险结构直接关联。

治理必须易于获取和理解。负责任 AI 是全企业范围的要求,而不是某个专业职能孤岛的任务。有针对性的培训可确保每位用户都了解自己在维护这些护栏方面的角色。

采用受治理的方式推进 AI 赋能。“治理化赋能”假设 AI 已在整个企业中使用,并定义其可以在何处以及如何安全运行。它需要持续监控和执行,以确保随着使用情况和风险的演变,系统始终与政策保持一致。这是一项持续性的纪律,而不是一次性项目。

负责任 AI 的未来从现在开始

AI 正以不容忽视的速度重塑组织的运营方式。问题不再是是否采用 AI,而是如何安全地实现规模化。拥有强大治理的组织可以在不牺牲信任的前提下实现扩展。那些迟迟不行动的组织,将进一步扩大威胁与准备程度之间的差距。

在 Ivanti,我们致力于构建能够推动创新的 AI 治理,同时保护最重要的事物——我们的员工、客户和运营。这是一项至关重要的工作,现在正是行动之时。

要进一步了解 AI 部署差距以及领先组织如何缩小这一差距,请查看Ivanti《2026 年网络安全现状报告》