数美科技携大模型审核Agent亮相2025云栖大会，定义 AI 风控新范式

  2025云栖大会于9月24日至26日在杭州云栖小镇成功举办。这是第十七届云栖大会，在AI时代，大会再次彰显引领AI与云计算发展的风向标意义。

  本届大会主题为“云智一体 · 碳硅共生”，展现当下AI自主行动阶段，AI云技术蓬勃发展，渗透千行百业、真实世界的壮美画卷。大会期间，共举办3场主论坛、110余场聚合话题，设置人工智能+、计算、前沿应用三大展馆，4万平米展览承载500余家展商参展。会期迎接了来自全球六大洲、50余个国家超过12万人次观众线下参会，超过6700万人次在线上收看。

  作为阿里云的生态合作伙伴，数美科技带来大模型审核 Agent 相关主题分享，并携*新 AIGC业务风控实践成果参展，与行业伙伴共同探讨 AI发展带来的机遇与挑战。

  一、技术专家解读，揭秘大模型审核Agent核心价值

  数美科技人工智能高级工程师、互联网行业咨询总监阮杰在大会现场，以“当‘洪水’遇上‘智能堤坝’：大模型如何重构内容安全防线？” 为主题，拆解数美大模型审核Agent 的技术突破与核心价值。

  “大模型审核 Agent 是连接传统 AI 与人工审核的智能中枢，其核心定位是通过 LLM 技术重构审核逻辑，实现从 ‘单一工具’ 到 ‘治理系统’的进化。” 阮杰现场演示，该 Agent 基于自研大模型，通过四级风险标签体系(从违规大类延伸至意图解析)，不仅精准识别显性违规，更能拆解隐含风险和复杂案例。

  他特别提到，大模型审核Agent并非是传统 AI 审核或人工审核的替代者，它是连接传统 AI 与人工审核的智能中枢，其核心定位是通过 LLM 技术重构审核逻辑，实现从 “单一工具” 到 “治理系统” 的进化。它并非是传统 AI 审核或人工审核的替代者，更重要的意义在于提供更深度的语义理解与推理能力，破解复杂内容的风控难题，平衡效率与合规，推动人机协同进化，在降低人工成本的同时，将审核员从机械劳动中解放，转型为 “AI 教练”，通过标注数据持续优化模型能力。

  深度融合大语言模型(LLM)技术的大模型审核Agent为平台实现了成本结构的优化：

  降低送审量：大模型对传统 AI 过滤后的 3% 存疑内容二次筛查，仅保留 0.3%-1.5% 高疑案例进入人工环节;

  人效跃升：审核员专注标注而非全流程处理，单人日效从 1 万条提升至 3-5 万条;

  成本结构优化：如 60 人的团队规模可缩减至 6-30 人，年人力成本从 500 万元可降至 50 万，直接成本可降低 90%;

  消除隐性成本：无需复杂管理架构，培训成本大幅降低;审核标准通过大模型审核 Agent 统一执行，误差率降低，多方面的隐形成本被消除。

  二、展出AIGC业务风控落地成果，直面企业业务风险痛点

  此次云栖大会期间，数美科技还在 3 号前沿应用馆 7U 展位，以 “互动演示 + 案例拆解” 的直观形式，集中展示了 AIGC 业务风控的*新落地实践成果 。展位前持续聚集着来自互联网、AI 出海、新零售等领域的企业代表与技术人员，与数美技术团队展开深度交流，现场互动热度持续攀升。

  随着AIGC技术在社交、金融、电商、文娱等领域的深度应用，其安全风险呈现全链路隐蔽化趋势：训练数据污染、恶意指令注入、用户行为欺诈、内容合规失控等环节的漏洞，正威胁AIGC应用的安全与发展。

  数美科技展此次云栖大会现场带来的方案，以“全链路防护、智能化响应、常态化运营” 为核心，覆盖 「发布前合规支持 - 运营中风险防控 - 全周期安全评测」的一站式安全围栏，为 AIGC应用构筑三重安全屏障：

  1.发布前：筑牢合规“地基”，从源头遏制风险

  (1)语料清洗：

  净化数据土壤，对模型训练数据、知识库语料进行全量清洗与标注，通过敏感词筛查、隐私数据脱敏、毒性样本识别等技术，剔除违规内容与风险数据，从源头保障模型训练的安全性与合规性。

  (2) 模型评测：

  提前暴露漏洞，基于TC260 标准与行业实战经验，构建覆盖越狱攻击、提示词注入、敏感问题回答、数据投毒等多维度的安全评测体系

  (3)备案咨询：全流程合规护航

  ①大模型备案：提供从数据准备、材料撰写到申报审核的全流程咨询服务，针对金融、媒体、教育等不同行业特性定制合规方案，确保高效通过备案;

  ②算法备案：覆盖调度类、决策类、生成类等全类型算法，为企业提供资料准备与技术说明的咨询服务支持，降低合规门槛。

  (4)审核兜底：预置安全阀门，结合监管要求，通过内容审核引擎与敏感问题代答能力，确保AI 应用拒答率合规(白样本≤5%，黑样本≥95%)，对高风险内容实现“精准拦截 + 安全替代”。

  2.运营中：构建动态“防护网”，实时处置风险

  (1) 用户行为风控：精准识别黑产轨迹

  ①新人激励风险识别：实时监测新人注册领奖励场景，结合设备信息与行为轨迹分析，区分机器批量注册、众包真人羊毛党与正常用户;对风险账号分级处置(限注册、降优先级、封账户)，提升付费会员转化率。

  ②互动任务风险识别：识别私域内裂变、助力、签到等互动任务风险，借单个 ID 行为策略与团伙挖掘技术，揪出正常用户中的作弊团伙;助平台洞察作弊用户，提升付费转化、防营销资源浪费。

  (2)平台内容安全：全链路内容风险防控

  ①用户输入防护：交互首环节识别潜在风险，防恶意指令进入模型链路;用关键词匹配 + 语义分析对用户输入多级过滤。

  ②模型输出审核：针对模型可能因 “幻觉” 生成的风险内容，用实时检测引擎校验文本、图像、视频等多模态输出合规性，保障内容安全。

  ③敏感问题代答：构建覆盖涉政、敏感历史、未成年人保护等领域的 500 万组 QA 知识库，为敏感问题提供差异化方案。

  3.全周期：常态化运营服务，持续迭代防护能力

  (1) 舆情与黑产情报：依托全天候、全球化的风险监测网络，实时捕获政策变化、行业攻击趋势，动态调整风控策略;

  (2)攻防演练与策略优化：定期模拟Prompt 越狱、供应链攻击等新型威胁，通过实战验证防护有效性，确保安全围栏持续适应技术演进。

  2025 云栖大会，既是 AI 技术的盛宴，更是产业协同的桥梁。数美科技在现场与全球各领域的专家、技术精英共话 “云智一体” 下的风控新路径。未来，数美将继续聚焦AI风控领域， 在持续的业务风控实践中，不断迭代对抗新风险突破新挑战的能力，以AI护航AIGC行业发展，让 AI 红利真正为业务增长赋能!

类型：广告