企业级 AI Agent 自动化评测流水线：基于执行轨迹（Trajectory）的回归测试与 Eval 工程落地

【三层递进混合评测架构说明】

1. 第一层：确定性硬约束断言（Deterministic Rule & Schema Assertions）：
   利用代码逻辑进行毫秒级绝对判定。包括：JSON Schema 参数结构合法性校验、工具调用黑名单拦截（例如绝对不允许在查询任务中调用写接口）、死循环与单步超时截断、HTTP 状态码及沙箱数据库状态断言。这一层由确定性测试代码执行，零幻觉、零额外 Token 成本。
2. 第二层：执行轨迹拓扑与编辑距离匹配（Trajectory Topological Alignment）：
   比对智能体实际走过的工具调用序列（Actual Trajectory）与标准黄金轨迹（Golden Trajectory）。采用有向无环图（DAG）同构检查或改进的 Levenshtein 动作编辑距离算法，评估工具调用的覆盖率（Recall）、精确率（Precision）与最小必要执行路径（Optimality）。
3. 第三层：LLM-as-a-Judge 复合语义质检（Semantic Quality & Safety Judge）：
   对最终回复内容、中间思考链合规性及拒答友好度进行高阶语义评判。针对忠实度（Faithfulness，是否基于工具返回的真实数据回答）、有用性（Helpfulness）与安全合规性（Safety，无隐私越权泄露）进行严格打分，并生成结构化诊断报告。

// 企业级 AI Agent 执行轨迹自动化评测引擎核心实现
// 职责：断言工具调用序列、度量轨迹编辑距离、验证 Schema 契约并生成综合诊断报告

export interface ToolCallStep {
  toolName: string;
  parameters: Record<string, unknown>;
  output?: unknown;
  durationMs: number;
  status: 'success' | 'error';
}

export interface AgentTrajectory {
  runId: string;
  userPrompt: string;
  finalAnswer: string;
  steps: ToolCallStep[];
  totalTokens: number;
  totalDurationMs: number;
}

export interface GoldenCase {
  id: string;
  prompt: string;
  expectedTools: string[]; // 必须按某种依赖关系调用的核心工具列表
  forbiddenTools: string[]; // 绝对禁止调用的工具（如写操作或未授权工具）
  maxAllowedSteps: number;
  requiredSubstringsInAnswer?: string[];
}

export interface EvalReport {
  caseId: string;
  passed: boolean;
  score: number; // 0.0 ~ 1.0 综合得分
  details: {
    toolPrecision: number;
    toolRecall: number;
    toolF1: number;
    stepRedundancy: number;
    forbiddenToolViolations: string[];
    schemaViolations: string[];
    deterministicAssertionPassed: boolean;
  };
  failureReason?: string;
}

export class AgentTrajectoryEvaluator {
  /**
   * 评测单次智能体执行轨迹
   * @param actual 智能体实际运行轨迹
   * @param golden 黄金标准测试用例规范
   */
  public evaluateCase(actual: AgentTrajectory, golden: GoldenCase): EvalReport {
    const actualToolNames = actual.steps.map((s) => s.toolName);
    const actualToolSet = new Set(actualToolNames);
    const expectedToolSet = new Set(golden.expectedTools);

    // 1. 硬约束检查：违规调用禁止工具
    const forbiddenViolations = actualToolNames.filter((t) =>
      golden.forbiddenTools.includes(t)
    );

    // 2. 工具调用覆盖度量 (Precision, Recall, F1)
    const truePositives = golden.expectedTools.filter((t) => actualToolSet.has(t)).length;
    const precision = actualToolSet.size > 0 ? truePositives / actualToolSet.size : 0;
    const recall = expectedToolSet.size > 0 ? truePositives / expectedToolSet.size : 1.0;
    const f1 = precision + recall > 0 ? (2 * precision * recall) / (precision + recall) : 0;

    // 3. 冗余步骤比率计算
    const redundancy =
      actual.steps.length > golden.maxAllowedSteps
        ? (actual.steps.length - golden.maxAllowedSteps) / golden.maxAllowedSteps
        : 0;

    // 4. 确定性文本包含断言
    let contentCheckPassed = true;
    if (golden.requiredSubstringsInAnswer) {
      contentCheckPassed = golden.requiredSubstringsInAnswer.every((sub) =>
        actual.finalAnswer.includes(sub)
      );
    }

    // 5. 综合加权打分判定
    // 违规调用禁止工具直接判 0 分不合格
    let score = 0;
    let passed = false;
    let failureReason: string | undefined;

    if (forbiddenViolations.length > 0) {
      score = 0;
      passed = false;
      failureReason = `严重违规：调用了未授权或禁止的敏感工具: [${forbiddenViolations.join(', ')}]`;
    } else if (!contentCheckPassed) {
      score = 0.3;
      passed = false;
      failureReason = '最终回答未包含预期的关键业务事实或判定结论。';
    } else {
      // 综合得分 = F1 分数 * 0.7 + 步数效率得分 * 0.3
      const stepEfficiencyScore = Math.max(0, 1.0 - redundancy);
      score = Number((f1 * 0.7 + stepEfficiencyScore * 0.3).toFixed(4));
      // 基准门禁：综合得分必须 >= 0.85 且核心预期工具召回率必须为 100%
      passed = score >= 0.85 && recall === 1.0;
      if (!passed) {
        failureReason = `轨迹得分不达标（得分: ${score}，期望工具召回率: ${(recall * 100).toFixed(1)}%）`;
      }
    }

    return {
      caseId: golden.id,
      passed,
      score,
      details: {
        toolPrecision: Number(precision.toFixed(4)),
        toolRecall: Number(recall.toFixed(4)),
        toolF1: Number(f1.toFixed(4)),
        stepRedundancy: Number(redundancy.toFixed(4)),
        forbiddenToolViolations: forbiddenViolations,
        schemaViolations: [],
        deterministicAssertionPassed: contentCheckPassed,
      },
      failureReason,
    };
  }
}

【企业级 CI/CD 自动化回归评测流水线两级防线】

• 第一级：PR 快速烟雾门禁（Pull Request Smoke Eval）：
  在研发人员提交代码合并请求（Merge Request）时触发。选取包含 50 个高频典型业务场景的“轻量精简黄金测试集”，利用本地 Mock 沙箱执行评测。评测耗时控制在 3 分钟以内，强制检查：
  1. 工具参数 Schema 合法率必须为 100%；
  2. 核心用例任务达成率必须 >= 98%；
  3. 任何未通过门禁的代码提交一律阻断合并。
• 第二级：全量夜间巡检与跨模型对照（Nightly Comprehensive Regression）：
  在每晚定时执行。跑完全量 500~2000 个边缘扰动用例。除计算指标矩阵外，流水线自动生成与历史基线（Baseline Commit）的能力差异对比雷达图（Regression Diff Matrix）。若发现某类场景的召回率下降超过 3%，立即向企业微信或钉钉告警并挂起发版流程。