astrbot_plugin_imagestudio/审计/findings/C0-测试实跑结果.md

5.7 KiB

C0 · 测试实跑结果(人工执行)

本文件记录审计者实际运行测试套件的结果,而非静态阅读推断。 执行环境:Windows 11,仓库 codex/character-profile-document-import @ 8040a1b


摘要

后端 263 个 pytest 用例、前端 26 个 node:test 用例全部通过,无失败无跳过。但前端"测试"实为对 App.vue 源码做正则字符串匹配,不加载组件、不执行任何运行时逻辑,属于极脆弱的防回归快照;后端套件耗时 188 秒(0.72 s/用例)偏慢,提示存在真实 IO 或重复建库开销。


发现

[P3-轻微] 后端测试全绿,但单用例耗时 0.72 秒偏高

  • 位置:tests/(45 个文件 / 11,559 行)
  • 实测:
    263 passed in 188.72s (0:03:08)
    
  • 问题:263 个用例耗时 188 秒,平均 0.72 s/用例。纯单元测试不应有这个量级。结合审计中发现的 .tmp_pytest_* 目录(19 个,单个最大 69 MB,合计约 515 MB),说明测试会在真实文件系统上建库/落盘,且用例间未复用。
  • 影响:CI 反馈周期长;本地开发者倾向于跳过测试;磁盘持续膨胀(已累积 515 MB 残留)。
  • 修复建议:
    1. 用 pytest --durations=25 定位最慢用例,优先改造。
    2. 数据库夹具改为 session 级 + 每用例事务回滚,替代"每用例重建库":
      @pytest.fixture(scope="session")
      def _engine(tmp_path_factory): ...      # 建库一次
      @pytest.fixture
      def db(_engine):                         # 每用例包事务并回滚
          conn = _engine.connect(); tx = conn.begin()
          yield conn
          tx.rollback(); conn.close()
      
    3. 临时目录统一用 tmp_path_factory(pytest 自动清理),停止写入仓库内的 .tmp_pytest_*。

[P2-中等] 前端"契约测试"是源码字符串匹配,不是行为测试

  • 位置:frontend/tests/*.test.mjs(8 个文件 / 26 个用例)

  • 实测:全部通过(pass 26 / fail 0,耗时 411 ms)

  • 问题:这些用例把 App.vue 当纯文本读进来做正则匹配,从不挂载组件、不执行函数。典型实现(frontend/tests/workflow-profile-card-wiring.test.mjs:8-30):

    const app = await readFile(appPath, "utf8")
    const start = app.indexOf("async function archiveSelectedWorkflowFinal()")
    const end   = app.indexOf("async function changeSelectedWorkflowLifecycle", start)
    assert.notEqual(start, -1)
    const finalizeFunction = app.slice(start, end)
    
    assert.match(finalizeFunction, /endpoints\.workflowFinalizeCard\(workflowId\)/)
    assert.doesNotMatch(finalizeFunction, /endpoints\.workflowHistory/)
    assert.match(app, /avatar: selectedImageFor\("headshot"\)/)
    

    即:用"函数 A 的源码文本里出现了 endpoints.X 且没出现 endpoints.Y"来代替"调用行为正确"。

  • 影响(三重):

    1. 假阴性:把 archiveSelectedWorkflowFinal() 改名、换成箭头函数、或在参数间加空格 → indexOf 返回 -1 → 测试红,但代码完全正确。测试成了重构的阻力。
    2. 假阳性:函数体里写着 endpoints.workflowFinalizeCard(workflowId) 但被 if (false) 包住、或 await 漏了、或响应处理错了 → 测试绿,功能实际是坏的。它只能证明"字符出现过"。
    3. 锁死行号依赖:app.slice(start, end) 依赖两个函数在文件中的相邻顺序。调整声明顺序会让断言作用在错误的代码段上,静默失效。
  • 根因:这是 App.vue 22,563 行巨石的直接后果 —— 组件无法被挂载测试(无 props、无边界、全局状态耦合),于是退而求其次去 grep 源码。测试形态是架构债的症状,不是独立问题。

  • 修复建议(与 App.vue 拆分绑定推进):

    1. 短期:保留这些用例作为"防回归护栏",但在文件头注释写明它们是文本快照,避免后来者误以为有行为覆盖。
    2. 中期:随 App.vue 拆分(见 A8 / C2),把被测逻辑先抽成纯函数 composable(如 useWorkflowFinalize()),对 composable 写真实单元测试 —— 无需 DOM,收益最大:
      import { buildFinalizePayload } from "../src/features/workflow/use-workflow-finalize"
      test("finalize payload targets the atomic card endpoint", () => {
        const p = buildFinalizePayload(workflowFixture)
        assert.equal(p.endpoint, endpoints.workflowFinalizeCard("wf_1"))
        assert.ok(p.body.idempotency_key)
      })
      
    3. 长期:引入 @vue/test-utils + vitest,对拆分后的子组件做挂载测试。项目已用 Vite 6,接入 vitest 边际成本极低。

[P3-轻微] 前端测试脚本未纳入统一入口

  • 位置:frontend/package.json:12-13
  • 问题:
    "test:contracts": "node --test tests/*.test.mjs",
    "test:ui": "node --test tests/ui-redesign-smoke.test.mjs tests/ui-theme-contract.test.mjs"
    
    没有 "test" 脚本;test:ui 覆盖的 2 个文件是 test:contracts 的子集(重复定义)。同时没有 typecheck 之外的 CI 聚合入口。
  • 影响:新贡献者 npm test 得到 npm 默认报错;CI 容易漏跑。
  • 修复建议:
    "test": "npm run typecheck && npm run test:contracts"
    
    并删除冗余的 test:ui。

对照:测试覆盖缺口

后端 backend/services/ 共 70 个 service,tests/ 共 45 个测试文件。即便一对一映射也存在 25+ 个 service 无专属测试文件。具体缺口清单见 C3-测试与仓库卫生.md。