5.7 KiB
5.7 KiB
C0 · 测试实跑结果(人工执行)
本文件记录审计者实际运行测试套件的结果,而非静态阅读推断。 执行环境:Windows 11,仓库
codex/character-profile-document-import@8040a1b
摘要
后端 263 个 pytest 用例、前端 26 个 node:test 用例全部通过,无失败无跳过。但前端"测试"实为对 App.vue 源码做正则字符串匹配,不加载组件、不执行任何运行时逻辑,属于极脆弱的防回归快照;后端套件耗时 188 秒(0.72 s/用例)偏慢,提示存在真实 IO 或重复建库开销。
发现
[P3-轻微] 后端测试全绿,但单用例耗时 0.72 秒偏高
- 位置:
tests/(45 个文件 / 11,559 行) - 实测:
263 passed in 188.72s (0:03:08) - 问题:263 个用例耗时 188 秒,平均 0.72 s/用例。纯单元测试不应有这个量级。结合审计中发现的
.tmp_pytest_*目录(19 个,单个最大 69 MB,合计约 515 MB),说明测试会在真实文件系统上建库/落盘,且用例间未复用。 - 影响:CI 反馈周期长;本地开发者倾向于跳过测试;磁盘持续膨胀(已累积 515 MB 残留)。
- 修复建议:
- 用
pytest --durations=25定位最慢用例,优先改造。 - 数据库夹具改为 session 级 + 每用例事务回滚,替代"每用例重建库":
@pytest.fixture(scope="session") def _engine(tmp_path_factory): ... # 建库一次 @pytest.fixture def db(_engine): # 每用例包事务并回滚 conn = _engine.connect(); tx = conn.begin() yield conn tx.rollback(); conn.close() - 临时目录统一用
tmp_path_factory(pytest 自动清理),停止写入仓库内的.tmp_pytest_*。
- 用
[P2-中等] 前端"契约测试"是源码字符串匹配,不是行为测试
-
位置:
frontend/tests/*.test.mjs(8 个文件 / 26 个用例) -
实测:全部通过(
pass 26 / fail 0,耗时 411 ms) -
问题:这些用例把
App.vue当纯文本读进来做正则匹配,从不挂载组件、不执行函数。典型实现(frontend/tests/workflow-profile-card-wiring.test.mjs:8-30):const app = await readFile(appPath, "utf8") const start = app.indexOf("async function archiveSelectedWorkflowFinal()") const end = app.indexOf("async function changeSelectedWorkflowLifecycle", start) assert.notEqual(start, -1) const finalizeFunction = app.slice(start, end) assert.match(finalizeFunction, /endpoints\.workflowFinalizeCard\(workflowId\)/) assert.doesNotMatch(finalizeFunction, /endpoints\.workflowHistory/) assert.match(app, /avatar: selectedImageFor\("headshot"\)/)即:用"函数 A 的源码文本里出现了 endpoints.X 且没出现 endpoints.Y"来代替"调用行为正确"。
-
影响(三重):
- 假阴性:把
archiveSelectedWorkflowFinal()改名、换成箭头函数、或在参数间加空格 →indexOf返回 -1 → 测试红,但代码完全正确。测试成了重构的阻力。 - 假阳性:函数体里写着
endpoints.workflowFinalizeCard(workflowId)但被if (false)包住、或await漏了、或响应处理错了 → 测试绿,功能实际是坏的。它只能证明"字符出现过"。 - 锁死行号依赖:
app.slice(start, end)依赖两个函数在文件中的相邻顺序。调整声明顺序会让断言作用在错误的代码段上,静默失效。
- 假阴性:把
-
根因:这是
App.vue22,563 行巨石的直接后果 —— 组件无法被挂载测试(无 props、无边界、全局状态耦合),于是退而求其次去 grep 源码。测试形态是架构债的症状,不是独立问题。 -
修复建议(与 App.vue 拆分绑定推进):
- 短期:保留这些用例作为"防回归护栏",但在文件头注释写明它们是文本快照,避免后来者误以为有行为覆盖。
- 中期:随
App.vue拆分(见 A8 / C2),把被测逻辑先抽成纯函数 composable(如useWorkflowFinalize()),对 composable 写真实单元测试 —— 无需 DOM,收益最大:import { buildFinalizePayload } from "../src/features/workflow/use-workflow-finalize" test("finalize payload targets the atomic card endpoint", () => { const p = buildFinalizePayload(workflowFixture) assert.equal(p.endpoint, endpoints.workflowFinalizeCard("wf_1")) assert.ok(p.body.idempotency_key) }) - 长期:引入
@vue/test-utils+vitest,对拆分后的子组件做挂载测试。项目已用 Vite 6,接入 vitest 边际成本极低。
[P3-轻微] 前端测试脚本未纳入统一入口
- 位置:
frontend/package.json:12-13 - 问题:
没有"test:contracts": "node --test tests/*.test.mjs", "test:ui": "node --test tests/ui-redesign-smoke.test.mjs tests/ui-theme-contract.test.mjs""test"脚本;test:ui覆盖的 2 个文件是test:contracts的子集(重复定义)。同时没有typecheck之外的 CI 聚合入口。 - 影响:新贡献者
npm test得到 npm 默认报错;CI 容易漏跑。 - 修复建议:
并删除冗余的"test": "npm run typecheck && npm run test:contracts"test:ui。
对照:测试覆盖缺口
后端 backend/services/ 共 70 个 service,tests/ 共 45 个测试文件。即便一对一映射也存在 25+ 个 service 无专属测试文件。具体缺口清单见 C3-测试与仓库卫生.md。