26 KiB
A5 — core/ 核心模块 + 安全
审计范围(均已实际 Read/验证):
core/security.py、core/secret_service.py、core/storage.py、core/remote_fetch.py、core/media_proxy.py、core/config_service.py、core/config_writer.py、core/runtime_paths.py、core/identity.py、core/chat_access_policy.py、core/audit_service.py、core/webhook.py、core/model_router.py、core/model_route_chain.py、core/prompt_pipeline.py、core/interop.py、core/interactions.py、core/image_formats.py、core/astrbot_provider_bridge.py、core/generation_errors.py(部分)、backend/services/integration_token_service.py、backend/services/chat_command_guard_service.py、backend/services/settings_service.py、backend/routes/media_routes.py、backend/routes/storage_routes.py、backend/route_registry.py、database/db_helper.py(配置读写部分)、main.py(请求上下文与 media 分发部分)、config.yaml已忽略:
.tmp/、.tmp_pytest_*、release/、node_modules/、__pycache__/、web/assets/、pages/imagestudio/assets/
摘要
密码学原语本身写得不错:HMAC 全部用 hmac.compare_digest、令牌带过期校验、remote_fetch 对 SSRF 做了协议/凭据/私网/重定向降级/跨源剥 Authorization 的完整校验、storage.split_uri 对 .. 与绝对路径做了双重拦截。真正的问题不在这些原语,而在信任边界的设计:所有登录 AstrBot WebUI 的用户被无差别授予 can_manage_config(main.py:104),而存储根目录允许配置为任意绝对路径(core/runtime_paths.py:43),两者叠加把「配置管理」直接升级成任意文件读取(经未认证的 media/fetch 出站)与任意文件写入(经 storage/migrate)。我已用真实代码路径完整复现读取链路。
第二类系统性问题是配置持久化:项目用自研的 dump_yaml + _load_yaml_subset 做 YAML 往返,我用仓库自带的 config.yaml 实测往返不稳定——6 个空列表字段被静默变成空字典,15 行注释全部丢失;同时 save() 会把打包默认值固化进可写配置,导致插件升级后新默认值永久失效。此外 _record_snapshot 把未脱敏的完整配置(含 api_key_plaintext、Postgres 密码、令牌哈希与盐)明文写进数据库,write_text_atomic 的 os.replace 会把 config.yaml 的权限位重置为 umask 默认值。
日志脱敏、反序列化(无 pickle / 无 yaml.load)、审计 SQL 参数化这几项没有发现问题。
发现
[P1-严重] 存储根可配为任意绝对路径 + 未认证的 media/fetch = 任意文件读取
- 位置:
core/runtime_paths.py:43、core/storage.py:100、backend/route_registry.py:173、backend/services/settings_service.py:240 - 问题:
storage.*_path是普通配置项,SettingsService.validate()从头到尾没有任何针对storage段的校验(validate()只校验 generation/vision/prompt_governance/advanced_materials)。resolve_data_path对绝对路径直接原样返回,VfsStorage.resolve_uri的越界检查只保证resolved_path在resolved_root之内——而 root 本身已经被攻击者设成了C:/或/。签发出的令牌由GET media/fetch消费,该路由权限为public_token(auth_required: False)。 - 代码:
# core/runtime_paths.py:43 resolved = Path(path).expanduser() if resolved.is_absolute(): return resolved # 绝对路径不做任何限制 # core/storage.py:105 resolved_root = resolve_data_path(root_path).resolve() resolved_path = (resolved_root / relative).resolve() if resolved_path != resolved_root and resolved_root not in resolved_path.parents: raise ApiError(ErrorCode.FORBIDDEN, "storage uri escapes its root", {"uri": uri}) # backend/route_registry.py:173 RouteSpec("GET", "media/fetch", "backend.routes.media_routes.fetch_media", "public_token"), # backend/route_registry.py:28 "public_token": {"auth_required": False, "required_permission": None, ...} - 实测复现(在仓库根直接运行,未改任何源码):
攻击链:任一已登录 WebUI 用户 →StorageConfig(temp_path='C:/Windows') VfsStorage(FakeCS()).resolve_uri('storage://temp/System32/drivers/etc/hosts') # -> C:\Windows\System32\drivers\etc\hosts exists=True MediaProxy(s).sign('storage://temp/System32/drivers/etc/hosts') # -> {'url': '/api/plug/.../media/fetch?token=eyJleHBpcmVzX2F0...', 'size_bytes': 827}POST settings/save把storage.temp_path改为/(或C:/)→GET media/index?root=temp枚举全盘 →GET media/sign?uri=storage://temp/etc/shadow→ 把 URL 交给任何未认证的第三方去GET media/fetch取走内容。 - 影响:宿主机任意文件读取并可无认证外传(AstrBot 的
data/config/*.json、.env、SSH 私钥、其他插件的凭据)。同时是数据外泄通道——签名 URL 可直接贴给外部。 - 修复建议:
- 在
SettingsService.validate()增加 storage 段校验:拒绝绝对路径,或强制resolve_data_path(p).resolve()必须落在get_runtime_data_root().resolve()之内; - 在
VfsStorage._root_paths()加二次防线,对越出运行时数据根的 root 直接抛FORBIDDEN; resolve_data_path不再无条件放行绝对路径,改为白名单(仅允许显式配置的挂载根);media/fetch令牌绑定签发者(把ctx.actor_id放进 payload 并在 fetch 时校验),避免签名 URL 变成可转发的无主凭据。
- 在
[P1-严重] storage/migrate 非 dry-run 可在可配置根之间任意复制文件/目录
- 位置:
core/storage.py:45、core/storage.py:182、backend/routes/storage_routes.py:28 - 问题:
migrate_storage仅要求require_config_manager(ctx)(等价于「已登录」,见下条 P2),dry_run由请求体控制且可传false。_copy_path会把 source 整棵目录树shutil.copy2到 target。结合上一条(root 可为任意绝对路径),这就是任意文件/目录写入。 - 代码:
# core/storage.py:52 if not dry_run: _copy_path(source_path, target_path) # core/storage.py:183 if source_path.is_file(): target_path.parent.mkdir(parents=True, exist_ok=True) shutil.copy2(source_path, target_path) # 目标已存在时静默覆盖 returnwill_overwrite只是被计算出来放进返回值(core/storage.py:52),没有任何一处用它来阻断覆盖。 - 影响:覆盖 AstrBot 配置、写入计划任务/启动脚本目录、投毒插件目录 → 从「配置管理员」提升到宿主机代码执行。即使 root 全部保持默认,也能无提示覆盖用户素材/存档。
- 修复建议:(a)修完 P1 第一条后 root 天然受限;(b)
migration_plan在will_overwrite and not payload.get("confirm_overwrite")时抛ApiError;(c)把非 dry-run 迁移提升为独立权限而非复用can_manage_config;(d)迁移动作写审计日志(当前完全没有audit_service.record)。
[P1-严重] 配置快照把未脱敏的明文密钥写进数据库
- 位置:
backend/services/settings_service.py:614(调用点:444、:556) - 问题:
save()/rollback()在写盘前调用_record_snapshot(before_file, ...),而该方法把before_file(load_config_file_payload的原始返回值)原样json.dumps存入config_snapshots.config_json。项目其它读取路径(list_snapshots、get_snapshot)都调了_mask_sensitive,唯独写入侧没有。config.yaml里确实存在api_key_plaintext(backend/services/model_provider_runtime.py:366读取该字段)、database.postgresql.password/dsn(config.yaml:162,167)、security.integration_token_hash与..._salt。 - 代码:
# backend/services/settings_service.py:610-615 ( snapshot_id, reason, ctx.actor_id, json.dumps(dict(config), ensure_ascii=False, sort_keys=True), # 未脱敏 ), - 影响:每保存一次配置就把当时的全部明文凭据复制一份进 DB,无上限、无保留期、无清理。DB 备份 / SQLite 文件泄露 / Postgres 只读账号即可拿到历史全部 API Key 与数据库口令;令牌盐+哈希外泄后可离线爆破集成令牌。
- 修复建议:写入前脱敏,同时保留回滚能力——建议把敏感字段替换为哨兵值(如
"***PRESERVED***"),在rollback()里遇到哨兵时从当前before_file取回原值(_merge_masked已有同类逻辑,可直接复用)。另外给config_snapshots加保留期清理任务。
[P2-中等] 自研 YAML 往返不等价:空列表退化为字典、注释全丢(已用仓库 config.yaml 实测)
- 位置:
core/config_writer.py:41(dump_yaml)、database/db_helper.py:371(_load_yaml_subset);触发点backend/services/settings_service.py:445、:557、backend/services/integration_token_service.py:129、backend/services/review_service.py:42 - 问题:
dump_yaml对空 list 只输出key:,_load_yaml_subset把「键后无值」一律解析成空 dict,类型从list翻成dict。注释在_strip_yaml_comment里被丢弃且写回时不还原。 - 代码:
# core/config_writer.py:50-53 elif isinstance(child, list): lines.append(f"{prefix}{key}:") for item in child: # 空列表 -> 只剩 "key:" lines.append(f"{prefix} - {_format_scalar(item)}") # database/db_helper.py:403-406 if value == "": child: dict[str, Any] = {} # "key:" 一律变成 dict parent[key] = child - 实测(读仓库自带
config.yaml→dump_yaml→ 再解析):roundtrip stable: False DIFF .model_assignments.generation_cross_review_routes [] -> {} DIFF .recognition_prompts.category_requirements [] -> {} DIFF .chat_access.group_allowlist [] -> {} DIFF .chat_access.user_allowlist [] -> {} DIFF .chat_access.adult_group_allowlist [] -> {} DIFF .chat_access.adult_user_allowlist [] -> {} comments in src: 15 (写回后全部丢失) - 影响:任何一次保存设置/轮换集成令牌/审核写回都会触发。所有
isinstance(x, list)判断在保存一次后失效——例如settings_service.py:765的uses_plugin_adapters = isinstance(generation.get("adapters"), list),用户删光 adapters 后该判断永久为 False,_runtime_override_conflicts的兼容分支随之失效。model_assignments.*_routes这类列表字段同理。运维手写的 15 条注释在用户第一次点保存后消失。 - 修复建议:
dump_yaml对空容器显式输出key: []/key: {};_load_yaml_subset已能通过_parse_scalar正确解析[]。更彻底的做法是引入ruamel.yaml(round-trip 模式,保注释)或至少写一个dump_yaml(_load_yaml_subset(x)) == 归一化(x)的属性测试锁住不变式。
[P2-中等] save() 把打包默认值固化进可写配置,插件升级后新默认值永久失效
- 位置:
backend/services/settings_service.py:423、:445、database/db_helper.py:72 - 问题:
save()的基线before = self._load_current_mapping()走的是load_config_payload,而后者 = 打包config.yaml∪ 可写config.yaml∪ 运行时覆盖。_restore_runtime_managed_fields只剥掉「运行时覆盖」,打包默认值原封不动地留在merged里并被写进可写配置。 - 代码:
# database/db_helper.py:77-82 if _should_apply_runtime_overrides(path): packaged_path = get_packaged_config_path() if not _same_path(path, packaged_path) and packaged_path.exists(): payload = _load_yaml_subset(packaged_path.read_text(encoding="utf-8")) if path.exists(): payload = _merge_mappings(payload, _load_yaml_subset(path.read_text(encoding="utf-8"))) # backend/services/settings_service.py:423,445 before = self._load_current_mapping() # 已含打包默认值 ... write_text_atomic(self.config_service.config_path, dump_yaml(merged)) - 影响:用户第一次点「保存设置」后,可写配置就变成完整快照。此后插件升级修改的任何默认值(新路由、新的 prompt 模板、安全默认开关)都被旧快照覆盖,用户看不到也无法感知,只能手删配置文件。这与
config_service.py:68-71刻意把version设为不可覆盖的意图直接矛盾——那里已经踩过一次这个坑,但只修了version一个字段。 - 修复建议:
save()的写盘基线改用load_config_file_payload(path)且跳过打包合并(新增一个只读可写文件的 loader),只把用户显式提交的 diff 落盘;打包默认值保持在读取期合并。
[P2-中等] write_text_atomic 的 os.replace 重置配置文件权限,且临时文件短暂全局可读
- 位置:
core/config_writer.py:26 - 问题:每次写配置都新建临时文件再
replace。新文件权限是0666 & ~umask(POSIX 下通常 0644),os.replace保留的是源 inode 的权限,目标原有的 0600 被丢弃。而config.yaml里就有api_key_plaintext和数据库口令。 - 代码:
# core/config_writer.py:32-37 temporary = destination.with_name(f".{destination.name}.{uuid4().hex}.tmp") try: temporary.write_text(content, encoding="utf-8") # 默认 0644,无 os.chmod temporary.replace(destination) # 目标权限位被覆盖为 0644 - 影响:运维执行
chmod 600 config.yaml加固后,用户第一次在 WebUI 点保存就被静默回退到 0644——同宿主机上的任何本地用户/其他容器进程可读明文 API Key 与 Postgres 密码。写入窗口内临时文件同样全局可读(临时文件竞态)。另外全程没有fsync,崩溃后可能留下截断的config.yaml(无备份)。 - 修复建议:
import os, stat fd = os.open(temporary, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600) try: os.write(fd, content.encode("utf-8")) os.fsync(fd) finally: os.close(fd) if destination.exists(): # 保留既有权限位 os.chmod(temporary, stat.S_IMODE(destination.stat().st_mode)) os.replace(temporary, destination)
[P2-中等] 所有已登录 WebUI 用户被无差别授予 can_manage_config,无角色区分
- 位置:
main.py:104、main.py:2337 - 问题:
RequestContext的权限集合只有「有 username → 全给」「没有 → 全不给」两种状态。core/security.py精心区分的require_write/require_task_retry/require_config_manager在真实运行时全部塌缩成require_authenticated。 - 代码:
# main.py:104-106 BRIDGE_PERMISSIONS = frozenset( {"can_write", "can_manage_config", "can_manage_materials", "can_retry_tasks"} ) # main.py:2337 permissions = BRIDGE_PERMISSIONS if username or user_id else frozenset() - 影响:这是上面两条 P1 的权限前提——「只有管理员才能改 storage 路径」的假设不成立,任何 WebUI 账号都行。同时任何账号可轮换集成令牌(打断已接入的伴侣插件)、可把
generation.provider.base_url指向http://169.254.169.254/或内网地址(backend/services/model_provider_runtime.py:217、:304与engines/image_provider.py:221均以allow_private=True调用validate_http_url,私网防护被主动关闭),构成经认证的 SSRF。 - 修复建议:从 AstrBot 侧读取真实角色(
g上的 role/claims)映射到权限集;在拿不到角色信息之前,至少把can_manage_config从默认集合中移除,改为要求显式配置的管理员用户名白名单(security.config_admin_users)。
[P2-中等] 群聊日配额统计全表扫描 + Python 侧 JSON 解析
- 位置:
backend/services/chat_command_guard_service.py:70 - 问题:
_daily_group_count把当天所有chat_command_allowed审计行全量拉回进程,逐行json.loads(metadata_json)再比对group_id。SQL 里没有任何 group 过滤条件,也没有索引可用(metadata_json是 TEXT)。 - 代码:
rows = conn.execute( f"SELECT metadata_json FROM audit_logs WHERE action = {placeholder} AND created_at >= {placeholder}", ("chat_command_allowed", start), ).fetchall() count = 0 for row in rows: try: metadata = json.loads(row["metadata_json"] or "{}") ... if str(metadata.get("group_id") or "") == group_id: count += 1 - 影响:每条群聊生图命令都触发一次当日全表扫描。
audit_logs是所有审计动作的公共表(配置保存、令牌轮换、聊天命令全在里面),随部署时间线性膨胀。繁忙群在高峰期会把 SQLite 拖到写锁竞争,成为聊天命令的延迟瓶颈。此外_daily_count统计的是所有chat_command_allowed,而record()对非生图命令也会记这个 action(:41-55),导致「每日生成上限」被非生成类命令误消耗。 - 修复建议:为聊天配额单独建一张
chat_command_quota(day, scope_type, scope_id, count)计数表并加唯一索引,用 UPSERT 累加;或至少给audit_logs增加独立的group_id列 +(action, created_at, group_id)复合索引。同时把配额计数的 action 从通用的chat_command_allowed拆成chat_generation_allowed。
[P2-中等] remote_fetch 的 SSRF 防护存在 DNS TOCTOU(rebinding)窗口
- 位置:
core/remote_fetch.py:73、core/remote_fetch.py:40 - 问题:
validate_http_url通过socket.getaddrinfo解析主机名并逐一检查私网地址,随后opener.open(request, ...)让 urllib 重新解析一次 DNS。攻击者控制的权威 DNS 只需把 TTL 设为 0 并在两次解析间返回不同结果(先返回公网 IP 通过校验,再返回127.0.0.1/169.254.169.254),即可绕过全部私网检查。重定向处理器_ValidatedRedirectHandler同样只校验 URL 不校验最终连接的 IP。 - 代码:
# core/remote_fetch.py:73-75 for address in _resolve_addresses(host, port): # 第一次解析 if _is_unsafe_address(address): raise RemoteFetchError("remote URL resolves to a private or local network address") # core/remote_fetch.py:40 with opener.open(request, timeout=timeout_seconds) as response: # urllib 第二次解析 - 影响:
backend/services/chat_media_import_service.py:31用用户在聊天里发的 URL调用本函数(且正确地未开allow_private),这是唯一的不可信输入入口,也正是 rebinding 最容易被利用的地方 → 可探测并读取内网 HTTP 服务(云元数据、内部 API)。 - 修复建议:把校验通过的 IP 固定下来再连接——解析一次得到安全 IP,用该 IP 建连并通过
Host头/SNI 保留原主机名(自定义HTTPConnection/HTTPSConnection子类覆写connect),或在http_response钩子里用response.fp.raw._sock.getpeername()复核对端 IP,不安全则立即中断。
[P3-轻微] 未加引号的配置标量会被 os.path.expandvars 展开
- 位置:
database/db_helper.py:445 - 问题:
_parse_scalar的兜底分支对所有未加引号的标量执行环境变量展开。 - 代码:
try: return int(value) except ValueError: return os.path.expandvars(value) - 实测:
_load_yaml_subset('plugin:\n display_name: $PATH\n')返回了完整的PATH环境变量内容。 - 影响:
display_name等非敏感字段会通过settings/current、settings/export直接把环境变量内容回显给前端,而这些路径的_mask_sensitive按 key 名脱敏、认不出内容里的密钥。因为dump_yaml写回时所有字符串都会被json.dumps加引号(加引号后走json.loads分支、不展开),实际风险局限于手写的config.yaml;但${AWS_SECRET_ACCESS_KEY}这类值一旦被手写进任意字段就会被明文回显。同时含$的合法值(如密码)会被静默篡改。 - 修复建议:改为仅对显式声明的引用语法展开(如整值为
env:NAME/${NAME}),其余标量原样返回;core/secret_service.resolve_env_value已经实现了这套显式语义,直接复用即可。
[P3-轻微] 媒体令牌置于 URL 查询串且 fetch 端点完全未认证
- 位置:
core/media_proxy.py:51、backend/route_registry.py:173 - 问题:签名 URL 形如
/api/plug/.../media/fetch?token=<payload>.<sig>,令牌即凭据,且 fetch 端点auth_required: False。 - 代码:
"url": f"{MEDIA_FETCH_PATH}?token={token}", - 影响:令牌会进入反向代理/网关访问日志、浏览器历史、以及页面外链跳转时的
Referer头。默认 TTL 300 秒(DEFAULT_MEDIA_TTL_SECONDS)限制了窗口,但在此期间任何拿到日志的人都可无认证取回媒体。令牌 payload 里也没有绑定签发者,任何人拿到即可用。 - 修复建议:payload 增加
actor_id并在_resolve_token中与当前ctx比对(fetch_media_payload已要求认证,可直接校验);响应加Referrer-Policy: no-referrer;或改用短时 Cookie 承载而非 query 参数。
[P3-轻微] 敏感键匹配把 "key" 当子串,误伤普通配置项
- 位置:
backend/services/settings_service.py:26、:678 - 问题:
SENSITIVE_KEY_PARTS含裸"key",_is_sensitive_key做的是子串匹配。 - 代码:
SENSITIVE_KEY_PARTS = ("password", "token", "secret", "api_key", "apikey", "key", "dsn") - 实测:
_is_sensitive_key("advanced_materials.cost_budget.price_key")→True。 - 影响:
cost_budget.price_key(计价键,见settings_service.py:143的 schema 定义)在get_current/export/diff中一律显示为***MASKED***,前端永远读不到当前值,diff也只显示before_set/after_set布尔量,运维无法确认自己配了什么。写入侧因_merge_masked(:705)跳过哨兵值不会被破坏,所以仅是可见性缺陷。 - 修复建议:改为按最后一段键名做精确/后缀匹配(
api_key、apikey、*_secret、*_token、password、dsn),或维护显式敏感字段路径清单,与core/secret_service.SECRET_KEY_PARTS(该处未含裸key,两份清单已经不一致)统一到同一份定义。
[P3-轻微] 配置文件锁仅为进程内 threading.RLock
- 位置:
core/config_writer.py:17、core/config_writer.py:59 - 问题:
config_file_lock返回的是按路径缓存的threading.RLock,只在当前 Python 进程内生效。 - 代码:
def config_file_lock(path: str | Path) -> threading.RLock: return _lock_for_path(Path(path)) - 影响:AstrBot 自身通过
persist_runtime_config_values(database/db_helper.py:49)写同一份插件配置时不受此锁保护;多 worker 部署或外部脚本编辑config.yaml时,SettingsService.save()的「读—改—写」会整份覆盖对方的修改。os.replace保证了单次写入原子,但保证不了读-改-写序列的隔离。此外_PATH_LOCKS只增不减(配置路径数量有限,实际不构成泄漏)。 - 修复建议:叠加文件锁(POSIX
fcntl.flock/ Windowsmsvcrt.locking,或跨平台用同目录.lock文件 +O_EXCL);或在写入前比对文件 mtime/内容哈希,发现被外部修改则拒绝并要求前端重新拉取。
未发现问题的检查项(供交叉验证)
- 反序列化:全树无
pickle、无yaml.load。database/db_helper.py:420的ast.literal_eval仅用于兼容旧的 Python-repr 值,不能执行代码。 - 签名令牌校验:
core/media_proxy.py:109、core/webhook.py:42、backend/services/integration_token_service.py:175/:115全部使用hmac.compare_digest,无时序侧信道;_resolve_token有过期校验(media_proxy.py:78);令牌格式固定 HMAC-SHA256,无算法协商,不存在算法混淆。 - 集成令牌存储:
IntegrationTokenService.rotate正确地只落盘 salt+HMAC,主动security.pop("integration_token")清除旧的明文槽位,并保留带过期时间的 previous 槽做优雅轮换(:51-68)。 - SQL 注入:
core/audit_service.py、backend/services/settings_service.py、chat_command_guard_service.py的 SQL 全部使用self.database._placeholder参数化绑定,LIMIT也走占位符。 - 路径遍历(URI 侧):
VfsStorage.split_uri(core/storage.py:117)同时拦截绝对路径与..分量,resolve_uri再用resolve()+parents复核,可正确拦截符号链接逃逸。问题只出在 root 本身可控(见 P1)。 - 日志脱敏:
core/下无任何logger.*/logging.*调用,不存在核心模块直接打印密钥的路径;core/generation_errors.py:11另有SECRET_KEYWORDS对上游错误体做清洗。 - 不可信 URL 的 SSRF 基线:
chat_media_import_service.py:31处理聊天来源 URL 时未开启allow_private,协议限定 http/https、拒绝带凭据的 URL、拒绝 HTTPS→HTTP 降级重定向、跨源重定向剥离Authorization(core/remote_fetch.py:64-67、:119-126)——除 DNS rebinding 窗口外防护完整。 - 聊天白名单默认安全:
core/chat_access_policy.py:39兜底return False,未识别 action 与空白名单都拒绝,无绕过路径。