Run PostgreSQL and Cassandra integration tests and deploy Compose stack

docs/docker-deployment.md

@@ -8,8 +8,8 @@
 2. 使用 Gitea 自动签发的短期作业 token 下载精确提交的源码，不将认证信息放入 URL、命令行或日志。
 3. 用 uv 和 uv.lock 构建 test 镜像，执行 Ruff 与 pytest。外部数据库测试未配置环境时跳过。
 4. 构建不含开发依赖的非 root runtime 镜像，包含 PostgreSQL / Cassandra Python 驱动，允许以后配置存储；不运行数据库服务。
-5. 在一次性 candidate 容器上验证真实 HTTP 流程。
-6. 替换测试容器，持久化数据和密钥，映射宿主机端口，再从 Docker daemon 的 host 网络验证请求。
+5. 通过独立 Compose 项目启动临时 PostgreSQL / Cassandra，执行全部 54 个测试（包含 6 个真实数据库测试）；结束后清理该 CI 项目的容器和数据卷。
+6. 用 Compose 部署持久化 PostgreSQL / Cassandra、API 和画像 worker，检查 JSONB 存储、画像投影与宿主机 HTTP 端口。
 7. 如提供公网 URL，再探测公网 `/health`。后续可从外部执行匿名和埋点测试。
 
 Docker 镜像直接保存在该 daemon 上，本版不依赖镜像仓库登录。
@@ -65,27 +65,33 @@ Docker socket 具有管理 daemon 的能力，因此部署工作流仅对 main
 
 ```sh
 docker build --target runtime --tag adcloud-server:test .
-DEPLOY_IMAGE=adcloud-server:test bash scripts/deploy_docker.sh
+DEPLOY_IMAGE=adcloud-server:test bash scripts/compose_stack.sh deploy
 ```
 
-当前固定测试部署配置为 SQLite / relational。未来连接数据库时需给容器传入 DATABASE_URL 等配置，并按需要启动画像 worker；本工作流不创建 PostgreSQL 或 Cassandra。
+当前公网环境使用 PostgreSQL 16 保存身份图谱和 JSONB 权威画像，Cassandra 4.1 保存画像投影，worker 持续消费 outbox。数据库不发布宿主机端口，只能通过项目 Docker 内网连接。
+Cassandra 在此合成测试环境内关闭 TLS / 认证，单节点 RF=1；生产环境需另外配置认证、TLS、备份和多节点副本。
+数据库和应用合计内存限制约 3.5 GiB，服务器应留出至少 4 GiB 可用内存，首次启动 Cassandra 可能需要几分钟。
+`compose.yml` 使用健康检查和一次性 CQL 初始化任务控制启动顺序。
+
+临时 CI 使用 `adcloud-ci-<commit>-<run>` 独立项目；PostgreSQL 密码随机生成。Cassandra 测试同时连接 CI PostgreSQL，验证双存储组合。失败时也会清理该项目。
+
+手动 Compose 操作需通过脚本加载 config 卷中持久化的 PostgreSQL 密码；不要直接输出 `docker compose config`（其中含展开的连接凭据）。
 
 ## 持久化、权限和回滚
 
-- `adcloud-server-test-data`：SQLite 数据，挂到 `/data`。
-- `adcloud-server-test-config`：运行密钥，挂到 `/config`。
-- 首次启动生成随机 IDENTITY_SECRET、SERVICE_TOKEN，原子写入 mode 0600 的配置文件；后续重建复用它们，不输出到流水线日志。
-- runtime 使用 UID/GID 10001，根文件系统只读，去除 capabilities，启用 no-new-privileges，并限制 CPU、内存和进程数。
-- 正式测试容器使用 `restart=unless-stopped`，Actions 作业结束后继续运行。
-- 只替换具有本项目 managed/repository 标签的容器和 volume，不删除其他服务或数据卷。
-- named lock 防止多个部署同时操作测试容器。取消任务可能遗留 lock；先确认无部署仍在运行，再由服务器管理员检查并清理 `adcloud-server-test-deploy-lock`。
-- 新容器健康检查或 host-port HTTP 验证失败时，删除失败的新容器并尽可能恢复旧容器。端口替换期间有短暂停机；不保证数据库 schema 迁移可以回滚。
-- 本版不自动删除旧 Docker 镜像，避免影响其他构建；后续需按保留策略清理本项目镜像。
+- Compose 项目为 `adcloud-test`；PostgreSQL 和 Cassandra 分别使用项目专属命名数据卷。
+- `adcloud-server-test-config` 复用原身份密钥卷；首次补充随机 PostgreSQL 密码，重部署复用，配置文件权限 0600，不输出到日志。
+- API / worker 使用 UID/GID 10001、只读根文件系统、去除 capabilities、限制内存和进程；均使用 `restart=unless-stopped`。
+- named lock 防止并发部署。确认无部署仍在运行后才能清理遗留的 `adcloud-server-test-deploy-lock`。
+- 首次切换前先等待数据库就绪；旧 SQLite 容器仅停止，旧数据卷保留，无自动数据迁移。
+- 首次 Compose 切换失败时尽可能恢复旧 SQLite 容器；后续 Compose 更新不是原子部署，不保证 schema 迁移可回滚。公网 API 切换有短暂停机。
+- 测试部署不自动清除持久化数据卷或旧镜像。原 `deploy_docker.sh` 保留用于独立 SQLite 部署，不与 Compose 同时运行。
 
 ## HTTP 验证
 
 `smoke_api.py` 检查系统/模块路由、匿名 Cookie、埋点、未授权拒绝、可信 Stitch、画像继承和历史事件回溯。
 使用合成邮箱与独立匿名身份，会向测试数据库写入少量演示数据。
+`--require-projection` 还会验证 PostgreSQL / JSONB 配置，并等待画像状态变为 Cassandra `current`，避免降级到关系型读取掩盖 worker 故障。
 验证宿主机端口时，临时探测容器挂载配置卷为只读，读取凭据在进程内发送，不将凭据放到命令参数或日志中。
 
 公网健康检查：