# 需求单：ABA 2026-08 期缺口补采 + Dell→mercury 反向隧道恢复（P0）+ AU 站点铺开评估（P2）

- 单号：req-aba-202608-backfill-20260927
- 提出：mars SaaS 侧执行 agent，2026-09-27 02:10 UTC（10:10 北京）
- 移交对象：Dell / mercury 采集侧（按边界规则：源头数据问题出需求单移交，SaaS 侧不越界修源头）
- 优先级：**P0（隧道）/ P1（8 月补采）/ P2（AU 评估）**

## 一、背景

SaaS 库 aba_search_terms（mars 容器 zipforce-saas-db-1，saas_registry）经
`tools/aba_snapshot.py`（每日 04:10 UTC cron `aba-refresh.sh`）从 mercury 本机
`127.0.0.1:15432`（Dell→mercury 反向隧道，dell-tunnel 用户）只读拉取
`zipforce_amazon.ba_search_terms` 中词宇宙（8868 词 = 18 真实检索词 + 31 额外词 + 8819 雷达词，
2026-09-26 D1 扩容后全量口径）全期数据，幂等 DELETE+COPY 灌入。

2026-08 期 SaaS 仅 42,990 行（3 租户合计；单租户 14,330），而 2026-07=77,601（单租户 25,867）、
2026-06=74,025。词宇宙对全部期一致，期行数下降只能是源头缺。

## 二、证据（三组，均为 2026-09-27 实测）

### 证据 A：分国家 2026-08 vs 2026-07（单租户口径；SaaS 09-26 04:12 UTC 全量快照 = 源头行 verbatim 拷贝）

| 国家 | 2026-07 | 2026-08 | 8月/7月 | 状态 |
|------|--------:|--------:|--------:|------|
| US | 3,745 | 0 | 0% | **整期缺失** |
| CA | 2,868 | 0 | 0% | **整期缺失** |
| MX | 1,848 | 0 | 0% | **整期缺失** |
| JP | 1,749 | 1,025 | 58.6% | 部分（缺四成） |
| UK | 2,443 | 1,642 | 67.2% | 部分 |
| DE | 2,560 | 1,760 | 68.8% | 部分 |
| SE | 676 | 565 | 83.6% | 部分 |
| FR | 1,915 | 1,737 | 90.7% | 部分 |
| NL | 731 | 665 | 90.9% | 部分 |
| ES | 1,752 | 1,610 | 91.9% | 部分 |
| BR | 587 | 552 | 94.0% | catalog 已标 2026-08（唯一完成） |
| IT | 1,645 | 1,569 | 95.4% | 部分 |
| AE | 1,709 | 1,630 | 95.4% | 部分 |
| SA | 1,639 | 1,575 | 96.1% | 部分 |

行级佐证：SaaS 侧 US/CA/MX 的 max(period)=2026-07（**一行 2026-08 都没有**），
其余 11 国 max(period)=2026-08（有部分行）。8868 词宇宙覆盖全部期一致，US 0/3745 意味着
源头 ba_search_terms 中 US 2026-08 基本无行。

### 证据 B：源头 zipforce_amazon.ba_country_catalog（SaaS aba_country_catalog 镜像，09-26 04:12 UTC verbatim 拉取）

| country | first_period | last_period | available_periods | checkpoint_ts (UTC) | cached_at (UTC) |
|---------|--------------|-------------|-------------------|---------------------|-----------------|
| BR | 2024-09 | **2026-08** | 24 | 2026-09-02 22:22:19 | 2026-09-02 22:54:37 |
| CA | 2024-08 | 2026-07 | 24 | 2026-08-31 23:52:48 | 2026-09-02 01:12:54 |
| DE | 2024-08 | 2026-07 | 24 | 2026-08-31 14:39:18 | 2026-08-31 20:36:08 |
| ES | 2024-08 | 2026-07 | 24 | 2026-09-01 00:02:06 | 2026-09-02 00:44:29 |
| FR | 2024-08 | 2026-07 | 24 | 2026-08-31 23:59:17 | 2026-09-01 12:20:03 |
| IT | 2024-08 | 2026-07 | 24 | 2026-08-31 17:13:28 | 2026-08-31 20:36:10 |
| JP | 2024-08 | 2026-07 | 24 | 2026-08-31 18:59:40 | 2026-08-31 20:36:09 |
| MX | 2024-08 | 2026-07 | 24 | 2026-08-17 20:13:32（偏旧） | 2026-09-01 12:19:40 |
| NL | 2024-08 | 2026-07 | 24 | 2026-08-19 06:29:38（偏旧） | 2026-09-02 00:44:40 |
| UK | 2024-08 | 2026-07 | 24 | 2026-08-31 16:14:24 | 2026-08-31 20:36:09 |
| US | 2024-08 | 2026-07 | 24 | 2026-08-31 12:40:35 | 2026-08-31 20:36:21 |

- 仅 BR 的 last_period 达 2026-08；其余 10 国停在 2026-07。
- 源头 ba_search_terms 最新行 fetched_at = **2026-09-02 22:22 UTC**（= BR 完成时刻），
  此后 **25 天无任何新写入**（aba_meta.ba_search_terms_fetched_at，09-26 快照）。
- 推断：2026-08 期采集 09-01 前后启动，BR 完成（09-02 22:22），US/CA/MX 未开始，其余国家中途停滞。

### 证据 C：Dell→mercury 反向隧道已断（本次诊断时实测，2026-09-27 02:07 UTC）

- mercury：`ss -ltn` 无 15432 监听；`127.0.0.1:15432` 本机连接拒绝；无 dell-tunnel 相关进程/会话
  （sshd :20111 仅有两条来自 mars 本诊断会话的连接）。
- mars：每分钟 cron `sourcing_task_dispatcher` 自 **2026-09-26 上午（UTC）** 起连续失败，
  /tmp/sourcing-dispatch.log 累计 1,071 行失败（前段 `timeout expired`、后段 `Connection refused`，
  按每分钟 1 行折算 ≈ 17.9 小时，与 09-26 04:12 UTC 最后一次成功拉取吻合）。
- 后果：SaaS 日更 aba-refresh（04:10 UTC）今晨起将持续失败（防呆保护生效，不会刷空表），
  直至隧道恢复。**也导致 SaaS 侧无法直接 count 源头大表核验 2026-08**（本单证据 A 用
  09-26 全量快照的 verbatim 拷贝替代直接 count，口径见证据 A 注）。

## 三、请求（按优先级）

### P0：恢复 Dell→mercury 反向隧道（15432）
隧道断影响所有经 15432 的链路（SaaS ABA 日更 + 每分钟 sourcing dispatcher）。请恢复并加掉线自愈
（autossh/systemd 自动重连）。恢复后 SaaS 侧无需任何配合，下一次 04:10 UTC 日更自动恢复。

### P1：补采 2026-08 期全量 ABA
- US / CA / MX：整期缺失（0 行），请完整补采。
- JP / UK / DE（缺三~四成）及 SE/FR/NL/ES/IT/AE/SA（缺 4%~17%）：按 2026-07 口径补齐到完整。
- 完成标志：ba_country_catalog 各国 last_period 达 2026-08。
- 补齐后 SaaS 侧自动带入（aba-refresh 幂等全量重灌），无需 SaaS 配合；SaaS 已于本次新增
  每月 5 号 06:30 UTC 完备性守卫（aba-monthly.sh），将持续校验并在缺口时报警。

### P2：评估 Amazon.com.au（AU）ABA 站点铺开可行性
- 现状：源头 ba_country_catalog 仅 11 国（BR/CA/DE/ES/FR/IT/JP/MX/NL/UK/US），无 AU；
  ba_search_terms 国家全集 14 国（上述 11 + AE/SA/SE），亦无 AU。
- SaaS 选品页 14 站（US/UK/DE/FR/JP/CA/IT/ES/MX/AE/SA/SE/NL/BR）无澳大利亚数据，
  **根因 = 源头大词库未铺 amazon.com.au 的 ABA 站点**，非 SaaS 侧过滤。
- 仅限 ABA 侧：Keepa API 官方域名表不含 com.au，价格历史/卖家侧的 AU 属上游能力边界，
  不在本单请求范围。

## 四、影响面（SaaS 侧）

- 选品页 ABA 图：US/CA/MX 的 2026-08 期整期缺失；DE/UK/JP 等 8 月值偏少 3~4 成，
  环比趋势图在这些国家失真。
- 决策台/机会雷达（词宇宙扩容后 8868 词证据管线）同源，8 月期同样受影响。

## 五、SaaS 侧已做/不做

- 不做：不伪造、不插值补 2026-08；不越界改源头（边界规则）。
- 已做：诊断取证（本单三组证据）；新增月度完备性兜底 cron
  （`30 6 5 * * aba-monthly.sh`，全量重灌 + 上月每国行数 ≥ 前 3 月中位数 60% 强断言，
  US/UK/DE/FR/JP/CA 六主站必须达标）。
- 本单证据 A 口径注：SaaS aba_search_terms 为源头行子集（词宇宙 8868 词）的逐行拷贝、
  无变换；US 3,745 词在 7 月全有而 8 月 0 词有行，可推断源头 US 2026-08 无有效覆盖。
  隧道恢复后可在源头直接 count 复核（建议带 `WHERE period='2026-08'` + 60s statement_timeout）。

---

## 附录 A · 隧道断因深挖（2026-09-27 03:0x UTC 补充，mars 侧排查）

**架构实况（已核实）：**
- 主动方 = Dell/snappy（snappy-cubes-1）：systemd 单元 `dell-pg-tunnel`（ssh -R 反向转发）+ `dell-tunnel-watchdog`（自动重启）——**自愈机制已存在**
- 被动方 = mercury（cheery-push-1）：受限密钥 `permitlisten="localhost:15432"`、no-pty、禁转发；sshd ClientAliveInterval=60/CountMax=3（死连接 ~3 分钟回收，配置健康）
- mercury 上另有 hermes agent 体系的 `dell-tunnel-health-222` 定时巡检（09-26 18:31 / 09-27 02:13 UTC 均有活动记录）

**关键证据：**
1. snappy 侧 watchdog **在持续重启但一直失败**（09-26 18:08:42 "3 consecutive failures, restarting dell-pg-tunnel"，此后仍在重试）→ 断因不是「没人管」，是 dell-pg-tunnel 起不来，**根因要看 snappy 侧 `journalctl -u dell-pg-tunnel` 的原始报错**（三种可能：Permission denied=mercury 侧密钥/用户问题；remote port forwarding failed=15432 残留占用；timed out=网络/防火墙）
2. mercury sshd 于 **2026-09-01 21:51 UTC 重启过**（ActiveEnterTimestamp）——反向隧道随 sshd 重启即死；源头 09-02 22:22 后停写与此时间线吻合但非同一问题（源头写入不经隧道）
3. mercury 侧 auth.log/journal 无 dell-tunnel 的登录记录（no-pty 会话不写 wtmp 属正常，但加剧了排障盲区）

**请求（更新 P0）：**
- snappy 侧提供 `journalctl -u dell-pg-tunnel -u dell-tunnel-watchdog --since 2026-09-20` 输出，按报错定位
- 若重启持续失败源于 snappy→mercury 网络层，请检查出口防火墙/ISP
- 建议加固：dell-pg-tunnel 改用 autossh（`-M 0 -o ServerAliveInterval=30 -o ServerAliveCountMax=3 -o ExitOnForwardFailure=yes`），启动失败退避重试，避免 watchdog 高频空转
- mercury 侧 sshd 后续任何重启/升级请提前知会 snappy 侧（反向隧道会被杀，依赖对侧重连）

**mars 侧已做/待做：**
- 已备 `/tmp/tunnel-15432-check.sh`（5 分钟端口+pg_isready 深检、状态翻转落 /var/log/tunnel-15432-health.log、断线每小时重申 ALERT）——已于 2026-09-27 02:54 UTC 经用户批准部署上线（mercury crontab `3-58/5 * * * *`，首跑基线 STATE down）
- aba-refresh 日更防呆在位（<1000 行拒灌库），aba-monthly.sh 月度守卫 10-05 首跑会显式逮住 9 月缺口

**统一假设（03:3x UTC 连续三次观测后）**：监听分钟级抖动（在/不在交替），且监听在时 PG 仍无应答 → ssh 层全程正常，**转发目标（Dell 本机 PG）持续拒连**。与「源头 09-02 22:22 UTC 后零写入」「catalog checkpoint 同时刻停更」三点合一：**最大概率单一根因 = Dell 侧 PostgreSQL 服务自 2026-09-02 晚起停服/僵死**（采集写入与隧道转发同时死于同一时刻）。请采集侧先 `systemctl status postgresql`（或其容器态）一键定夺。

## 附录 C · 重连修复包（snappy 侧复制即用，2026-09-27 03:0x UTC）

mars/mercury 侧无 snappy 的 ssh 通道，以下需 snappy 侧执行；mercury 侧零改动（密钥/权限已验证正常）。

**第 1 步·定夺根因（大概率就是 PG 停服）：**
```bash
systemctl status postgresql        # 或 docker ps | grep postgres
journalctl -u dell-pg-tunnel --since today | grep -E "connect failed|channel.*open failed" | tail
```
若 PG 停了：`systemctl start postgresql`（容器则 `docker start <容器>`），watchdog 会自己接上——mercury 侧最迟 5 分钟出现 STATE up。

**第 2 步·加固 dell-pg-tunnel（防 sshd 重启/网络抖动后回不来）：**
```ini
# /etc/systemd/system/dell-pg-tunnel.service 覆盖版（Restart=always 是关键）
[Unit]
Description=Dell->mercury reverse PG tunnel (15432)
After=network-online.target

[Service]
User=<现有运行用户>
ExecStart=/usr/bin/ssh -N -R 15432:127.0.0.1:<本机PG端口> -p 20111 \
  -o ExitOnForwardFailure=yes -o ServerAliveInterval=30 -o ServerAliveCountMax=3 \
  -o BatchMode=yes dell-tunnel@104.194.81.222
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
```
```bash
systemctl daemon-reload && systemctl enable --now dell-pg-tunnel
```
（若现用 autossh 则等价加 `-M 0` 与上述两个 -o；ExitOnForwardFailure 防止「假活」——转发没建成也算失败触发重启。）

**第 3 步·验证（任一机器）：** mercury 上 `ss -tln | grep 15432` 有监听 + `pg_isready -h 127.0.0.1 -p 15432` 应答；mars 上 `/opt/six-claude/workspace/saas/aba-catchup.sh` 会自动补拉（≤30 分钟内），日志 `backups/aba-catchup.log`。

**mars/mercury 侧已就位的重连配套（2026-09-27 全部上线）：**
- mercury `3-58/5 * * * *` 5 分钟健康检查（/var/log/tunnel-15432-health.log，翻转留痕+断链每小时重申）
- mars monitor.py `check_tunnel` 每日审计 FAIL 项（SMTP 修复后自动邮件）
- mars `13,43 * * * *` aba-catchup.sh：**隧道恢复 → ≤30 分钟自动补拉数据**（带 20h 陈旧度判断 + 失败 2h 退避），断链期零施压
- 每月 5 号 aba-monthly.sh 完备性强断言
