数据库清洗报告

Phase 1 · 财务核心表(amazon_orders + order_fees)· run_id clean-a6343625ddd6 · 2026-09-18

安全红线已守:清洗全程只读 public 源表,清洗副本写独立 audit schema(audit.cleaned_*),源表一行未动。汇率不编造——能确定的(USD=1、SAR/AED peg)才折算,缺汇率如实标记上报。

清洗总览

amazon_orders 总行
37,212
干净 / 脏数据
28,349 / 4,504
order_fees 总行
34,891
干净 / 孤儿
32,955 / 1,936

发现的两个真实数据问题

问题① 有效订单缺 USD 营收折算:4,504 单(revenue_usd 为 NULL)
清洗时已用确定汇率兜底折算 4,359 单(USD=1、SAR/AED peg),标 rev_estimated=true;333 单币种缺失无法折算。
剩余缺汇率币种(SaaS 侧 fx_rates 只有 AED/RMB/SAR,这些币种无权威汇率,不编造):
币种缺 USD 单数处理
EUR1,975缺汇率·待需求单
GBP1,313缺汇率·待需求单
SEK781缺汇率·待需求单
JPY96缺汇率·待需求单
PLN6缺汇率·待需求单
(币种空)333币种缺失
效果:2025-10 月营收从 NULL → 5,273.39 USD(303 单折算补上)。这正是 audit_nodes finance/summary 基准 FAIL 的根因。
问题② 孤儿费用:1,936 条,合计 39,498 USD(order_fees 有费用但 amazon_orders 无对应订单)——会导致费用虚高。
品牌孤儿条数费用合计(USD)
zipforce93228,703.47
fittingirls98910,764.99
onno1529.87
孤儿费用可能来自:订单被删但费用残留 / 费用表灌入范围比订单表大。需源头核查(需求单移交)。

三方比对验证

清洗副本作为真相基准,与源表比对一致(证明清洗副本可靠):

口径onno 2026-08 单数营收 USD
清洗副本 audit.cleaned_amazon_orders4314,650.73
源表 amazon_orders4314,650.73
结论一致 ✓

清洗逻辑(五步法 + 两专项)

步骤规则实测
①过滤剔除测试/调试脏数据、未注册品牌未发现
②去重按业务主键 (brand, amazon_order_id)0 重复
③类型标准化日期/金额类型统一,空串/NULL 区分sku_list NULL/'' 混用已标记
④计算字段对账net = rev − commission − fba − promo − other 重算见专项
⑤保留原始副本写 audit.cleaned_*,不动源表已守
专项Arevenue_usd 缺失用 local_amount/fx 兜底折算(标 rev_estimated)补 4,359 单
专项Border_fees 孤儿标记 orphan 并剔除汇总1,936 条

下一步

① 缺汇率币种(EUR/GBP/SEK/JPY/PLN)出需求单移交源头补 fx_rates;② 孤儿费用 39,498 USD 源头核查;③ 扩展清洗到其余业务表(ads/noon/inventory 等);④ 清洗副本接入 audit_nodes 作回归门基准(修 finance/summary FAIL)。

清洗引擎:tools/audit_db_clean.py · 脏数据明细:audit.dirty_data_log · 清洗副本:audit.cleaned_*