19 Commits

Author SHA1 Message Date
liufumingren
e0c718af8e fix(waybill): 快手取号补齐 key 与加密面单字段
- dgj: 抽取 contents[0].key;快手单 printinfo 取 encryptedData、encryptprintinfo 取逐单密钥(对齐菠萝派口径)
- waybillGet: deliveryorder.getwaybill 响应新增 key 字段并透传给 WMS
- 探测脚本输出 encryptprintinfo/key 长度;补充单测
- 更新 WMS-OMS 取号对接文档的快手字段说明

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 19:05:36 +08:00
liufumingren
b22730fdcb fix(pull): 订单查询 ErpState 过滤用单个等号,修抖店订单拉不到
用户抓包(fxdd.dgjapp.com/NewOrder/List,dbname 空)返回 6 单抖店待发货,
oms 拉取却是 0 单。逐个参数复刻后定位到 Filter 操作符写错:

- 平台订单页发的是 `Filters[1][Contract]=%3D`(即单个 `=`)
- OMS 发的是 `Contract: '=='`,抖店老分区(dzh93a8yur84Y3Yln2ha9RbPovVMhBTc)
  直接回 `Success=false`「服务器繁忙,请稍会儿再试」
- 该错误被 `isFilterUnsupportedError` 当成「分区不支持过滤」→ 退化时间窗全量拉取
- 而平台**全量列表不返回待发货单**(实测 30 天 698/710 行全是 sended/success/close),
  于是 6 单待发货怎么都拉不到,且被记成「拉取成功 0 单」

修复与验证:

- `fetchOrderPage` 的 ErpState 过滤改为 `Contract: '='`(与浏览器一致);
  实测三个分区均生效:抖店-186 → 6 单、精选平台四区 → 6 单、新系统区 → 0 单;
  `UpFxUserId` 的 `in` 过滤同样正常
- 修后 shop 19 一次拉单:18 单待处理(DYXD 12 / TB 4 / PDD 2),
  其中 6 单 `875172835889885066` 等真抖店单已落 order_status_pending
- 退化兜底分支补 warn:平台全量列表不含待发货单,命中兜底时要能看出可能漏单
- 单测 `dgjOrderQuery.test.js`:断言过滤条件为 `CreateTime:between | ErpState:= | UpFxUserId:in`
- 文档更正 4.2.1 节:抓包是 `Contract=`,并记录本次踩坑与三分区对照表

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 19:02:19 +08:00
liufumingren
61a9587851 feat(pull): 拉单 0 单时给出「商家对不上」的排查提示
抖音平台订单拉不到排查结论:平台侧数据本身能拉到(意洁的 1688→抖店分销单
11-07 16:27 已入库 6 单 DYXD),问题出在「店铺声明的商家 FxUserId 与平台不一致」时
只回 0 单、看不出原因。本次让这种情况自己说话:

- dgj.listOrders:全量兜底扫描时记录平台实际出现的商家(UpFxUserId → 单量/店铺名),
  返回 merchantSeen / otherMerchants
- externalPrintOrder:新增 buildZeroOrderHint —— 0 单且本店商家没出现过时,
  输出「近 N 天没有出现 FxUserId=xxx(分区…),实际出现的是 意洁(953516,450 单)…」,
  并提示刷新店铺所在区/商家
- 自动拉取的 last_order_sync_msg、手动拉取响应 hint / 前端提示都带上该说明
- 单测 pullOrderHint.test.js(2 例:有提示/无误报,含分区去重)

排查记录(本地账号 1 实测):
- 意洁(953516):15 天待处理 10 单 = DYXD 6 + TB 3 + PDD 1,抖音分销单正常
- 抖店分区(fxdd) 近 90 天 1099+154 单全部已发货/关闭,0 条待发货 → 平台侧确实没得拉
- 两家「奇迹商贸」店铺绑的商家 1921984 / 1844767 在全部分区 90 天内 0 单;
  平台上真正有单的奇迹商贸商家是 401499 → 需要在 OMS 重新同步店铺

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 18:44:02 +08:00
liufumingren
c1d3e17188 fix(shop-product): 平台规格ID 统一取 SkuId,重新拉取时就地覆盖
店铺商品落库时 outer_sku_id 早期取 SpecId、后来取 SkuId,两种口径混在一张表里;
而订单明细侧的规格ID 一直是 SkuId(resolveOrderSkuId 优先 SkuId),
两边不一致会导致订单明细匹配不到店铺商品。

- dgj.normalizeProduct:平台规格ID 统一取 SKU.SkuId,不再使用 SpecId
  (SkuId 缺失时仍退化为店管家内部 ID,保持历史行为)
- saveShopProducts:新增 planShopProductRekey —— 老行按「平台商品ID + 规格名」唯一命中时
  就地改写 outer_sku_id,而不是插入新行;否则老行会因为旧键不在快照里被判「平台已下架」
  而删除/下架,绑定关系和订单溯源都会丢。同名规格不唯一、目标键已占用时不动,交给常规 upsert
- 先改键再 upsert,created/updated 统计与下架判定都按改键后的键计算
- 同步/补拉响应新增 rekeyed(校正行数),前端同步提示展示「校正规格ID N」
- 测试:shopProductRekey.test.js(4 例:SkuId 优先 / 就地改键 / 不猜同名 / 键未变);
  真实库验证:把某行改成 `SPEC_xxx` 后重新同步 → id 不变、值被覆盖、行数不变(41 → 41)

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 17:56:42 +08:00
liufumingren
9e1c476a55 perf(dgj): 平台请求节流 + 限流退避重试
线上取号/发货遇到服务商级限流:
`isv.request-limited 请求太频繁…配置限流QPS:600, 当前访问QPS:687`。
QPS 额度是整个 ISV 共享的,单靠降我们的并发压不住,所以两手都做:
削自己峰值 + 被限流时退避重试而不是直接判失败。

- dgj.request():所有平台调用的唯一出口,统一排队,相邻请求至少间隔
  DGJ_REQUEST_INTERVAL_MS(默认 100ms,单进程约 10 请求/秒)
- postPlatformForm():命中 isv.request-limited / 请求太频繁 / 访问QPS 时
  指数退避重试(DGJ_RATE_LIMIT_RETRY 默认 3 次、DGJ_RATE_LIMIT_BACKOFF_MS 默认 1000ms),
  仍限流则抛「店管家接口限流:…已自动退避重试 N 次仍被限流,请稍后重试」并保留原始返回
- waybillGet:批量取号并发 4 → 2(WAYBILL_CONCURRENCY 可调),
  每单 3 次平台调用(回读订单 + 模板校验 + ExpressPrint),并发越大突发越猛
- externalSendSync.recordFailure:平台限流不算这单的错,
  保持「待重试」且不累加 external_send_times,避免批量重试时一批单被打成「异常」
- 单测 dgjRateLimit.test.js(4 例):限流识别、退避后成功、重试耗尽报错、全局间隔生效
- 文档:请求量控制一节补 QPS 限流口径与全部节流开关

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 09:46:45 +08:00
liufumingren
da468f6cb2 fix(send): 取号记录必须与本单运单号匹配,不再取最近一条
上一版按「最近一次成功取号记录」取快递编码与面单标识,但同一单可能取过多次号
(每次分配新号,本地库里 dgj-10000267890142_1 就有 4 条不同运单号的记录)。
随便取一条会让发货模板(快递)和 WaybillCodes 面单标识与真正发出的运单号错位,
甚至把别的运单号发到平台。

- externalSendSync.findLatestFetchRecord:按配送单的运单号
  (express_codes / express_code)逐条匹配取号记录的 waybill_code / waybill_codes,
  主运单优先;运单号对不上返回 null 并 warn,报文宁可不带面单标识也不拿别人的;
  订单号 LIKE 前缀匹配转义下划线,避免 `..._1` 误匹配 `..._10`
- dgjSendRow:新增 parseOrderWaybills / parseFetchWaybills;
  pickWaybillFromFetchRecord(raw, waybills) 只取与订单运单号一致的那张;
  buildSendRow 的 WaybillCodes 只保留本单运单号,LastWaybillCode 以本单运单号为准
- 单测:dgjSendRow 补 3 例(按号选面单 / 对不上不回填 / 运单号清单解析),
  externalSendTemplate 补 3 例(按号挑记录 / 无匹配返回 null / 多包裹主运单优先)
- 文档补匹配口径与实测表

真实库实测:配送单运单 772085332374413 → 记录 #14;改成 772085215446719 → 记录 #13
(不再取最新那条);改成不存在的号 → null + warn。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 09:22:16 +08:00
liufumingren
8a38b7a1f3 fix(send): 发货模板按运单实际快递定位,修抖音风控拦截
线上报 `10000280844951: 风控拦截#CONSIGN_RISK_CONTROL_BLOCK#NOT_MATCH_SEGMENT_CHANNEL#
此运单号非抖音的运单号`。

根因:发货模板取的是「账号 + 平台」下 id 最小的那条快递接口(抖音小店第一条是中通),
而运单是申通。店管家把 TemplateId / ExpressCompanyId / ExpressCompanyCode 透传给平台,
抖音按模板的电子面单渠道校验运单号,运单不在该渠道号池里就判风控。

- externalSendSync.resolveTarget:运单快递取最近一次成功取号记录的 express_code
  (兜底配送表 logistics_code;注意 express_code 列存的是运单号),
  再用与取号同口径的 resolveByCode 定位模板;未绑定时按模板自带快递编码匹配,
  仍无命中才退回第一条并打 warn
- externalSendSync.resolveSendRow:取号记录只查一次,供模板与报文复用;
  WaybillCodes 为空时打 warn(平台校验渠道依赖该字段)
- dgjSendRow.buildSendRow:面单 ExpressCpCode 优先取号记录的快递编码,模板编码只做兜底
- dgj.sendOrders:风控/渠道类失败追加处理提示(需用对应平台+该快递的电子面单模板重新取号)
- 单测:新增 externalSendTemplate.test.js(4 例);dgjSendRow.test.js 补「快递编码不被模板覆盖」

本地库真实数据验证:快手单 dgj-10000267890142_1 运单 772085332374413 属申通,
旧逻辑命中模板 #17/YUNDA,修正后命中 #29/STO;抖音四张模板按快递分别命中
(STO→10776786、ZTO→13987231、YUNDA→12360764、POSTB→12712711)。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 09:13:58 +08:00
liufumingren
bcca0075be feat(external-send): 发货回传改用本地快照拼报文,不再回读平台订单行
拉单时已把平台整行存进 orders.external_data(实测 113 字段,含 PathFlowCode /
ShippingType / OrderTags / SubOrders[].OrderItemId 这些状态表没有的内部字段),
发货报文其实就是这一行,所以没必要再回读平台。

- 新增 lib/dgjSendRow.js#buildSendRow:快照(静态内部字段)
  + 状态表(收件人/平台单号/运单号,可能晚于快照更新)
  + 最近一次成功取号记录(WaybillCodeId / Pid / ExpressCpCode / CreateDate)
  拼成订单行;PrintState/ExpressPrintTime 用取号记录覆盖(快照里恒为 0/空)
- externalSendSync.resolveSendRow:快照可用就不访问平台;缺快照(历史单)才回读兜底
- dgj 暴露 buildSendOrder 静态方法,供脚本/单测复用同一口径

实测(本地真实单 dgj-10000279877231):拼出的 Orders[0] 覆盖抓包全部 47 个关键字段
(163 个顶层键),面单块含 WaybillCodeId=10000298258339、Pid=ced304e7c1ffd618_0_1。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 08:12:54 +08:00
liufumingren
3b98a1c3dc feat(waybill): getprintdata 改走「原单号打印」重签,拿到新鲜的 params
上一版用 PrintHistory/LoadPrintData,实测它只回放那次打印的签名(timestamp = 打印记录
CreateDate,换 FxPageType / IsRePrint / IsRefresh 都不重签),10 分钟后必过期。

实测出真正的重签方式(复用原运单号、不消耗面单):
  ExpressPrint + PrintMethod=Normal + IsIgnoreWaybillRepeat=true
→ 返回的运单号与原来一致,params.timestamp = 当前时间。

- dgj.reprintPrintData:原单号打印并解析 documents[].contents[].params
- dgj.expressPrint 支持 reprint 选项(Normal + IsIgnoreWaybillRepeat=true)
- getprintdata 改为:回读平台订单行 → 原单号打印 → 返回新 params / template_url;
  安全闸:若平台返回了新运单号(说明已消耗面单)直接判失败并 error 日志
- 仍逐张串行 + 300ms 间隔限流;参数归一化/定位逻辑不变

实测:请求 07:39:44 → params timestamp 2026-11-07 07:39:45,运单号 770357415909002 未变。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 07:40:30 +08:00
liufumingren
82879cdef5 feat(waybill): getprintdata 只回 params 串,并按 printHistoryId 逐个限流回源
- 返回精简:每单只给定位字段 + params(contents[].params,形如
  access_token=…&app_key=…&method=logistics.getShopKey&…&sign=…)与 template_url;
  不再回整包 print_data / printer_config / document
- 限流:平台该接口有限流,改为一次只带一个 printHistoryId,逐张串行并间隔 300ms;
  单张失败不影响其它张,失败原因逐单返回
- params 为空时直接判失败(平台的打印数据里没有 params)

实测:{ printHistoryId: "10000078656212" } → params 为 access_token=uo7…
&method=logistics.getShopKey&…&sign=8849…,template_url 为申通 76x130 模板。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 06:56:20 +08:00
liufumingren
09587bc3e7 feat(waybill): 新增 deliveryorder.getprintdata,打印前按运单号换新 params
店管家面单打印数据(params)只有 10 分钟有效期,取号返回的 printinfo 存着不能用,
WMS 真正打印前必须换新的。新增对外方法:

  method = deliveryorder.getprintdata
  入参:{ caiNiaoAuthInfoIds: [6838859], waybillCodes: ["770357408441408"] }
       也支持直传 { printHistoryIds: ["10000078656212"] }(命中即跳过查库)
  出参:{ total, success, failed, expires_in: 600, results: [...] }
       每单含 print_data / printer_config / document(documentID = 运单号)

实现:
- app/lib/waybillPrintData.js:按「店铺标识 + 运单号」查 waybill_fetch_records 定位打印记录,
  同账号同分区合并成一次 PrintHistory/LoadPrintData(只读,不消耗面单)
- 取号记录补 platform_host(实际命中的订单域名):1688 分销单在 fxali、真实抖音单在 fxdd,
  用被换算过的 source_platform_code 推域名会打错
- waybillGet 落 platform_host;迁移 20261107050000 加列

实测(只读):运单号 770357408441408 → 新 params 7888 字符,documentID 770357408441408,
printer 默认打印机;不存在的运单号返回「未找到该运单号的取号记录」。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 06:38:34 +08:00
liufumingren
7f8cff808b feat(waybill): 取号时解析并留痕打印记录ID(PrintHistoryIds)
平台 ExpressPrint 响应里有 Data.PrintHistoryIds,元素 { Id, Pid, WaybillCode,
WaybillCodeChild, BatchIndex },其中 Id 即 printHistoryId:重打/作废/查打印记录
(PrintHistory/LoadPrintData)都按它回捞。之前只用了 WaybillCode/printinfo,
这块被丢掉了。

- dgj.fetchWaybillNo 解析为 [{ id, pid, waybill_code, batch_index }]
- waybillGet 写入 waybill_fetch_records.print_history_ids(JSON 数组,多包裹对齐)
- 仅本地留痕,不改回 WMS 的响应契约
- 迁移 20261107030000 加列;单测覆盖真实响应样例与多包裹/缺失字段

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 06:26:46 +08:00
liufumingren
6ffe7cc889 fix(waybill): 1688 分销单换算后按原始平台回读订单(域名回退)
平台换算只用于「选对模板」,订单行仍留在店管家原始平台分区,域名必须按
extend_props.original_platform_code 推导,否则会用错域名被判「平台已查不到」。

- fetchWaybillNo:新增 originalPlatformCode,用原始平台算订单域名;waybillGet 从 extend_props 透传
- fetchRowsForVerify:拉单核对/自动作废按原始平台选域名,并给候选行补 extend_props
- checkPlatformFinished:审核前已发货校验按原始平台选域名
- externalSendSync.resolveTarget:发货回传 PlatformType 优先按原始平台

实测同一条 1688 分销单:fxali 命中(ErpState=waitsellersend),fxdd 查不到。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 05:44:57 +08:00
liufumingren
0e222789dd feat(order): 1688 单按分销渠道换算电商平台(抖音小店/淘宝/其他)
店管家侧没有 Alibaba(1688)面单模板,1688 单实际要用下游渠道的电子面单,
按平台 1688 找模板必然取号失败。拉单落库时按硬规则换算(dgj.normalizeOrder):

| 原始平台 | 判定(Tags / OrderTags) | 落库平台 |
|---|---|---|
| 1688(PlatformType=Alibaba) | Tag=OutChannel 且 TagValue=douyin | 抖音小店 DYXD |
| 1688 | 有 OutChannel 但渠道未映射 | 其他 OTHER(渠道留痕,等后续映射) |
| 1688 | 无 OutChannel(非分销单) | 淘宝 TB |
| 其它平台 | —— | 原平台不变 |

- 原始报文完整保留:orders.external_data 仍存店管家整包(含 Tags),platform_type 保留 Alibaba
- 状态表 extend_props 增加 original_platform_code='1688' 与 distribute_channel=<渠道原值>,便于追溯
- 历史数据由迁移 20261107020000-convert-1688-orders-to-real-waybill-platform 按同一规则换算
  (8 张状态表 + orders 镜像表,迁移不做反向)
- 新增单测覆盖:抖音分销→DYXD、非分销→TB、未知渠道→OTHER(并断言原始报文保留)、其它平台不受影响
- 文档 店管家取号-旧系统提取.md §4.2.1 补充规则表与留痕字段说明

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-07 05:40:37 +08:00
liufumingren
69b26bf7cc feat(platform): 统一系统预设平台编码,外部平台标识按预设转换
- 新增 app/lib/platformCode.js:17 个预设平台(1688/DW/DYCS/DYGX/DYXD/JD/KS/MAOCHAO/
  MTYYJK/OFFLINE/OTHER/PDD/SPH/TB/TGC/TM/XHS)+ 别名表(中英文、大小写)+ 未知落 OTHER
- 店管家硬编码 PlatformType → 预设映射(Pinduoduo→PDD、TouTiao→DYXD、WxVideo→SPH、
  Alibaba→1688、Taobao→TB、KuaiShou→KS、Tmall→TM、JingDong→JD…)
- 拉单落库统一:orders.platform_type、order_status_*.source_platform_code/name
  写预设编码与本系统中文名(推 WMS 的 sourcePlatformCode/Name 同源)
- 店铺商品 platform_type 同样落预设编码
- 新增 scripts/migrate-platform-codes.js(npm run platforms:migrate):
  按同一口径迁移历史数据,默认 dry-run;已执行迁移 14 类(订单 27 / 店铺商品 44 / 状态表 15+13)
- 前端新增 constants/platform.ts(code→中文名):店铺商品「平台类型」列显示中文名,
  订单详情新增「来源平台」行
- 新增 platformCode 单测(5 项,含未知平台落 OTHER)

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-03 17:31:44 +08:00
liufumingren
a4213bfd0d fix(external-print): 拉单只取平台未发货订单,已发货/已终结不再进待审核
问题:店管家 /NewOrder/List 只支持按时间窗查询,不提供发货状态过滤,
原实现仅按 UpFxUserId 归属就整批入库,导致 sended/success/close 的订单
全部堆进「待审核」(实测店铺 19 近 7 天平台返回 385 单,真正待发货只有 11 单)。

- dgj 新增 isOrderFinished():ErpState∈sended/success/close(及各平台等价状态)、
  有 OnlineSendTime、面单 IsSended=true、LogisticStatus>0 任一命中即视为已处理;
  PrintState/ExpressPrintTime 仅表示已打印面单,不作为判定依据
- listOrders 过滤未发货订单,返回 skipped 与 finished 列表
- externalPrintOrder.syncOrders 新增 voidFinishedOrders():本地仍处于待审核、
  平台侧已发货的副本自动作废(写 void_at/void_reason + 操作日志),已审核订单不动
- orderStatus.voidOrder 支持 principalId(定时任务无登录态)
- 手动/自动拉单消息、接口返回、接口契约、前端提示补充「跳过已发货 / 自动作废」统计
- 新增 scripts/cleanup-shipped-pending-orders.js(npm run orders:cleanup-shipped):
  按同一口径清理历史脏单,默认 dry-run,--apply 才删除
- 新增 isOrderFinished 单测(7 项)

已清理历史脏单 103 条(备份见会话 files/backup-shipped-pending-orders.json),
清理后待审核仅剩 2 单真实的平台待发货订单。

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-03 04:14:02 +08:00
liufumingren
ab630e7c01 feat(external-print): 订单拉取与定时同步,组合商品拆分为最小单位
后端能力:
- 接入店管家订单接口(/NewOrder/List),明细归一化后按店铺商品匹配系统商品/组合商品
- 新增 service/externalPrintOrder:手动与定时拉单共用入库逻辑,同时写入待审核状态分表
- 新增 schedule/fetchExternalShopOrders:按店铺配置的间隔自动拉单(最小 3 分钟,起点重叠 10 分钟)
- 新增 lib/orderItemExpand + service/orderItemResolve:平台行与最小单位行互转;
  绑定组合商品时按「数量 = 平台数量 x 组合内数量、单价取子商品零售价」拆成子商品行,解绑可还原
- 明细新增 platform_snapshot,保留平台原样(编码/名称/规格/图片/原行号/原数量/原单价)
- 店铺商品列表支持 has_unbound_order 筛选,订单列表支持 exclude_unbound(均已同步导出定义)
- 店铺商品只读化:移除新增/编辑/删除动作,仅保留查询与绑定;
  同步商品时平台已不存在的商品自动清理(未绑定且未被订单引用直接删除,已绑定或被引用仅下架)
- 新增 scripts/rebuild-order-items 存量明细重建脚本,新增 orderItemExpand 单测(8 项)

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-03 03:29:09 +08:00
liufumingren
1847e17ba7 feat(auth): 接入微信扫码登录与微信绑定
- 新增网关客户端与通知验签(sha256(appSecret) 派生 HMAC-SHA256,5 分钟防重放),
  扫码会话与一次性结果存 Redis,openid 仅服务端保存
- 新增 user_wechat_binds 表与迁移:openid 唯一(一个微信只绑一个账号)、
  user_id 唯一(重新绑定覆盖旧微信)
- 新增 /api/auth/wechat/* 接口与 /api/wx/notify 网关回调;登录二维码按 IP 限流,
  未配置网关时相关接口返回 400 提示,不影响账号密码 / 邮箱验证码登录
- 前端:「微信登录」tab(二维码 + 倒计时 + 轮询)与「我的」页微信绑定 / 解绑
- 开发与生产各出一份 WX_GATEWAY_* 配置样板,生产权威副本走 shared-config 覆盖
- 同步补充 swagger 契约与请求日志脱敏字段(bind_code / sign)

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-01 23:17:11 +08:00
liufumingren
b1f90b1c15 refactor: relocate backend into backend/ directory 2026-09-09 20:00:54 +08:00