From f5b717f6129af1f17f90dbecc3a35addcb007308 Mon Sep 17 00:00:00 2001 From: liufumingren Date: Sat, 7 Nov 2026 00:18:23 +0800 Subject: [PATCH] =?UTF-8?q?perf(print):=20=E5=BA=97=E7=AE=A1=E5=AE=B6?= =?UTF-8?q?=E6=8B=89=E5=8D=95=E6=8C=89=E3=80=8C=E5=BE=85=E5=8F=91=E8=B4=A7?= =?UTF-8?q?+=E5=95=86=E5=AE=B6=E3=80=8D=E8=BF=87=E6=BB=A4=EF=BC=8C?= =?UTF-8?q?=E6=97=B6=E9=97=B4=E7=AA=97=E5=AF=B9=E9=BD=90=E5=B9=B3=E5=8F=B0?= =?UTF-8?q?=2015=20=E5=A4=A9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - NewOrder/List 带上 ErpState=waitsellersend 与商家 FxUserId 过滤,只拉待发货单 - 老分区不支持过滤(返回「服务器繁忙」)时退化为按时间窗全量,窗口封顶 15 天; 分区能力用进程内缓存记住,避免每小时反复撞接口 - 按商家分区声明 DbAreas[].IsNewSystem 跳过该平台的老分区,不再白拉迁移前的历史数据 - 首次拉单回看天数 7 → 15 天(对齐平台「待发货订单」页默认下单时间范围), 一键拉单/单店拉单前端下拉新增「最近 15 天(平台默认)」并默认选中 Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com> --- backend/app/lib/printPlatform/dgj.js | 283 ++++++++++++++++-- .../app/schedule/fetchExternalShopOrders.js | 7 +- backend/app/service/orderSyncTask.js | 2 +- frontend/src/views/Order/OrderSyncDialog.vue | 5 +- 4 files changed, 264 insertions(+), 33 deletions(-) diff --git a/backend/app/lib/printPlatform/dgj.js b/backend/app/lib/printPlatform/dgj.js index e532614..cbaf2ed 100644 --- a/backend/app/lib/printPlatform/dgj.js +++ b/backend/app/lib/printPlatform/dgj.js @@ -79,6 +79,23 @@ const ORDER_PAGE_SIZE = 500; /** 订单查询的最大翻页数,防御平台分页异常 */ const ORDER_MAX_PAGES = 200; +/** + * 拉单时固定下发的订单状态过滤(平台订单页同口径:Filters ErpState == waitsellersend)。 + * 不加这个条件会把窗口内历史已发货/已完成单全部拉回来再本地丢弃,请求量放大十几倍。 + */ +const ORDER_ERP_STATE_PENDING = 'waitsellersend'; + +/** + * 老分区(不支持状态/商家过滤)退化拉取时的最大回看天数。 + * 老分区只能按时间窗全量拉,「全部待处理」这类超大窗口会翻很多页,这里统一封顶(与平台页面默认 15 天一致), + * 用 DGJ_FALLBACK_MAX_DAYS 可覆盖。 + */ +const ORDER_FALLBACK_MAX_DAYS = Number(process.env.DGJ_FALLBACK_MAX_DAYS || 15); + +/** 分区是否支持「状态/商家」过滤的进程内缓存:key = host|dbname,避免每次都撞一次「服务器繁忙」 */ +const AREA_FILTER_SUPPORT = new Map(); +const AREA_FILTER_SUPPORT_TTL_MS = 60 * 60 * 1000; + /** 商家的分区 DbName -> 商品接口域名(toutiao=抖店、pinduoduo=拼多多、alibaba=精选、jingdong=京东) */ const AREA_PRODUCT_HOSTS = { toutiao: 'fxdd.dgjapp.com', @@ -233,6 +250,15 @@ function isOrderFinished(row) { return describeFinishedOrder(row).finished; } +/** + * 平台是否拒绝了「状态/商家」过滤条件(旧系统分区不支持,统一返回「服务器繁忙」) + * @param {Error} err 请求异常 + * @return {boolean} 是否需要退化为只按时间窗查询 + */ +function isFilterUnsupportedError(err) { + return /服务器繁忙|系统繁忙|Server is busy/i.test(String((err && err.message) || '')); +} + /** * 判定平台侧是否已发货/已终结,并给出**可读原因**(用于自动作废备注,便于区分具体依据) * @param {Object} row 店管家订单原始结构 @@ -887,6 +913,55 @@ class DgjService extends PrintPlatformService { return hosts.length ? hosts : FALLBACK_PRODUCT_HOSTS.slice(); } + /** + * 归纳商家的分区声明:每个平台域名下是否声明了「新系统分区 / 老分区」 + * + * 商家结构里的 `DbAreas[]` 带 `IsNewSystem` 标志(如 toutiao 抖店-二区 true、toutiao 抖店 false), + * 平台页面的「所在区」就是它的 NickName。老分区只用来存放迁移前的历史单, + * 因此店铺没声明老分区时可以直接跳过该平台的老分区,不必每次都白拉一遍历史数据。 + * @param {Object} externalData 商家原始结构(shops.external_data) + * @return {Object} host → { hasNew, hasLegacy } + */ + resolveAreaFlags(externalData) { + const areas = Array.isArray(externalData && externalData.DbAreas) ? externalData.DbAreas : []; + const flags = {}; + for (const area of areas) { + const host = AREA_PRODUCT_HOSTS[String((area && area.DbName) || '').toLowerCase()]; + if (!host) continue; + if (!flags[host]) flags[host] = { hasNew: false, hasLegacy: false }; + if (area.IsNewSystem) flags[host].hasNew = true; + else flags[host].hasLegacy = true; + } + return flags; + } + + /** + * 该分区是否支持「状态/商家」过滤(进程内缓存,避免每次同步都去撞一次「服务器繁忙」) + * @param {string} host 接口域名 + * @param {string} dbname 分区库名 + * @return {boolean|null} true=支持 false=不支持 null=未知 + */ + filterSupported(host, dbname) { + const cached = AREA_FILTER_SUPPORT.get(`${host}|${dbname}`); + if (!cached) return null; + if (Date.now() - cached.at > AREA_FILTER_SUPPORT_TTL_MS) { + AREA_FILTER_SUPPORT.delete(`${host}|${dbname}`); + return null; + } + return cached.ok; + } + + /** + * 记录分区是否支持「状态/商家」过滤 + * @param {string} host 接口域名 + * @param {string} dbname 分区库名 + * @param {boolean} ok 是否支持 + * @return {void} 无返回值 + */ + rememberFilterSupport(host, dbname, ok) { + AREA_FILTER_SUPPORT.set(`${host}|${dbname}`, { ok, at: Date.now() }); + } + /** * 解析店铺需要拉取面单模板的目标(模板接口域名 + PlatformType + 分区库名)。 * 优先级:商家分区 DbAreas/DbArea 里的 DbName(如 pinduoduo)→ 展开该分区的全部库; @@ -1514,17 +1589,21 @@ class DgjService extends PrintPlatformService { } /** - * 拉取店铺订单(按商家 FxUserId 过滤,只返回仍需本系统处理的未发货订单)。 - * 店管家订单列表不提供商家维度的过滤参数(UpFxUserId 过滤会返回服务器繁忙), - * 也不提供发货状态过滤,因此按时间窗 + 分区域名拉取全量后,在本地做两步过滤: - * 1. 按订单的 UpFxUserId 归属到店铺 - * 2. 丢弃平台侧已发货/已终结的订单(见 isOrderFinished),只留未发货的 - * 被丢弃的订单号会通过 finished 返回,供上层把本地仍处于待审核的副本作废。 + * 拉取店铺订单(按「待发货 + 商家」过滤,只返回仍需本系统处理的未发货订单)。 + * + * 查询策略: + * 1. 新系统分区支持 `ErpState == waitsellersend` 与 `UpFxUserId in ` 过滤,带上过滤后单量极小; + * 2. 老分区(旧系统库)对这两个过滤返回「服务器繁忙」,只能按时间窗全量拉,窗口封顶最近 N 天; + * 3. 分区是否支持过滤用 AREA_FILTER_SUPPORT 缓存(1 小时),避免每次都先撞一次「服务器繁忙」; + * 4. 商家分区声明(external_data.DbAreas[].IsNewSystem)里没有老分区时,跳过该平台的老分区, + * 那些是迁移前遗留数据,避免每次白拉一遍历史单。 + * 拉回来的行仍做两步本地校验:按 UpFxUserId 归属店铺、丢弃平台侧已发货/已终结的订单。 + * 被丢弃的订单会通过 finished 返回,供上层把本地仍处于待审核的副本作废。 * @param {Object} shop OMS 店铺记录(type=2,external_data 为商家原始结构) * @param {Object} [options] 查询参数 * @param {Date|string} [options.startTime] 平台下单时间起(含) * @param {Date|string} [options.endTime] 平台下单时间止(含) - * @return {Promise<{total: number, list: Array, hosts: Array, skipped: number, finished: Array}>} 订单列表 + * @return {Promise<{total: number, list: Array, hosts: Array, skipped: number, finished: Array, fallbackHosts: Array, skippedLegacy: Array}>} 订单列表 */ async listOrders(shop, options = {}) { if (!this.token || !this.cookie) { @@ -1538,7 +1617,8 @@ class DgjService extends PrintPlatformService { const end = options.endTime ? new Date(options.endTime) : new Date(); const start = options.startTime ? new Date(options.startTime) - : new Date(end.getTime() - 7 * 24 * 3600 * 1000); + // 未指定时间窗时按平台「待发货订单」页的默认范围(15 天)兜底 + : new Date(end.getTime() - 15 * 24 * 3600 * 1000); const hosts = this.resolveProductHosts(data); let traceId = ''; @@ -1552,16 +1632,58 @@ class DgjService extends PrintPlatformService { const orders = new Map(); const finished = new Map(); const hitHosts = []; + // 不支持状态/商家过滤的老分区(旧系统库):退化为只按时间窗拉全量,本地过滤 + const fallbackHosts = []; + // 店铺没有声明该平台的老分区(只有新系统分区)时,该平台的老分区属于迁移前遗留数据,跳过不拉 + const skippedLegacy = []; + const areaFlags = this.resolveAreaFlags(data); for (const host of hosts) { + // 商家分区声明里没有该平台的记录时,按「新旧分区都要查」处理,宁可多查也不漏单 + const flags = areaFlags[host] || { hasNew: true, hasLegacy: true }; const areas = await this.listProductAreas(host); for (const area of areas) { - const fetched = await this.fetchOrderPages(host, { - traceId, - dbname: area.dbname, - startTime: start, - endTime: end, - }); - if (fetched.length) hitHosts.push(`${host}(${area.name || area.dbname})`); + const areaLabel = `${host}(${area.name || area.dbname})`; + let fetched = null; + // 新系统分区支持「待发货 + 商家」过滤;已知不支持的老分区直接走下面的兜底分支 + if (this.filterSupported(host, area.dbname) !== false) { + try { + fetched = await this.fetchOrderPages(host, { + traceId, + dbname: area.dbname, + startTime: start, + endTime: end, + erpState: ORDER_ERP_STATE_PENDING, + merchantFxUserId, + }); + this.rememberFilterSupport(host, area.dbname, true); + } catch (err) { + if (!isFilterUnsupportedError(err)) throw err; + // 旧系统分区不支持 ErpState/UpFxUserId 过滤(平台返回「服务器繁忙」) + this.rememberFilterSupport(host, area.dbname, false); + fetched = null; + } + } + if (fetched === null) { + // 老分区:店铺没声明老分区时跳过(迁移前遗留数据,避免每次白拉一遍历史单) + if (!flags.hasLegacy) { + skippedLegacy.push(areaLabel); + continue; + } + fallbackHosts.push(areaLabel); + // 老分区只能全量拉:超大窗口(「全部待处理」)会翻很多页,统一封顶到最近 N 天 + const fallbackStart = new Date(Math.max( + start.getTime(), + end.getTime() - Math.max(1, ORDER_FALLBACK_MAX_DAYS) * 24 * 3600 * 1000 + )); + fetched = await this.fetchOrderPages(host, { + traceId, + dbname: area.dbname, + startTime: fallbackStart, + endTime: end, + }); + } + if (!fetched.length) continue; + hitHosts.push(`${host}(${area.name || area.dbname})`); for (const row of fetched) { // 订单列表按账号维度返回,这里只保留当前商家的订单 if (String(row.UpFxUserId || '') !== merchantFxUserId) continue; @@ -1589,11 +1711,88 @@ class DgjService extends PrintPlatformService { total: orders.size, list: Array.from(orders.values()), hosts: hitHosts, + fallbackHosts, + skippedLegacy, skipped: finished.size, finished: Array.from(finished.values()), + // 供上层做「按订单号精确核对」时复用本次登录上下文 + traceId, }; } + /** + * 按系统编号批量回读订单行(只做只读核对,不做归属过滤) + * + * 平台支持 `Filters[0][Name]=LogicOrderId & Contract=in & Value=id1,id2` 一次命中多单(实测有效), + * 用于核对本地待审核订单在平台的最新状态(是否已发货/已终结/已不存在)。 + * @param {string} host 接口域名 + * @param {Object} options 查询参数 + * @param {string} [options.traceId] 登录上下文 traceId + * @param {string} [options.dbname] 分区库名 + * @param {Array} options.ids 系统编号(LogicOrderId)列表 + * @return {Promise} 订单原始结构列表 + */ + async fetchOrdersByIds(host, { traceId, dbname, ids }) { + const list = (ids || []).map(value => String(value || '').trim()).filter(Boolean); + if (!list.length) return []; + if (!this.token || !this.cookie) { + throw new Error('账号未登录:缺少 token 或 cookie,请先登录'); + } + + const query = new URLSearchParams({ + token: this.token, + traceId: traceId || '', + dbname: dbname || '', + dataFlag: '', + }); + + const form = new URLSearchParams(); + const fields = { + TableAlias: 'o', + FieldType: 'string', + TableName: 'LogicOrder', + Name: 'LogicOrderId', + Value: list.join(','), + Contract: 'in', + }; + for (const [ key, value ] of Object.entries(fields)) form.append(`Filters[0][${key}]`, value); + form.set('IsOrderDesc', 'true'); + form.set('OrderByField', 'o.CreateTime'); + form.set('IsPdd', 'false'); + form.set('PageSize', String(Math.max(50, list.length))); + form.set('PageIndex', '1'); + form.set('isFilterDangerChar', 'false'); + form.set('TarType', ''); + form.set('requestUrl', `https://${host}/NewOrder/WaitOrder`); + form.set('IsCustomerOrder', 'false'); + form.set('FxPageType', '2'); + + const headers = { + accept: 'application/json, text/javascript, */*; q=0.01', + 'accept-language': 'zh-CN,zh;q=0.9', + 'content-type': 'application/x-www-form-urlencoded; charset=UTF-8', + referer: `https://${host}/NewOrder/WaitOrder`, + 'user-agent': BROWSER_HEADERS['user-agent'], + 'x-requested-with': 'XMLHttpRequest', + }; + if (this.cookie) headers.cookie = this.cookie; + + const res = await this.request(`https://${host}${ORDER_LIST_PATH}?${query.toString()}`, { + method: 'POST', + headers, + body: form.toString(), + }); + if (res.status === 401) { + throw new Error(`店管家登录已失效:${(res.json && res.json.Message) || 'token is invalid'}`); + } + if (!res.json || res.json.Success !== true) { + const reason = (res.json && (res.json.Message || res.json.ErrorCode)) || `HTTP ${res.status}`; + throw new Error(`核对店管家订单失败(${host}):${reason}`); + } + const data = res.json.Data || {}; + return Array.isArray(data.Rows) ? data.Rows : []; + } + /** * 按分页拉取订单列表(不归属过滤,交由调用方按商家过滤) * @param {string} host 接口域名 @@ -1602,9 +1801,11 @@ class DgjService extends PrintPlatformService { * @param {string} options.dbname 分区库名 * @param {Date} options.startTime 下单时间起 * @param {Date} options.endTime 下单时间止 + * @param {string} [options.erpState] 订单状态过滤(如 waitsellersend;不传则不限状态) + * @param {string} [options.merchantFxUserId] 商家 FxUserId(按商家过滤,不传则整账号) * @return {Promise} 订单原始结构列表 */ - async fetchOrderPages(host, { traceId, dbname, startTime, endTime }) { + async fetchOrderPages(host, { traceId, dbname, startTime, endTime, erpState, merchantFxUserId }) { const rows = []; // 平台不保证返回 PageCount(实测多为 null),因此以 Total 和「本页是否满页」判断结束, // 只依赖 PageCount 会在超过 500 条时静默截断 @@ -1617,6 +1818,8 @@ class DgjService extends PrintPlatformService { startTime, endTime, pageIndex, + erpState, + merchantFxUserId, }); if (!page.rows.length) break; rows.push(...page.rows); @@ -1637,9 +1840,11 @@ class DgjService extends PrintPlatformService { * @param {Date} options.startTime 下单时间起 * @param {Date} options.endTime 下单时间止 * @param {number} options.pageIndex 页码 + * @param {string} [options.erpState] 订单状态过滤(如 waitsellersend;不传则不限状态) + * @param {string} [options.merchantFxUserId] 商家 FxUserId(按商家过滤,不传则整账号) * @return {Promise<{rows: Array, total: number, pageCount: number}>} 当页订单 */ - async fetchOrderPage(host, { traceId, dbname, startTime, endTime, pageIndex }) { + async fetchOrderPage(host, { traceId, dbname, startTime, endTime, pageIndex, erpState, merchantFxUserId }) { const query = new URLSearchParams({ token: this.token, traceId: traceId || '', @@ -1648,17 +1853,41 @@ class DgjService extends PrintPlatformService { }); const form = new URLSearchParams(); - const filter = (index, fields) => { + const filters = [ + { + TableAlias: 'o', + FieldType: 'DateTime', + TableName: 'LogicOrder', + Name: 'CreateTime', + Value: formatOrderTime(startTime), + ExtValue: formatOrderTime(endTime), + Contract: 'between', + }, + ]; + // 状态过滤:与平台「待发货订单」页同口径(ErpState == waitsellersend) + if (erpState) { + filters.push({ + TableAlias: 'o', + FieldType: 'string', + TableName: 'LogicOrder', + Name: 'ErpState', + Value: String(erpState), + Contract: '==', + }); + } + // 商家过滤:平台按 PathFlowNode.UpFxUserId 过滤(实测有效,一次只回该商家的单) + if (merchantFxUserId) { + filters.push({ + TableAlias: 'pfn', + FieldType: 'int', + TableName: 'PathFlowNode', + Name: 'UpFxUserId', + Value: String(merchantFxUserId), + Contract: 'in', + }); + } + filters.forEach((fields, index) => { for (const [ key, value ] of Object.entries(fields)) form.append(`Filters[${index}][${key}]`, value); - }; - filter(0, { - TableAlias: 'o', - FieldType: 'DateTime', - TableName: 'LogicOrder', - Name: 'CreateTime', - Value: formatOrderTime(startTime), - ExtValue: formatOrderTime(endTime), - Contract: 'between', }); form.set('IsOrderDesc', 'true'); form.set('OrderByField', 'o.CreateTime'); diff --git a/backend/app/schedule/fetchExternalShopOrders.js b/backend/app/schedule/fetchExternalShopOrders.js index d8d146c..265eee3 100644 --- a/backend/app/schedule/fetchExternalShopOrders.js +++ b/backend/app/schedule/fetchExternalShopOrders.js @@ -7,7 +7,8 @@ * 按各店铺配置的间隔(auto_fetch_interval,最小 3 分钟)判断是否到期: * - 上次拉取时间 + 间隔 > 现在 → 跳过 * - 否则以「上次拉取时间向前重叠 10 分钟」为起点拉取,避免边界订单漏单; - * 从未拉取过时回看 7 天,把店铺的历史待处理订单一次性拉进来 + * 从未拉取过时回看 15 天(与店管家「待发货订单」页的默认下单时间范围一致), + * 把店铺的历史待处理订单一次性拉进来 * (只按一个间隔回看会漏掉上架前就积压的未发货订单) * * 拉取逻辑与手动拉取共用 service(externalPrintOrder),保证入库口径一致; @@ -17,8 +18,8 @@ const OVERLAP_MS = 10 * 60 * 1000; const MIN_INTERVAL_MINUTES = 3; const DEFAULT_INTERVAL_MINUTES = 3; -/** 首次拉取(从未同步过)时回看的天数 */ -const INITIAL_LOOKBACK_DAYS = 7; +/** 首次拉取(从未同步过)时回看的天数:取平台「待发货订单」页的默认范围 15 天 */ +const INITIAL_LOOKBACK_DAYS = 15; /** 防止上一轮未结束时重复触发(单进程内串行) */ let running = false; diff --git a/backend/app/service/orderSyncTask.js b/backend/app/service/orderSyncTask.js index a3446d5..45aafda 100644 --- a/backend/app/service/orderSyncTask.js +++ b/backend/app/service/orderSyncTask.js @@ -22,7 +22,7 @@ const SCOPES = { }; /** 回看天数的默认值与上限(0 表示「全部待处理」,不限下单时间) */ -const DEFAULT_LOOKBACK_DAYS = 3; +const DEFAULT_LOOKBACK_DAYS = 15; const MAX_LOOKBACK_DAYS = 120; /** 「全部待处理」的起始时间(早于所有平台订单) */ const ALL_PENDING_START = new Date('2018-01-01T00:00:00+08:00'); diff --git a/frontend/src/views/Order/OrderSyncDialog.vue b/frontend/src/views/Order/OrderSyncDialog.vue index dbadaaf..bc763c3 100644 --- a/frontend/src/views/Order/OrderSyncDialog.vue +++ b/frontend/src/views/Order/OrderSyncDialog.vue @@ -31,8 +31,8 @@ const { task, finished, isRunning, progressText, submit, refreshRunning } = useO const form = reactive({ scope: 'all', - /** 回看天数;-1 视为「全部待处理」 */ - lookback_days: 3, + /** 回看天数;0 视为「全部待处理」,默认 15 天与店管家待发货页一致 */ + lookback_days: 15, shop_ids: [] as number[], }) @@ -47,6 +47,7 @@ const LOOKBACK_OPTIONS = [ { label: '最近 1 天', value: 1 }, { label: '最近 3 天', value: 3 }, { label: '最近 7 天', value: 7 }, + { label: '最近 15 天(平台默认)', value: 15 }, { label: '最近 30 天', value: 30 }, { label: '全部待处理(不限时间,较慢)', value: 0 }, ]