perf(print): 店管家拉单按「待发货+商家」过滤,时间窗对齐平台 15 天

- NewOrder/List 带上 ErpState=waitsellersend 与商家 FxUserId 过滤,只拉待发货单
- 老分区不支持过滤(返回「服务器繁忙」)时退化为按时间窗全量,窗口封顶 15 天;
  分区能力用进程内缓存记住,避免每小时反复撞接口
- 按商家分区声明 DbAreas[].IsNewSystem 跳过该平台的老分区,不再白拉迁移前的历史数据
- 首次拉单回看天数 7 → 15 天(对齐平台「待发货订单」页默认下单时间范围),
  一键拉单/单店拉单前端下拉新增「最近 15 天(平台默认)」并默认选中

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
liufumingren 2026-11-07 00:18:23 +08:00
parent 74ddeca3c0
commit f5b717f612
4 changed files with 264 additions and 33 deletions

View File

@ -79,6 +79,23 @@ const ORDER_PAGE_SIZE = 500;
/** 订单查询的最大翻页数,防御平台分页异常 */
const ORDER_MAX_PAGES = 200;
/**
* 拉单时固定下发的订单状态过滤(平台订单页同口径:Filters ErpState == waitsellersend)。
* 不加这个条件会把窗口内历史已发货/已完成单全部拉回来再本地丢弃,请求量放大十几倍。
*/
const ORDER_ERP_STATE_PENDING = 'waitsellersend';
/**
* 老分区(不支持状态/商家过滤)退化拉取时的最大回看天数。
* 老分区只能按时间窗全量拉,「全部待处理」这类超大窗口会翻很多页,这里统一封顶(与平台页面默认 15 天一致),
* 用 DGJ_FALLBACK_MAX_DAYS 可覆盖。
*/
const ORDER_FALLBACK_MAX_DAYS = Number(process.env.DGJ_FALLBACK_MAX_DAYS || 15);
/** 分区是否支持「状态/商家」过滤的进程内缓存:key = host|dbname,避免每次都撞一次「服务器繁忙」 */
const AREA_FILTER_SUPPORT = new Map();
const AREA_FILTER_SUPPORT_TTL_MS = 60 * 60 * 1000;
/** 商家的分区 DbName -> 商品接口域名(toutiao=抖店、pinduoduo=拼多多、alibaba=精选、jingdong=京东) */
const AREA_PRODUCT_HOSTS = {
toutiao: 'fxdd.dgjapp.com',
@ -233,6 +250,15 @@ function isOrderFinished(row) {
return describeFinishedOrder(row).finished;
}
/**
* 平台是否拒绝了「状态/商家」过滤条件(旧系统分区不支持,统一返回「服务器繁忙」)
* @param {Error} err 请求异常
* @return {boolean} 是否需要退化为只按时间窗查询
*/
function isFilterUnsupportedError(err) {
return /服务器繁忙|系统繁忙|Server is busy/i.test(String((err && err.message) || ''));
}
/**
* 判定平台侧是否已发货/已终结,并给出**可读原因**(用于自动作废备注,便于区分具体依据)
* @param {Object} row 店管家订单原始结构
@ -887,6 +913,55 @@ class DgjService extends PrintPlatformService {
return hosts.length ? hosts : FALLBACK_PRODUCT_HOSTS.slice();
}
/**
* 归纳商家的分区声明:每个平台域名下是否声明了「新系统分区 / 老分区」
*
* 商家结构里的 `DbAreas[]` 带 `IsNewSystem` 标志(如 toutiao 抖店-二区 true、toutiao 抖店 false),
* 平台页面的「所在区」就是它的 NickName。老分区只用来存放迁移前的历史单,
* 因此店铺没声明老分区时可以直接跳过该平台的老分区,不必每次都白拉一遍历史数据。
* @param {Object} externalData 商家原始结构(shops.external_data)
* @return {Object} host → { hasNew, hasLegacy }
*/
resolveAreaFlags(externalData) {
const areas = Array.isArray(externalData && externalData.DbAreas) ? externalData.DbAreas : [];
const flags = {};
for (const area of areas) {
const host = AREA_PRODUCT_HOSTS[String((area && area.DbName) || '').toLowerCase()];
if (!host) continue;
if (!flags[host]) flags[host] = { hasNew: false, hasLegacy: false };
if (area.IsNewSystem) flags[host].hasNew = true;
else flags[host].hasLegacy = true;
}
return flags;
}
/**
* 该分区是否支持「状态/商家」过滤(进程内缓存,避免每次同步都去撞一次「服务器繁忙」)
* @param {string} host 接口域名
* @param {string} dbname 分区库名
* @return {boolean|null} true=支持 false=不支持 null=未知
*/
filterSupported(host, dbname) {
const cached = AREA_FILTER_SUPPORT.get(`${host}|${dbname}`);
if (!cached) return null;
if (Date.now() - cached.at > AREA_FILTER_SUPPORT_TTL_MS) {
AREA_FILTER_SUPPORT.delete(`${host}|${dbname}`);
return null;
}
return cached.ok;
}
/**
* 记录分区是否支持「状态/商家」过滤
* @param {string} host 接口域名
* @param {string} dbname 分区库名
* @param {boolean} ok 是否支持
* @return {void} 无返回值
*/
rememberFilterSupport(host, dbname, ok) {
AREA_FILTER_SUPPORT.set(`${host}|${dbname}`, { ok, at: Date.now() });
}
/**
* 解析店铺需要拉取面单模板的目标(模板接口域名 + PlatformType + 分区库名)。
* 优先级:商家分区 DbAreas/DbArea 里的 DbName(如 pinduoduo)→ 展开该分区的全部库;
@ -1514,17 +1589,21 @@ class DgjService extends PrintPlatformService {
}
/**
* 拉取店铺订单(按商家 FxUserId 过滤,只返回仍需本系统处理的未发货订单)。
* 店管家订单列表不提供商家维度的过滤参数(UpFxUserId 过滤会返回服务器繁忙),
* 也不提供发货状态过滤,因此按时间窗 + 分区域名拉取全量后,在本地做两步过滤:
* 1. 按订单的 UpFxUserId 归属到店铺
* 2. 丢弃平台侧已发货/已终结的订单(见 isOrderFinished),只留未发货的
* 被丢弃的订单号会通过 finished 返回,供上层把本地仍处于待审核的副本作废。
* 拉取店铺订单(按「待发货 + 商家」过滤,只返回仍需本系统处理的未发货订单)。
*
* 查询策略:
* 1. 新系统分区支持 `ErpState == waitsellersend` 与 `UpFxUserId in <FxUserId>` 过滤,带上过滤后单量极小;
* 2. 老分区(旧系统库)对这两个过滤返回「服务器繁忙」,只能按时间窗全量拉,窗口封顶最近 N 天;
* 3. 分区是否支持过滤用 AREA_FILTER_SUPPORT 缓存(1 小时),避免每次都先撞一次「服务器繁忙」;
* 4. 商家分区声明(external_data.DbAreas[].IsNewSystem)里没有老分区时,跳过该平台的老分区,
* 那些是迁移前遗留数据,避免每次白拉一遍历史单。
* 拉回来的行仍做两步本地校验:按 UpFxUserId 归属店铺、丢弃平台侧已发货/已终结的订单。
* 被丢弃的订单会通过 finished 返回,供上层把本地仍处于待审核的副本作废。
* @param {Object} shop OMS 店铺记录(type=2,external_data 为商家原始结构)
* @param {Object} [options] 查询参数
* @param {Date|string} [options.startTime] 平台下单时间起(含)
* @param {Date|string} [options.endTime] 平台下单时间止(含)
* @return {Promise<{total: number, list: Array, hosts: Array, skipped: number, finished: Array}>} 订单列表
* @return {Promise<{total: number, list: Array, hosts: Array, skipped: number, finished: Array, fallbackHosts: Array, skippedLegacy: Array}>} 订单列表
*/
async listOrders(shop, options = {}) {
if (!this.token || !this.cookie) {
@ -1538,7 +1617,8 @@ class DgjService extends PrintPlatformService {
const end = options.endTime ? new Date(options.endTime) : new Date();
const start = options.startTime
? new Date(options.startTime)
: new Date(end.getTime() - 7 * 24 * 3600 * 1000);
// 未指定时间窗时按平台「待发货订单」页的默认范围(15 天)兜底
: new Date(end.getTime() - 15 * 24 * 3600 * 1000);
const hosts = this.resolveProductHosts(data);
let traceId = '';
@ -1552,16 +1632,58 @@ class DgjService extends PrintPlatformService {
const orders = new Map();
const finished = new Map();
const hitHosts = [];
// 不支持状态/商家过滤的老分区(旧系统库):退化为只按时间窗拉全量,本地过滤
const fallbackHosts = [];
// 店铺没有声明该平台的老分区(只有新系统分区)时,该平台的老分区属于迁移前遗留数据,跳过不拉
const skippedLegacy = [];
const areaFlags = this.resolveAreaFlags(data);
for (const host of hosts) {
// 商家分区声明里没有该平台的记录时,按「新旧分区都要查」处理,宁可多查也不漏单
const flags = areaFlags[host] || { hasNew: true, hasLegacy: true };
const areas = await this.listProductAreas(host);
for (const area of areas) {
const fetched = await this.fetchOrderPages(host, {
traceId,
dbname: area.dbname,
startTime: start,
endTime: end,
});
if (fetched.length) hitHosts.push(`${host}(${area.name || area.dbname})`);
const areaLabel = `${host}(${area.name || area.dbname})`;
let fetched = null;
// 新系统分区支持「待发货 + 商家」过滤;已知不支持的老分区直接走下面的兜底分支
if (this.filterSupported(host, area.dbname) !== false) {
try {
fetched = await this.fetchOrderPages(host, {
traceId,
dbname: area.dbname,
startTime: start,
endTime: end,
erpState: ORDER_ERP_STATE_PENDING,
merchantFxUserId,
});
this.rememberFilterSupport(host, area.dbname, true);
} catch (err) {
if (!isFilterUnsupportedError(err)) throw err;
// 旧系统分区不支持 ErpState/UpFxUserId 过滤(平台返回「服务器繁忙」)
this.rememberFilterSupport(host, area.dbname, false);
fetched = null;
}
}
if (fetched === null) {
// 老分区:店铺没声明老分区时跳过(迁移前遗留数据,避免每次白拉一遍历史单)
if (!flags.hasLegacy) {
skippedLegacy.push(areaLabel);
continue;
}
fallbackHosts.push(areaLabel);
// 老分区只能全量拉:超大窗口(「全部待处理」)会翻很多页,统一封顶到最近 N 天
const fallbackStart = new Date(Math.max(
start.getTime(),
end.getTime() - Math.max(1, ORDER_FALLBACK_MAX_DAYS) * 24 * 3600 * 1000
));
fetched = await this.fetchOrderPages(host, {
traceId,
dbname: area.dbname,
startTime: fallbackStart,
endTime: end,
});
}
if (!fetched.length) continue;
hitHosts.push(`${host}(${area.name || area.dbname})`);
for (const row of fetched) {
// 订单列表按账号维度返回,这里只保留当前商家的订单
if (String(row.UpFxUserId || '') !== merchantFxUserId) continue;
@ -1589,11 +1711,88 @@ class DgjService extends PrintPlatformService {
total: orders.size,
list: Array.from(orders.values()),
hosts: hitHosts,
fallbackHosts,
skippedLegacy,
skipped: finished.size,
finished: Array.from(finished.values()),
// 供上层做「按订单号精确核对」时复用本次登录上下文
traceId,
};
}
/**
* 按系统编号批量回读订单行(只做只读核对,不做归属过滤)
*
* 平台支持 `Filters[0][Name]=LogicOrderId & Contract=in & Value=id1,id2` 一次命中多单(实测有效),
* 用于核对本地待审核订单在平台的最新状态(是否已发货/已终结/已不存在)。
* @param {string} host 接口域名
* @param {Object} options 查询参数
* @param {string} [options.traceId] 登录上下文 traceId
* @param {string} [options.dbname] 分区库名
* @param {Array<string>} options.ids 系统编号(LogicOrderId)列表
* @return {Promise<Array>} 订单原始结构列表
*/
async fetchOrdersByIds(host, { traceId, dbname, ids }) {
const list = (ids || []).map(value => String(value || '').trim()).filter(Boolean);
if (!list.length) return [];
if (!this.token || !this.cookie) {
throw new Error('账号未登录:缺少 token 或 cookie,请先登录');
}
const query = new URLSearchParams({
token: this.token,
traceId: traceId || '',
dbname: dbname || '',
dataFlag: '',
});
const form = new URLSearchParams();
const fields = {
TableAlias: 'o',
FieldType: 'string',
TableName: 'LogicOrder',
Name: 'LogicOrderId',
Value: list.join(','),
Contract: 'in',
};
for (const [ key, value ] of Object.entries(fields)) form.append(`Filters[0][${key}]`, value);
form.set('IsOrderDesc', 'true');
form.set('OrderByField', 'o.CreateTime');
form.set('IsPdd', 'false');
form.set('PageSize', String(Math.max(50, list.length)));
form.set('PageIndex', '1');
form.set('isFilterDangerChar', 'false');
form.set('TarType', '');
form.set('requestUrl', `https://${host}/NewOrder/WaitOrder`);
form.set('IsCustomerOrder', 'false');
form.set('FxPageType', '2');
const headers = {
accept: 'application/json, text/javascript, */*; q=0.01',
'accept-language': 'zh-CN,zh;q=0.9',
'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
referer: `https://${host}/NewOrder/WaitOrder`,
'user-agent': BROWSER_HEADERS['user-agent'],
'x-requested-with': 'XMLHttpRequest',
};
if (this.cookie) headers.cookie = this.cookie;
const res = await this.request(`https://${host}${ORDER_LIST_PATH}?${query.toString()}`, {
method: 'POST',
headers,
body: form.toString(),
});
if (res.status === 401) {
throw new Error(`店管家登录已失效:${(res.json && res.json.Message) || 'token is invalid'}`);
}
if (!res.json || res.json.Success !== true) {
const reason = (res.json && (res.json.Message || res.json.ErrorCode)) || `HTTP ${res.status}`;
throw new Error(`核对店管家订单失败(${host}):${reason}`);
}
const data = res.json.Data || {};
return Array.isArray(data.Rows) ? data.Rows : [];
}
/**
* 按分页拉取订单列表(不归属过滤,交由调用方按商家过滤)
* @param {string} host 接口域名
@ -1602,9 +1801,11 @@ class DgjService extends PrintPlatformService {
* @param {string} options.dbname 分区库名
* @param {Date} options.startTime 下单时间起
* @param {Date} options.endTime 下单时间止
* @param {string} [options.erpState] 订单状态过滤(如 waitsellersend;不传则不限状态)
* @param {string} [options.merchantFxUserId] 商家 FxUserId(按商家过滤,不传则整账号)
* @return {Promise<Array>} 订单原始结构列表
*/
async fetchOrderPages(host, { traceId, dbname, startTime, endTime }) {
async fetchOrderPages(host, { traceId, dbname, startTime, endTime, erpState, merchantFxUserId }) {
const rows = [];
// 平台不保证返回 PageCount(实测多为 null),因此以 Total 和「本页是否满页」判断结束,
// 只依赖 PageCount 会在超过 500 条时静默截断
@ -1617,6 +1818,8 @@ class DgjService extends PrintPlatformService {
startTime,
endTime,
pageIndex,
erpState,
merchantFxUserId,
});
if (!page.rows.length) break;
rows.push(...page.rows);
@ -1637,9 +1840,11 @@ class DgjService extends PrintPlatformService {
* @param {Date} options.startTime 下单时间起
* @param {Date} options.endTime 下单时间止
* @param {number} options.pageIndex 页码
* @param {string} [options.erpState] 订单状态过滤(如 waitsellersend;不传则不限状态)
* @param {string} [options.merchantFxUserId] 商家 FxUserId(按商家过滤,不传则整账号)
* @return {Promise<{rows: Array, total: number, pageCount: number}>} 当页订单
*/
async fetchOrderPage(host, { traceId, dbname, startTime, endTime, pageIndex }) {
async fetchOrderPage(host, { traceId, dbname, startTime, endTime, pageIndex, erpState, merchantFxUserId }) {
const query = new URLSearchParams({
token: this.token,
traceId: traceId || '',
@ -1648,17 +1853,41 @@ class DgjService extends PrintPlatformService {
});
const form = new URLSearchParams();
const filter = (index, fields) => {
const filters = [
{
TableAlias: 'o',
FieldType: 'DateTime',
TableName: 'LogicOrder',
Name: 'CreateTime',
Value: formatOrderTime(startTime),
ExtValue: formatOrderTime(endTime),
Contract: 'between',
},
];
// 状态过滤:与平台「待发货订单」页同口径(ErpState == waitsellersend)
if (erpState) {
filters.push({
TableAlias: 'o',
FieldType: 'string',
TableName: 'LogicOrder',
Name: 'ErpState',
Value: String(erpState),
Contract: '==',
});
}
// 商家过滤:平台按 PathFlowNode.UpFxUserId 过滤(实测有效,一次只回该商家的单)
if (merchantFxUserId) {
filters.push({
TableAlias: 'pfn',
FieldType: 'int',
TableName: 'PathFlowNode',
Name: 'UpFxUserId',
Value: String(merchantFxUserId),
Contract: 'in',
});
}
filters.forEach((fields, index) => {
for (const [ key, value ] of Object.entries(fields)) form.append(`Filters[${index}][${key}]`, value);
};
filter(0, {
TableAlias: 'o',
FieldType: 'DateTime',
TableName: 'LogicOrder',
Name: 'CreateTime',
Value: formatOrderTime(startTime),
ExtValue: formatOrderTime(endTime),
Contract: 'between',
});
form.set('IsOrderDesc', 'true');
form.set('OrderByField', 'o.CreateTime');

View File

@ -7,7 +7,8 @@
* 按各店铺配置的间隔(auto_fetch_interval,最小 3 分钟)判断是否到期:
* - 上次拉取时间 + 间隔 > 现在 → 跳过
* - 否则以「上次拉取时间向前重叠 10 分钟」为起点拉取,避免边界订单漏单;
* 从未拉取过时回看 7 天,把店铺的历史待处理订单一次性拉进来
* 从未拉取过时回看 15 天(与店管家「待发货订单」页的默认下单时间范围一致),
* 把店铺的历史待处理订单一次性拉进来
* (只按一个间隔回看会漏掉上架前就积压的未发货订单)
*
* 拉取逻辑与手动拉取共用 service(externalPrintOrder),保证入库口径一致;
@ -17,8 +18,8 @@ const OVERLAP_MS = 10 * 60 * 1000;
const MIN_INTERVAL_MINUTES = 3;
const DEFAULT_INTERVAL_MINUTES = 3;
/** 首次拉取(从未同步过)时回看的天数 */
const INITIAL_LOOKBACK_DAYS = 7;
/** 首次拉取(从未同步过)时回看的天数:取平台「待发货订单」页的默认范围 15 天 */
const INITIAL_LOOKBACK_DAYS = 15;
/** 防止上一轮未结束时重复触发(单进程内串行) */
let running = false;

View File

@ -22,7 +22,7 @@ const SCOPES = {
};
/** 回看天数的默认值与上限(0 表示「全部待处理」,不限下单时间) */
const DEFAULT_LOOKBACK_DAYS = 3;
const DEFAULT_LOOKBACK_DAYS = 15;
const MAX_LOOKBACK_DAYS = 120;
/** 「全部待处理」的起始时间(早于所有平台订单) */
const ALL_PENDING_START = new Date('2018-01-01T00:00:00+08:00');

View File

@ -31,8 +31,8 @@ const { task, finished, isRunning, progressText, submit, refreshRunning } = useO
const form = reactive({
scope: 'all',
/** 回看天数;-1 视为「全部待处理」 */
lookback_days: 3,
/** 回看天数;0 视为「全部待处理」,默认 15 天与店管家待发货页一致 */
lookback_days: 15,
shop_ids: [] as number[],
})
@ -47,6 +47,7 @@ const LOOKBACK_OPTIONS = [
{ label: '最近 1 天', value: 1 },
{ label: '最近 3 天', value: 3 },
{ label: '最近 7 天', value: 7 },
{ label: '最近 15 天(平台默认)', value: 15 },
{ label: '最近 30 天', value: 30 },
{ label: '全部待处理(不限时间,较慢)', value: 0 },
]