WMS_MAIN/app/service/systems/system_log.js
liufumingren 67a70d0394 feat: 系统日志定时清理任务(每日 03:00,硬删除超保留期日志)
- 新增 app/schedule/system_log_cleanup.js 定时任务:cron 从 config.systemLogCleanup.cron 读取(缺省回退 '0 0 3 * * *'),受 enable 开关与防重入保护

- 新增 app/service/systems/system_log.js:按 id 边界定位 + 分批硬删除超期日志,保留天数默认 60(normalizeRetainDays 校验非法值回退),批间随机休眠降低数据库压力

- config.default.js 新增 config.systemLogCleanup 配置块:enable、cron、retainDays 60、batchSize 2000、sleepMinMs/sleepMaxMs

- 新增 service 与 schedule 单测(39 个用例),覆盖边界定位、保留天数校验、配置开关与防重入等场景
2026-09-08 17:00:05 +08:00

181 lines
6.9 KiB
JavaScript
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

// app/service/systems/system_log.js
'use strict';
const MainService = require('../main');
/** @type {string} 系统日志表名 */
const SYSTEM_LOG_TABLE = 'wms_system_log';
/** @type {number} 默认日志保留天数:删除创建时间早于该天数的日志 */
const DEFAULT_RETAIN_DAYS = 60;
/** @type {number} 默认单批硬删除行数 */
const DEFAULT_BATCH_SIZE = 2000;
/** @type {number} 默认批间休眠最小毫秒数 */
const DEFAULT_SLEEP_MIN_MS = 100;
/** @type {number} 默认批间休眠最大毫秒数 */
const DEFAULT_SLEEP_MAX_MS = 500;
/**
* 休眠指定毫秒数。
*
* @param {number} ms 休眠毫秒数。
* @return {Promise<void>} 无返回值。
*/
function sleep(ms) {
return new Promise(resolve => setTimeout(resolve, ms));
}
/**
* 将保留天数归一化为正整数。
*
* 仅接受正整数(含数字字符串),其余非法值(负数、0、小数、非数字)一律回退默认保留天数;
* 归一化后的值直接拼入 SQL 模板的 INTERVAL 表达式,保证无 SQL 注入风险。
*
* @param {*} value 待归一化的保留天数。
* @return {number} 归一化后的正整数保留天数。
*/
function normalizeRetainDays(value) {
const normalized = Number(value);
return Number.isInteger(normalized) && normalized > 0 ? normalized : DEFAULT_RETAIN_DAYS;
}
/**
* 系统日志清理服务。
*
* 背景:wms_system_log 单表无分表无分区,日志长期增长会占用大量磁盘空间。
* created_at 由应用写入 new Date(),与自增主键 id 严格单调递增,且 created_at 无索引,
* 因此按时间条件过滤会全表扫描,必须按 id 边界走主键索引删除;
* 同时必须使用原生 SQL 硬删除,禁止 SystemLog.destroy(全局 paranoid 软删除会增大行体积且语义不符)。
*/
class SystemLogService extends MainService {
/**
* 定位删除边界 id:创建时间早于保留天数截止时间的最大 id。
*
* 由于 created_at 与 id 严格单调递增,id 不大于该边界的行即全部过期行,
* 等价于按 created_at 时间边界删除且走主键索引;查不到时返回 null 表示无过期日志。
*
* @param {number} retainDays 日志保留天数(正整数;非法值回退默认 60)。
* @return {Promise<number|null>} 边界 id;无过期日志时返回 null。
*/
async findCleanupBoundaryId(retainDays) {
const { ctx } = this;
const safeRetainDays = normalizeRetainDays(retainDays);
const rows = await ctx.model.query(
`SELECT id FROM ${SYSTEM_LOG_TABLE}`
+ ` WHERE created_at < DATE_SUB(NOW(), INTERVAL ${safeRetainDays} DAY)`
+ ' ORDER BY id DESC LIMIT 1',
{ type: ctx.model.QueryTypes.SELECT }
);
const firstRow = Array.isArray(rows) ? rows[0] : null;
const boundaryId = firstRow ? Number(firstRow.id) : null;
return Number.isInteger(boundaryId) && boundaryId > 0 ? boundaryId : null;
}
/**
* 单批硬删除 id 不大于边界值的系统日志(每批最多 batchSize 行)。
*
* @param {number} boundaryId 删除边界 id(含边界行本身)。
* @param {number} batchSize 单批最大删除行数。
* @return {Promise<number>} 本批实际删除行数。
*/
async deleteSystemLogsBatch(boundaryId, batchSize) {
const { ctx } = this;
const safeBoundaryId = Number(boundaryId) > 0 ? Math.floor(Number(boundaryId)) : 0;
const safeBatchSize = Number(batchSize) > 0 ? Math.floor(Number(batchSize)) : DEFAULT_BATCH_SIZE;
if (safeBoundaryId <= 0) {
return 0;
}
// 不传 type:默认走 RAW 查询,mysql2 对 DELETE 返回 ResultSetHeader,
// 取 [result, data] 结构中第一项的 affectedRows 作为本批删除行数
const rawResult = await ctx.model.query(
`DELETE FROM ${SYSTEM_LOG_TABLE}`
+ ` WHERE id <= ${safeBoundaryId}`
+ ' ORDER BY id'
+ ` LIMIT ${safeBatchSize}`
);
const header = Array.isArray(rawResult) ? rawResult[0] : rawResult;
const affectedRows = Number(header && header.affectedRows);
return Number.isFinite(affectedRows) && affectedRows > 0 ? affectedRows : 0;
}
/**
* 清理超过保留天数的系统日志(定时任务入口)。
*
* 流程:先定位边界 id,再按 id 升序分批硬删除,循环到单批受影响行数为 0 为止,
* 批间随机休眠 100~500ms 降低数据库压力;不执行 OPTIMIZE TABLE,
* 由 InnoDB 自行复用已删除数据页,避免重建大表占满磁盘。
*
* @param {Object} [options={}] 清理参数。
* @param {number} [options.retainDays] 日志保留天数(正整数);缺省时读取
* config.systemLogCleanup.retainDays,仍非法或未配置时回退 60。
* @param {number} [options.batchSize=2000] 单批硬删除行数。
* @param {number} [options.sleepMinMs=100] 批间休眠最小毫秒数。
* @param {number} [options.sleepMaxMs=500] 批间休眠最大毫秒数。
* @return {Promise<Object>} 清理结果摘要。
*/
async cleanupExpiredSystemLogs(options = {}) {
const { ctx } = this;
const startedAt = Date.now();
const safeOptions = options && typeof options === 'object' ? options : {};
const cleanupConfig = (ctx.app.config && ctx.app.config.systemLogCleanup) || {};
const rawRetainDays = safeOptions.retainDays !== undefined && safeOptions.retainDays !== null
? safeOptions.retainDays
: cleanupConfig.retainDays;
const retainDays = normalizeRetainDays(rawRetainDays);
const batchSize = Number(safeOptions.batchSize) > 0
? Math.floor(Number(safeOptions.batchSize))
: DEFAULT_BATCH_SIZE;
const sleepMinMs = Number(safeOptions.sleepMinMs) >= 0
? Math.floor(Number(safeOptions.sleepMinMs))
: DEFAULT_SLEEP_MIN_MS;
let sleepMaxMs = Number(safeOptions.sleepMaxMs) >= 0
? Math.floor(Number(safeOptions.sleepMaxMs))
: DEFAULT_SLEEP_MAX_MS;
if (sleepMaxMs < sleepMinMs) {
sleepMaxMs = sleepMinMs;
}
const boundaryId = await this.findCleanupBoundaryId(retainDays);
if (boundaryId === null) {
ctx.logger.info(`[system-log-cleanup] 无超过 ${retainDays} 天的系统日志,跳过本次清理`);
return {
skipped: true,
boundary_id: null,
batch_count: 0,
deleted_rows: 0,
duration_ms: Date.now() - startedAt,
};
}
let batchCount = 0;
let totalDeleted = 0;
let affectedRows = 1;
while (affectedRows > 0) {
if (batchCount > 0) {
const sleepMs = Math.floor(sleepMinMs + Math.random() * (sleepMaxMs - sleepMinMs + 1));
await sleep(sleepMs);
}
affectedRows = await this.deleteSystemLogsBatch(boundaryId, batchSize);
if (affectedRows > 0) {
batchCount += 1;
totalDeleted += affectedRows;
}
}
return {
skipped: false,
boundary_id: boundaryId,
batch_count: batchCount,
deleted_rows: totalDeleted,
duration_ms: Date.now() - startedAt,
};
}
}
module.exports = SystemLogService;