- 新增 app/schedule/system_log_cleanup.js 定时任务:cron 从 config.systemLogCleanup.cron 读取(缺省回退 '0 0 3 * * *'),受 enable 开关与防重入保护 - 新增 app/service/systems/system_log.js:按 id 边界定位 + 分批硬删除超期日志,保留天数默认 60(normalizeRetainDays 校验非法值回退),批间随机休眠降低数据库压力 - config.default.js 新增 config.systemLogCleanup 配置块:enable、cron、retainDays 60、batchSize 2000、sleepMinMs/sleepMaxMs - 新增 service 与 schedule 单测(39 个用例),覆盖边界定位、保留天数校验、配置开关与防重入等场景
181 lines
6.9 KiB
JavaScript
181 lines
6.9 KiB
JavaScript
// app/service/systems/system_log.js
|
||
'use strict';
|
||
|
||
const MainService = require('../main');
|
||
|
||
/** @type {string} 系统日志表名 */
|
||
const SYSTEM_LOG_TABLE = 'wms_system_log';
|
||
/** @type {number} 默认日志保留天数:删除创建时间早于该天数的日志 */
|
||
const DEFAULT_RETAIN_DAYS = 60;
|
||
/** @type {number} 默认单批硬删除行数 */
|
||
const DEFAULT_BATCH_SIZE = 2000;
|
||
/** @type {number} 默认批间休眠最小毫秒数 */
|
||
const DEFAULT_SLEEP_MIN_MS = 100;
|
||
/** @type {number} 默认批间休眠最大毫秒数 */
|
||
const DEFAULT_SLEEP_MAX_MS = 500;
|
||
|
||
/**
|
||
* 休眠指定毫秒数。
|
||
*
|
||
* @param {number} ms 休眠毫秒数。
|
||
* @return {Promise<void>} 无返回值。
|
||
*/
|
||
function sleep(ms) {
|
||
return new Promise(resolve => setTimeout(resolve, ms));
|
||
}
|
||
|
||
/**
|
||
* 将保留天数归一化为正整数。
|
||
*
|
||
* 仅接受正整数(含数字字符串),其余非法值(负数、0、小数、非数字)一律回退默认保留天数;
|
||
* 归一化后的值直接拼入 SQL 模板的 INTERVAL 表达式,保证无 SQL 注入风险。
|
||
*
|
||
* @param {*} value 待归一化的保留天数。
|
||
* @return {number} 归一化后的正整数保留天数。
|
||
*/
|
||
function normalizeRetainDays(value) {
|
||
const normalized = Number(value);
|
||
return Number.isInteger(normalized) && normalized > 0 ? normalized : DEFAULT_RETAIN_DAYS;
|
||
}
|
||
|
||
/**
|
||
* 系统日志清理服务。
|
||
*
|
||
* 背景:wms_system_log 单表无分表无分区,日志长期增长会占用大量磁盘空间。
|
||
* created_at 由应用写入 new Date(),与自增主键 id 严格单调递增,且 created_at 无索引,
|
||
* 因此按时间条件过滤会全表扫描,必须按 id 边界走主键索引删除;
|
||
* 同时必须使用原生 SQL 硬删除,禁止 SystemLog.destroy(全局 paranoid 软删除会增大行体积且语义不符)。
|
||
*/
|
||
class SystemLogService extends MainService {
|
||
/**
|
||
* 定位删除边界 id:创建时间早于保留天数截止时间的最大 id。
|
||
*
|
||
* 由于 created_at 与 id 严格单调递增,id 不大于该边界的行即全部过期行,
|
||
* 等价于按 created_at 时间边界删除且走主键索引;查不到时返回 null 表示无过期日志。
|
||
*
|
||
* @param {number} retainDays 日志保留天数(正整数;非法值回退默认 60)。
|
||
* @return {Promise<number|null>} 边界 id;无过期日志时返回 null。
|
||
*/
|
||
async findCleanupBoundaryId(retainDays) {
|
||
const { ctx } = this;
|
||
const safeRetainDays = normalizeRetainDays(retainDays);
|
||
|
||
const rows = await ctx.model.query(
|
||
`SELECT id FROM ${SYSTEM_LOG_TABLE}`
|
||
+ ` WHERE created_at < DATE_SUB(NOW(), INTERVAL ${safeRetainDays} DAY)`
|
||
+ ' ORDER BY id DESC LIMIT 1',
|
||
{ type: ctx.model.QueryTypes.SELECT }
|
||
);
|
||
|
||
const firstRow = Array.isArray(rows) ? rows[0] : null;
|
||
const boundaryId = firstRow ? Number(firstRow.id) : null;
|
||
return Number.isInteger(boundaryId) && boundaryId > 0 ? boundaryId : null;
|
||
}
|
||
|
||
/**
|
||
* 单批硬删除 id 不大于边界值的系统日志(每批最多 batchSize 行)。
|
||
*
|
||
* @param {number} boundaryId 删除边界 id(含边界行本身)。
|
||
* @param {number} batchSize 单批最大删除行数。
|
||
* @return {Promise<number>} 本批实际删除行数。
|
||
*/
|
||
async deleteSystemLogsBatch(boundaryId, batchSize) {
|
||
const { ctx } = this;
|
||
const safeBoundaryId = Number(boundaryId) > 0 ? Math.floor(Number(boundaryId)) : 0;
|
||
const safeBatchSize = Number(batchSize) > 0 ? Math.floor(Number(batchSize)) : DEFAULT_BATCH_SIZE;
|
||
if (safeBoundaryId <= 0) {
|
||
return 0;
|
||
}
|
||
|
||
// 不传 type:默认走 RAW 查询,mysql2 对 DELETE 返回 ResultSetHeader,
|
||
// 取 [result, data] 结构中第一项的 affectedRows 作为本批删除行数
|
||
const rawResult = await ctx.model.query(
|
||
`DELETE FROM ${SYSTEM_LOG_TABLE}`
|
||
+ ` WHERE id <= ${safeBoundaryId}`
|
||
+ ' ORDER BY id'
|
||
+ ` LIMIT ${safeBatchSize}`
|
||
);
|
||
const header = Array.isArray(rawResult) ? rawResult[0] : rawResult;
|
||
const affectedRows = Number(header && header.affectedRows);
|
||
return Number.isFinite(affectedRows) && affectedRows > 0 ? affectedRows : 0;
|
||
}
|
||
|
||
/**
|
||
* 清理超过保留天数的系统日志(定时任务入口)。
|
||
*
|
||
* 流程:先定位边界 id,再按 id 升序分批硬删除,循环到单批受影响行数为 0 为止,
|
||
* 批间随机休眠 100~500ms 降低数据库压力;不执行 OPTIMIZE TABLE,
|
||
* 由 InnoDB 自行复用已删除数据页,避免重建大表占满磁盘。
|
||
*
|
||
* @param {Object} [options={}] 清理参数。
|
||
* @param {number} [options.retainDays] 日志保留天数(正整数);缺省时读取
|
||
* config.systemLogCleanup.retainDays,仍非法或未配置时回退 60。
|
||
* @param {number} [options.batchSize=2000] 单批硬删除行数。
|
||
* @param {number} [options.sleepMinMs=100] 批间休眠最小毫秒数。
|
||
* @param {number} [options.sleepMaxMs=500] 批间休眠最大毫秒数。
|
||
* @return {Promise<Object>} 清理结果摘要。
|
||
*/
|
||
async cleanupExpiredSystemLogs(options = {}) {
|
||
const { ctx } = this;
|
||
const startedAt = Date.now();
|
||
const safeOptions = options && typeof options === 'object' ? options : {};
|
||
|
||
const cleanupConfig = (ctx.app.config && ctx.app.config.systemLogCleanup) || {};
|
||
const rawRetainDays = safeOptions.retainDays !== undefined && safeOptions.retainDays !== null
|
||
? safeOptions.retainDays
|
||
: cleanupConfig.retainDays;
|
||
const retainDays = normalizeRetainDays(rawRetainDays);
|
||
const batchSize = Number(safeOptions.batchSize) > 0
|
||
? Math.floor(Number(safeOptions.batchSize))
|
||
: DEFAULT_BATCH_SIZE;
|
||
const sleepMinMs = Number(safeOptions.sleepMinMs) >= 0
|
||
? Math.floor(Number(safeOptions.sleepMinMs))
|
||
: DEFAULT_SLEEP_MIN_MS;
|
||
let sleepMaxMs = Number(safeOptions.sleepMaxMs) >= 0
|
||
? Math.floor(Number(safeOptions.sleepMaxMs))
|
||
: DEFAULT_SLEEP_MAX_MS;
|
||
if (sleepMaxMs < sleepMinMs) {
|
||
sleepMaxMs = sleepMinMs;
|
||
}
|
||
|
||
const boundaryId = await this.findCleanupBoundaryId(retainDays);
|
||
if (boundaryId === null) {
|
||
ctx.logger.info(`[system-log-cleanup] 无超过 ${retainDays} 天的系统日志,跳过本次清理`);
|
||
return {
|
||
skipped: true,
|
||
boundary_id: null,
|
||
batch_count: 0,
|
||
deleted_rows: 0,
|
||
duration_ms: Date.now() - startedAt,
|
||
};
|
||
}
|
||
|
||
let batchCount = 0;
|
||
let totalDeleted = 0;
|
||
let affectedRows = 1;
|
||
|
||
while (affectedRows > 0) {
|
||
if (batchCount > 0) {
|
||
const sleepMs = Math.floor(sleepMinMs + Math.random() * (sleepMaxMs - sleepMinMs + 1));
|
||
await sleep(sleepMs);
|
||
}
|
||
|
||
affectedRows = await this.deleteSystemLogsBatch(boundaryId, batchSize);
|
||
if (affectedRows > 0) {
|
||
batchCount += 1;
|
||
totalDeleted += affectedRows;
|
||
}
|
||
}
|
||
|
||
return {
|
||
skipped: false,
|
||
boundary_id: boundaryId,
|
||
batch_count: batchCount,
|
||
deleted_rows: totalDeleted,
|
||
duration_ms: Date.now() - startedAt,
|
||
};
|
||
}
|
||
}
|
||
|
||
module.exports = SystemLogService;
|