背景:接口流水原本逐条写 wms_system_log 单表(生产 687,030 行、.ibd 28.8 GB、DATA_FREE 仅 5 MB),
删行无法把空间还给操作系统;且每个 needLog 请求都要多一次 INSERT。改为经 Egg 自定义 logger 平铺落盘,
整表 DROP 回收磁盘(生产实测释放 28.8 GB,/www 可用 20G→49G);日志目录同时由 /root/logs/wms
迁到 /www/wwwlogs/wms,不再占用系统盘。
新增 app/lib/api_log_sink.js:
- 一行一条 `HH:mm:ss {JSON}`:前缀是本地时区时分秒,只给人眼定位(tail/grep 的时间锚点),与行内
created_at(UTC ISO 8601)是同一时刻;机器解析请用 created_at。
- 时间前缀刻意放在代码里而不是 config 的 formatter —— 生产 config 不参与 deploy、由人工维护,
放代码才能随发布自动生效(此前已因「代码上线、配套配置没上」出现过接口日志静默丢失)。
- 对象/数组一律 JSON.stringify,避免调用方漏 stringify 时落盘成 "[object Object]"。
- customLogger.apiLog 缺失时每个 worker 显式告警一次:egg 的 getLogger(name) 对未声明的 name 返回
null 而不抛错,不处理就会「既不落盘、也无任何报错」。
新增迁移 database/migrations/20260927090000-offline-wms-system-log.js:
- up 用 information_schema 探测后 DROP TABLE(幂等);该表对 wms_store 是出边外键,无需关外键检查。
- down 用原生 DDL 重建:queryInterface.createTable 在 MySQL 下默认字符集是 utf8mb3,且不会生成原始
DDL 里的 created_at ON UPDATE CURRENT_TIMESTAMP,只有原生 DDL 才能忠实还原。
- 已在开发库跑通 up → down → up:重建后 14 列、主键、store_id 索引、外键、utf8mb4 均与下线前一致。
下线代码:删除 app/model/system_log.js、app/service/systems/system_log.js(60 天保留期清理服务)、
app/schedule/system_log_cleanup.js(每日 03:00 清理任务);移除 config.systemLog(writeToDb 回滚开关)
与 config.systemLogCleanup;api_log_sink 不再保留任何入库分支。
文档与脚本:AI_METHOD_ROUTING.md 第 6 节清单移除已下线的 systems/system_log.js(文件数 220→219);
script/method-output-regression.cjs 的回放样本来源由 `SELECT ... FROM wms_system_log` 改为读
wms-api.log(含按天轮转文件),并改为先整体 parse、失败再截到第一个 `{` 重试,兼容带/不带时间前缀
两种行(在真实 EggLogger 上验证:FileBufferTransport 每 1000ms flush,需等过 1s 才能读到)。
注:按日切割与 31 天清理由 egg 内置 egg-logrotator 自动完成(walkLoggerFile 覆盖 customLogger),
无需额外配 cron。
107 lines
4.8 KiB
JavaScript
107 lines
4.8 KiB
JavaScript
'use strict';
|
||
|
||
/**
|
||
* 下线 wms_system_log(接口流水表)。
|
||
*
|
||
* 背景:接口流水已改为经 Egg 自定义 logger(`config.customLogger.apiLog`)平铺写入
|
||
* `/root/logs/wms/wms-api.log`,应用侧不再有任何写入路径;生产库该表已膨胀到
|
||
* 687,030 行 / DATA_LENGTH 19,357 MB(约 18.9 GB),而 DATA_FREE 仅 5 MB ——
|
||
* 单纯按保留期删行不会把空间还给操作系统,必须整表下线才能回收磁盘。
|
||
*
|
||
* ⚠️ 本迁移会永久丢弃表内历史数据。如需留档,请在执行前先自行导出:
|
||
* mysqldump -h127.0.0.1 -uwms -p wms wms_system_log | gzip > /root/wms_system_log-$(date +%F).sql.gz
|
||
*
|
||
* 幂等:up 用 DROP TABLE IF EXISTS;down 先探测表存在性再重建。
|
||
*
|
||
* 同批次一起下线的代码(见同批改动):
|
||
* - app/model/system_log.js (已删除)
|
||
* - app/service/systems/system_log.js (已删除,60 天保留期清理服务)
|
||
* - app/schedule/system_log_cleanup.js (已删除,每日 03:00 清理定时任务)
|
||
* - app/lib/api_log_sink.js (移除 writeToDb 回滚入库分支)
|
||
* - config/config.default.js (移除 systemLog / systemLogCleanup)
|
||
*
|
||
* @param {import('sequelize').QueryInterface} queryInterface 查询接口
|
||
* @param {import('sequelize')} Sequelize Sequelize 实例
|
||
* @return {Promise<void>} 无返回值
|
||
*/
|
||
module.exports = {
|
||
/**
|
||
* 执行迁移:删除 wms_system_log 表(幂等)。
|
||
*
|
||
* 说明:该表对 wms_store 有外键(wms_system_log.store_id → wms_store.id),
|
||
* 属"出边"外键,删除子表不影响父表,无需先关闭 FOREIGN_KEY_CHECKS;
|
||
* 已确认库内没有指向 wms_system_log 的入边外键、视图或触发器。
|
||
*
|
||
* @param {import('sequelize').QueryInterface} queryInterface 查询接口
|
||
* @return {Promise<void>} 无返回值
|
||
*/
|
||
async up(queryInterface) {
|
||
const tableName = 'wms_system_log';
|
||
// 用 information_schema 探测而非依赖异常:MySQL 5.7 / 8.0 的 IF EXISTS 行为一致但便于记录日志
|
||
const [[ probe ]] = await queryInterface.sequelize.query(
|
||
'SELECT COUNT(*) AS cnt FROM information_schema.TABLES'
|
||
+ ' WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = :tableName',
|
||
{ replacements: { tableName } }
|
||
);
|
||
if (!Number(probe && probe.cnt)) {
|
||
return;
|
||
}
|
||
|
||
const [[ size ]] = await queryInterface.sequelize.query(
|
||
'SELECT ROUND(DATA_LENGTH / 1024 / 1024) AS data_mb, ROUND(INDEX_LENGTH / 1024 / 1024) AS idx_mb, TABLE_ROWS AS est_rows'
|
||
+ ' FROM information_schema.TABLES WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = :tableName',
|
||
{ replacements: { tableName } }
|
||
);
|
||
await queryInterface.sequelize.query(`DROP TABLE IF EXISTS \`${tableName}\``);
|
||
// eslint-disable-next-line no-console
|
||
console.log(
|
||
`[offline-wms-system-log] 已删除 ${tableName}(原估算行数=${size && size.est_rows}`
|
||
+ ` 数据=${size && size.data_mb}MB 索引=${size && size.idx_mb}MB)`
|
||
);
|
||
},
|
||
|
||
/**
|
||
* 回滚迁移:按原结构重建空的 wms_system_log 表(幂等,不恢复数据)。
|
||
*
|
||
* 直接用原生 DDL 重建,而不是 queryInterface.createTable —— 后者在 MySQL 下
|
||
* 默认字符集是 utf8(即 utf8mb3),也不会生成原始的
|
||
* `created_at datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP`;
|
||
* 只有原生 DDL 才能让回滚后的结构与下线前完全一致。
|
||
*
|
||
* ⚠️ 表内数据不会恢复;需要留档请在 up 之前自行 mysqldump。
|
||
*
|
||
* @param {import('sequelize').QueryInterface} queryInterface 查询接口
|
||
* @return {Promise<void>} 无返回值
|
||
*/
|
||
async down(queryInterface) {
|
||
const tableName = 'wms_system_log';
|
||
const tables = await queryInterface.showAllTables();
|
||
if (tables.includes(tableName)) {
|
||
return;
|
||
}
|
||
|
||
await queryInterface.sequelize.query(
|
||
`CREATE TABLE \`${tableName}\` (`
|
||
+ ' `id` bigint UNSIGNED NOT NULL AUTO_INCREMENT,'
|
||
+ ' `method` varchar(100) DEFAULT NULL,'
|
||
+ ' `v` varchar(50) DEFAULT NULL,'
|
||
+ ' `url` text,'
|
||
+ ' `created_at` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,'
|
||
+ ' `body` longtext,'
|
||
+ ' `result` longtext,'
|
||
+ ' `use_time` int DEFAULT NULL,'
|
||
+ ' `updated_at` datetime DEFAULT NULL,'
|
||
+ ' `delete_at` datetime DEFAULT NULL,'
|
||
+ ' `headers` text,'
|
||
+ ' `auth` text,'
|
||
+ ' `store_id` bigint UNSIGNED DEFAULT NULL,'
|
||
+ ' `device` varchar(100) DEFAULT NULL COMMENT \'设备\','
|
||
+ ' PRIMARY KEY (`id`),'
|
||
+ ' KEY `store_id` (`store_id`),'
|
||
+ ' CONSTRAINT `wms_system_log_ibfk_1` FOREIGN KEY (`store_id`)'
|
||
+ ' REFERENCES `wms_store` (`id`) ON DELETE CASCADE ON UPDATE NO ACTION'
|
||
+ ') ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci'
|
||
);
|
||
},
|
||
};
|