WMS_MAIN/script/qimen-watchdog.sh
liufumingren 0918f2d572 feat(deploy): 证书同步改为单片段 include + ver 命名 + 声明式自愈与差集下线
- 站点内容外置为单一片段(upstreamInclude,运维维护):生成的 server 块 = 证书骨架 +
  一行 include <片段>,撤掉此前的 customDir 多片段方案;并强制 include 必须是绝对路径
  且文件已存在(nginx 解析相对 include 的基准是 nginx prefix,不是脚本 cwd,写相对路径
  会让 nginx -t 失败并回滚整轮变更),不满足直接 exit 1(dry-run 下仅告警)
- conf 命名加版本位 <domain>-<ver>.conf:轮转只改配置的 ver,旧命名自动清理并 reload
- 声明式对账自愈:证书 / 私钥 / server 块缺失或被改坏,按库内内容原子重建后统一
  nginx -t + reload(内容一致时零写入、零 reload);失败态(sync_status=2)同样参与
  收敛并在校验通过后回到 1;nginx -t / reload 属全局失败,只落 last_sync_error 下轮
  重试,不再把行写成 2 卡死
- 域名下线改为配置差集驱动:以「已配置 + 已验证 + 证书就绪」的期望集合为准(同一仓库
  只取 id 最小的一条),目录中属于本系统命名规则但配置里已无该域名的 conf / 证书直接
  删除并 reload;不再消费 retired_domain(该列仅作应用侧审计留痕)
- 证书未配置的行不写 conf 也不作为文件保留依据(遗留产物由差集回收,避免 conf 引用
  不存在的证书导致 nginx -t 全局失败),行状态回写 sync_status=0 待同步;证书非空但
  非法、域名形态非法才记行级失败(2)
- cert-sync 部署命令瘦身为 install / uninstall;新增 watchdog 部署命令(precheck /
  install / status / dry-run / run),安装路径统一到 script/;deploy-lib 保护生产运行时
  配置不被发布覆盖;README 补「发布与运维」章节(目录硬约定 / 定时任务 / 命令清单)
2026-09-28 01:02:23 +08:00

234 lines
8.3 KiB
Bash
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

#!/bin/bash
#
# qimen 接口服务看门狗(保活)
#
# 目的:每 5 分钟探活一次当前版本;探活失败且重试仍失败时,**按 deploy 完全相同的方式**把
# current.md 指定的版本拉起来。启动方式与 script/deploy-remote.cjs 严格对齐:
# 1) 释放目标端口残留进程(先 kill 优雅停止 → sleep 30 → 仍占用则 kill -9 + fuser -k);
# 2) cd <目标版本目录> && nohup bash -lc 'npm start' > /tmp/wms-<ver>-start.log 2>&1 &;
# 3) 健康检查 curl -fsS --connect-timeout 2 --max-time 3 http://127.0.0.1:<port>/,
# 10 次 × 2s(与 deploy 的 20s 等待窗口一致)。
#
# 保活范围(两个来源取并集,去重;正常情况下二者相同):
# - current.md → 「当前版本」
# - nginx-upstream.conf → nginx 实际转发到的版本(发布过程中可能出现短暂不一致)
# 两者不一致时打印 WARN 并同时保活,避免「nginx 指向的实例挂了却没人管」。
#
# 为什么探活要重试 3 次再动作:发布过程中 deploy 会先写 current.md、再启动新实例、最后切
# upstream。写 current.md 到新实例就绪之间有约 3 秒空窗,6 秒重试确认正好覆盖这个窗口,
# 避免看门狗与 deploy 同时启动同一实例。
#
# 为什么启动前要按目录清残留进程:若 master 被 kill -9,worker 会被 init 收养继续跑
# (端口已释放但进程还在),此时直接再启动会出现两份实例 → egg schedule 重复执行
# (重复推送/重复回信)。按 deploy 的做法先清干净再启动。
#
# 用法:
# bash qimen-watchdog.sh # 正常保活
# bash qimen-watchdog.sh --dry-run # 只探活并报告,绝不启动/杀进程(用于验证)
# QIMEN_DEPLOY_ROOT=/xxx bash ... # 覆盖部署根目录(默认 /www/wwwroot/qimen)
#
# cron(系统级,不放在 root crontab —— 宝塔面板会整体重写 root crontab,会把它冲掉):
# /etc/cron.d/qimen-watchdog
# */5 * * * * root /www/wwwroot/qimen/script/qimen-watchdog.sh >> /www/wwwlogs/wms/qimen-watchdog.log 2>&1
#
# 仓库源文件:script/qimen-watchdog.sh(本文件是它在服务器上的稳定副本,更新后需重新安装;
# 放 deploy 根下的 script/ 目录而非 v1/v2 内,是为了不受版本切换与发布清理影响,
# 并与 warehouse-cert-sync.sh / warehouse-cert-sync.cjs 收口在同一目录)。
#
# 安装/更新:npm run deploy:watchdog:install(script/deploy-watchdog.cjs;
# 会把历史位置 <部署根>/qimen-watchdog.sh 挪成 script/<名>.legacy-<时间戳> 备份)。
#
set -u
DEPLOY_ROOT=${QIMEN_DEPLOY_ROOT:-/www/wwwroot/qimen}
PROBE_PATH=${QIMEN_PROBE_PATH:-/}
CURRENT_MD="$DEPLOY_ROOT/current.md"
UPSTREAM_CONF="$DEPLOY_ROOT/nginx-upstream.conf"
LOCK_FILE=${QIMEN_WATCHDOG_LOCK:-/var/lock/qimen-watchdog.lock}
TAG='[qimen-watchdog]'
DRY_RUN=0
for arg in "$@"; do
case "$arg" in
--dry-run) DRY_RUN=1 ;;
-h|--help)
sed -n '2,40p' "$0"
exit 0
;;
esac
done
now() { date '+%F %T'; }
say() { echo "$(now) $TAG $*"; }
# 版本 ↔ 端口(与 script/deploy-remote.cjs 的 getTargetPort 一致)
port_of() {
case "$1" in
v1) echo 6061 ;;
v2) echo 6062 ;;
*) echo '' ;;
esac
}
# 探活:与 deploy 的健康检查同一条命令
probe() {
curl -fsS --connect-timeout 2 --max-time 3 "http://127.0.0.1:$1$PROBE_PATH" >/dev/null 2>&1
}
# 取端口占用进程(与 deploy 的 killPortScript 同一套 ss/awk/grep 写法)
port_pid() {
ss -tlnp 2>/dev/null \
| awk -v p=":$1 " 'index($0, p) { print $0 }' \
| grep -oP 'pid=\K[0-9]+' | head -1 || true
}
# 取某版本目录下的 node 进程(与 deploy 的 stopOldScript / killNewScript 同一套写法)
dir_pids() {
ps -eo pid=,args= 2>/dev/null \
| awk -v root="$1" 'index($0, root) && $2 ~ /node$/ { print $1 }' || true
}
# ---------------------------------------------------------------------------
# 0. 串行化:上一轮没跑完就跳过,避免并发重复启动
# ---------------------------------------------------------------------------
if ! ( exec 9>"$LOCK_FILE" ) 2>/dev/null; then
say "ERROR 无法打开锁文件 $LOCK_FILE,本轮跳过"
exit 1
fi
exec 9>"$LOCK_FILE"
if ! flock -n 9; then
say "上一轮尚未结束,本轮跳过"
exit 0
fi
# ---------------------------------------------------------------------------
# 1. 确定要保活的版本集合
# ---------------------------------------------------------------------------
CURRENT_VER=$(tr -d '\r\n' < "$CURRENT_MD" 2>/dev/null || true)
UPSTREAM_PORT=$(grep -oE '127\.0\.0\.1:[0-9]+' "$UPSTREAM_CONF" 2>/dev/null | head -1 | grep -oE '[0-9]+$' || true)
case "$UPSTREAM_PORT" in
6061) UPSTREAM_VER=v1 ;;
6062) UPSTREAM_VER=v2 ;;
*) UPSTREAM_VER='' ;;
esac
TARGETS=''
for v in "$CURRENT_VER" "$UPSTREAM_VER"; do
case "$v" in
v1|v2) ;;
*) continue ;;
esac
case " $TARGETS " in
*" $v "*) ;;
*) TARGETS="$TARGETS $v" ;;
esac
done
if [ -z "$TARGETS" ]; then
say "ERROR 无法确定目标版本(current.md='$CURRENT_VER' upstream_port='$UPSTREAM_PORT'),本轮跳过"
exit 1
fi
if [ "$CURRENT_VER" != "$UPSTREAM_VER" ]; then
say "WARN current.md=$CURRENT_VER 与 upstream=$UPSTREAM_VER 不一致(可能正在发布),本轮同时保活:$TARGETS"
fi
RC=0
# ---------------------------------------------------------------------------
# 2. 逐版本探活 → 不活则按 deploy 方式启动
# ---------------------------------------------------------------------------
for ver in $TARGETS; do
port=$(port_of "$ver")
dir="$DEPLOY_ROOT/$ver"
pid=$(port_pid "$port")
if probe "$port"; then
say "OK $ver:$port 存活 (pid=${pid:-?})"
continue
fi
# 二次确认:6 秒内再探 3 次,覆盖「发布中 current.md 已写、实例还没起来」的空窗
confirmed_down=0
for _ in 1 2 3; do
sleep 2
if probe "$port"; then
confirmed_down=0
break
fi
confirmed_down=1
done
if [ "$confirmed_down" = 0 ]; then
say "OK $ver:$port 存活(首次探活失败,重试后恢复,判定为瞬时抖动)"
continue
fi
say "DOWN $ver:$port 连续 4 次探活失败(pid=${pid:-无}),开始按 deploy 相同方式恢复"
if [ "$DRY_RUN" = 1 ]; then
say "DRY-RUN 跳过启动:cd $dir && nohup bash -lc 'npm start' > /tmp/wms-$ver-start.log 2>&1 &"
RC=1
continue
fi
# 2.1 释放端口残留进程(与 deploy 的 killPortScript 一致)
if [ -n "$pid" ]; then
say "端口 $port 被进程 $pid 占用,发送优雅停止信号"
kill "$pid" 2>/dev/null || true
sleep 30
pid_check=$(port_pid "$port")
if [ -n "$pid_check" ]; then
say "端口 $port 仍有残留进程 $pid_check,强制停止"
kill -9 "$pid_check" 2>/dev/null || true
fuser -k "$port/tcp" 2>/dev/null || true
fi
else
say "端口 $port 空闲"
fi
# 2.2 端口已空闲时,清理该目录下可能被 init 收养的孤儿 node 进程
# (master 被 kill -9 后 worker 存活、端口已释放,不清会导致两份实例重复跑定时任务)
orphans=$(dir_pids "$dir")
if [ -n "$orphans" ]; then
say "清理 $ver 目录下的孤儿进程: $orphans"
# shellcheck disable=SC2086
kill $orphans 2>/dev/null || true
sleep 5
orphans_left=$(dir_pids "$dir")
if [ -n "$orphans_left" ]; then
say "孤儿进程未退出,强制停止: $orphans_left"
# shellcheck disable=SC2086
kill -9 $orphans_left 2>/dev/null || true
fi
fi
# 2.3 启动(与 deploy 完全一致:目标目录 + nohup bash -lc 'npm start' + /tmp/wms-<ver>-start.log)
if [ ! -d "$dir" ]; then
say "ERROR 目标目录不存在: $dir,无法启动"
RC=1
continue
fi
start_log="/tmp/wms-$ver-start.log"
( cd "$dir" && nohup bash -lc 'npm start' > "$start_log" 2>&1 & )
say "已在 $dir 启动 $ver,启动日志: $start_log"
# 2.4 健康检查(与 deploy 一致:10 次 × 2s)
started=0
for _ in $(seq 1 10); do
if probe "$port"; then
started=1
break
fi
sleep 2
done
if [ "$started" = 1 ]; then
say "RECOVERED $ver:$port 启动成功且探活通过 (pid=$(port_pid "$port" || true))"
else
say "ERROR $ver:$port 启动后 20s 内仍未通过探活,请检查 $start_log"
RC=1
fi
done
exit $RC