- 站点内容外置为单一片段(upstreamInclude,运维维护):生成的 server 块 = 证书骨架 + 一行 include <片段>,撤掉此前的 customDir 多片段方案;并强制 include 必须是绝对路径 且文件已存在(nginx 解析相对 include 的基准是 nginx prefix,不是脚本 cwd,写相对路径 会让 nginx -t 失败并回滚整轮变更),不满足直接 exit 1(dry-run 下仅告警) - conf 命名加版本位 <domain>-<ver>.conf:轮转只改配置的 ver,旧命名自动清理并 reload - 声明式对账自愈:证书 / 私钥 / server 块缺失或被改坏,按库内内容原子重建后统一 nginx -t + reload(内容一致时零写入、零 reload);失败态(sync_status=2)同样参与 收敛并在校验通过后回到 1;nginx -t / reload 属全局失败,只落 last_sync_error 下轮 重试,不再把行写成 2 卡死 - 域名下线改为配置差集驱动:以「已配置 + 已验证 + 证书就绪」的期望集合为准(同一仓库 只取 id 最小的一条),目录中属于本系统命名规则但配置里已无该域名的 conf / 证书直接 删除并 reload;不再消费 retired_domain(该列仅作应用侧审计留痕) - 证书未配置的行不写 conf 也不作为文件保留依据(遗留产物由差集回收,避免 conf 引用 不存在的证书导致 nginx -t 全局失败),行状态回写 sync_status=0 待同步;证书非空但 非法、域名形态非法才记行级失败(2) - cert-sync 部署命令瘦身为 install / uninstall;新增 watchdog 部署命令(precheck / install / status / dry-run / run),安装路径统一到 script/;deploy-lib 保护生产运行时 配置不被发布覆盖;README 补「发布与运维」章节(目录硬约定 / 定时任务 / 命令清单)
234 lines
8.3 KiB
Bash
234 lines
8.3 KiB
Bash
#!/bin/bash
|
||
#
|
||
# qimen 接口服务看门狗(保活)
|
||
#
|
||
# 目的:每 5 分钟探活一次当前版本;探活失败且重试仍失败时,**按 deploy 完全相同的方式**把
|
||
# current.md 指定的版本拉起来。启动方式与 script/deploy-remote.cjs 严格对齐:
|
||
# 1) 释放目标端口残留进程(先 kill 优雅停止 → sleep 30 → 仍占用则 kill -9 + fuser -k);
|
||
# 2) cd <目标版本目录> && nohup bash -lc 'npm start' > /tmp/wms-<ver>-start.log 2>&1 &;
|
||
# 3) 健康检查 curl -fsS --connect-timeout 2 --max-time 3 http://127.0.0.1:<port>/,
|
||
# 10 次 × 2s(与 deploy 的 20s 等待窗口一致)。
|
||
#
|
||
# 保活范围(两个来源取并集,去重;正常情况下二者相同):
|
||
# - current.md → 「当前版本」
|
||
# - nginx-upstream.conf → nginx 实际转发到的版本(发布过程中可能出现短暂不一致)
|
||
# 两者不一致时打印 WARN 并同时保活,避免「nginx 指向的实例挂了却没人管」。
|
||
#
|
||
# 为什么探活要重试 3 次再动作:发布过程中 deploy 会先写 current.md、再启动新实例、最后切
|
||
# upstream。写 current.md 到新实例就绪之间有约 3 秒空窗,6 秒重试确认正好覆盖这个窗口,
|
||
# 避免看门狗与 deploy 同时启动同一实例。
|
||
#
|
||
# 为什么启动前要按目录清残留进程:若 master 被 kill -9,worker 会被 init 收养继续跑
|
||
# (端口已释放但进程还在),此时直接再启动会出现两份实例 → egg schedule 重复执行
|
||
# (重复推送/重复回信)。按 deploy 的做法先清干净再启动。
|
||
#
|
||
# 用法:
|
||
# bash qimen-watchdog.sh # 正常保活
|
||
# bash qimen-watchdog.sh --dry-run # 只探活并报告,绝不启动/杀进程(用于验证)
|
||
# QIMEN_DEPLOY_ROOT=/xxx bash ... # 覆盖部署根目录(默认 /www/wwwroot/qimen)
|
||
#
|
||
# cron(系统级,不放在 root crontab —— 宝塔面板会整体重写 root crontab,会把它冲掉):
|
||
# /etc/cron.d/qimen-watchdog
|
||
# */5 * * * * root /www/wwwroot/qimen/script/qimen-watchdog.sh >> /www/wwwlogs/wms/qimen-watchdog.log 2>&1
|
||
#
|
||
# 仓库源文件:script/qimen-watchdog.sh(本文件是它在服务器上的稳定副本,更新后需重新安装;
|
||
# 放 deploy 根下的 script/ 目录而非 v1/v2 内,是为了不受版本切换与发布清理影响,
|
||
# 并与 warehouse-cert-sync.sh / warehouse-cert-sync.cjs 收口在同一目录)。
|
||
#
|
||
# 安装/更新:npm run deploy:watchdog:install(script/deploy-watchdog.cjs;
|
||
# 会把历史位置 <部署根>/qimen-watchdog.sh 挪成 script/<名>.legacy-<时间戳> 备份)。
|
||
#
|
||
set -u
|
||
|
||
DEPLOY_ROOT=${QIMEN_DEPLOY_ROOT:-/www/wwwroot/qimen}
|
||
PROBE_PATH=${QIMEN_PROBE_PATH:-/}
|
||
CURRENT_MD="$DEPLOY_ROOT/current.md"
|
||
UPSTREAM_CONF="$DEPLOY_ROOT/nginx-upstream.conf"
|
||
LOCK_FILE=${QIMEN_WATCHDOG_LOCK:-/var/lock/qimen-watchdog.lock}
|
||
TAG='[qimen-watchdog]'
|
||
|
||
DRY_RUN=0
|
||
for arg in "$@"; do
|
||
case "$arg" in
|
||
--dry-run) DRY_RUN=1 ;;
|
||
-h|--help)
|
||
sed -n '2,40p' "$0"
|
||
exit 0
|
||
;;
|
||
esac
|
||
done
|
||
|
||
now() { date '+%F %T'; }
|
||
say() { echo "$(now) $TAG $*"; }
|
||
|
||
# 版本 ↔ 端口(与 script/deploy-remote.cjs 的 getTargetPort 一致)
|
||
port_of() {
|
||
case "$1" in
|
||
v1) echo 6061 ;;
|
||
v2) echo 6062 ;;
|
||
*) echo '' ;;
|
||
esac
|
||
}
|
||
|
||
# 探活:与 deploy 的健康检查同一条命令
|
||
probe() {
|
||
curl -fsS --connect-timeout 2 --max-time 3 "http://127.0.0.1:$1$PROBE_PATH" >/dev/null 2>&1
|
||
}
|
||
|
||
# 取端口占用进程(与 deploy 的 killPortScript 同一套 ss/awk/grep 写法)
|
||
port_pid() {
|
||
ss -tlnp 2>/dev/null \
|
||
| awk -v p=":$1 " 'index($0, p) { print $0 }' \
|
||
| grep -oP 'pid=\K[0-9]+' | head -1 || true
|
||
}
|
||
|
||
# 取某版本目录下的 node 进程(与 deploy 的 stopOldScript / killNewScript 同一套写法)
|
||
dir_pids() {
|
||
ps -eo pid=,args= 2>/dev/null \
|
||
| awk -v root="$1" 'index($0, root) && $2 ~ /node$/ { print $1 }' || true
|
||
}
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 0. 串行化:上一轮没跑完就跳过,避免并发重复启动
|
||
# ---------------------------------------------------------------------------
|
||
if ! ( exec 9>"$LOCK_FILE" ) 2>/dev/null; then
|
||
say "ERROR 无法打开锁文件 $LOCK_FILE,本轮跳过"
|
||
exit 1
|
||
fi
|
||
exec 9>"$LOCK_FILE"
|
||
if ! flock -n 9; then
|
||
say "上一轮尚未结束,本轮跳过"
|
||
exit 0
|
||
fi
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 1. 确定要保活的版本集合
|
||
# ---------------------------------------------------------------------------
|
||
CURRENT_VER=$(tr -d '\r\n' < "$CURRENT_MD" 2>/dev/null || true)
|
||
UPSTREAM_PORT=$(grep -oE '127\.0\.0\.1:[0-9]+' "$UPSTREAM_CONF" 2>/dev/null | head -1 | grep -oE '[0-9]+$' || true)
|
||
case "$UPSTREAM_PORT" in
|
||
6061) UPSTREAM_VER=v1 ;;
|
||
6062) UPSTREAM_VER=v2 ;;
|
||
*) UPSTREAM_VER='' ;;
|
||
esac
|
||
|
||
TARGETS=''
|
||
for v in "$CURRENT_VER" "$UPSTREAM_VER"; do
|
||
case "$v" in
|
||
v1|v2) ;;
|
||
*) continue ;;
|
||
esac
|
||
case " $TARGETS " in
|
||
*" $v "*) ;;
|
||
*) TARGETS="$TARGETS $v" ;;
|
||
esac
|
||
done
|
||
|
||
if [ -z "$TARGETS" ]; then
|
||
say "ERROR 无法确定目标版本(current.md='$CURRENT_VER' upstream_port='$UPSTREAM_PORT'),本轮跳过"
|
||
exit 1
|
||
fi
|
||
|
||
if [ "$CURRENT_VER" != "$UPSTREAM_VER" ]; then
|
||
say "WARN current.md=$CURRENT_VER 与 upstream=$UPSTREAM_VER 不一致(可能正在发布),本轮同时保活:$TARGETS"
|
||
fi
|
||
|
||
RC=0
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 2. 逐版本探活 → 不活则按 deploy 方式启动
|
||
# ---------------------------------------------------------------------------
|
||
for ver in $TARGETS; do
|
||
port=$(port_of "$ver")
|
||
dir="$DEPLOY_ROOT/$ver"
|
||
pid=$(port_pid "$port")
|
||
|
||
if probe "$port"; then
|
||
say "OK $ver:$port 存活 (pid=${pid:-?})"
|
||
continue
|
||
fi
|
||
|
||
# 二次确认:6 秒内再探 3 次,覆盖「发布中 current.md 已写、实例还没起来」的空窗
|
||
confirmed_down=0
|
||
for _ in 1 2 3; do
|
||
sleep 2
|
||
if probe "$port"; then
|
||
confirmed_down=0
|
||
break
|
||
fi
|
||
confirmed_down=1
|
||
done
|
||
if [ "$confirmed_down" = 0 ]; then
|
||
say "OK $ver:$port 存活(首次探活失败,重试后恢复,判定为瞬时抖动)"
|
||
continue
|
||
fi
|
||
|
||
say "DOWN $ver:$port 连续 4 次探活失败(pid=${pid:-无}),开始按 deploy 相同方式恢复"
|
||
|
||
if [ "$DRY_RUN" = 1 ]; then
|
||
say "DRY-RUN 跳过启动:cd $dir && nohup bash -lc 'npm start' > /tmp/wms-$ver-start.log 2>&1 &"
|
||
RC=1
|
||
continue
|
||
fi
|
||
|
||
# 2.1 释放端口残留进程(与 deploy 的 killPortScript 一致)
|
||
if [ -n "$pid" ]; then
|
||
say "端口 $port 被进程 $pid 占用,发送优雅停止信号"
|
||
kill "$pid" 2>/dev/null || true
|
||
sleep 30
|
||
pid_check=$(port_pid "$port")
|
||
if [ -n "$pid_check" ]; then
|
||
say "端口 $port 仍有残留进程 $pid_check,强制停止"
|
||
kill -9 "$pid_check" 2>/dev/null || true
|
||
fuser -k "$port/tcp" 2>/dev/null || true
|
||
fi
|
||
else
|
||
say "端口 $port 空闲"
|
||
fi
|
||
|
||
# 2.2 端口已空闲时,清理该目录下可能被 init 收养的孤儿 node 进程
|
||
# (master 被 kill -9 后 worker 存活、端口已释放,不清会导致两份实例重复跑定时任务)
|
||
orphans=$(dir_pids "$dir")
|
||
if [ -n "$orphans" ]; then
|
||
say "清理 $ver 目录下的孤儿进程: $orphans"
|
||
# shellcheck disable=SC2086
|
||
kill $orphans 2>/dev/null || true
|
||
sleep 5
|
||
orphans_left=$(dir_pids "$dir")
|
||
if [ -n "$orphans_left" ]; then
|
||
say "孤儿进程未退出,强制停止: $orphans_left"
|
||
# shellcheck disable=SC2086
|
||
kill -9 $orphans_left 2>/dev/null || true
|
||
fi
|
||
fi
|
||
|
||
# 2.3 启动(与 deploy 完全一致:目标目录 + nohup bash -lc 'npm start' + /tmp/wms-<ver>-start.log)
|
||
if [ ! -d "$dir" ]; then
|
||
say "ERROR 目标目录不存在: $dir,无法启动"
|
||
RC=1
|
||
continue
|
||
fi
|
||
start_log="/tmp/wms-$ver-start.log"
|
||
( cd "$dir" && nohup bash -lc 'npm start' > "$start_log" 2>&1 & )
|
||
say "已在 $dir 启动 $ver,启动日志: $start_log"
|
||
|
||
# 2.4 健康检查(与 deploy 一致:10 次 × 2s)
|
||
started=0
|
||
for _ in $(seq 1 10); do
|
||
if probe "$port"; then
|
||
started=1
|
||
break
|
||
fi
|
||
sleep 2
|
||
done
|
||
|
||
if [ "$started" = 1 ]; then
|
||
say "RECOVERED $ver:$port 启动成功且探活通过 (pid=$(port_pid "$port" || true))"
|
||
else
|
||
say "ERROR $ver:$port 启动后 20s 内仍未通过探活,请检查 $start_log"
|
||
RC=1
|
||
fi
|
||
done
|
||
|
||
exit $RC
|