packServer/desktop/Services/Hik/FfmpegVideoEncoder.cs
liufumingren 2a81047f81 perf(desktop): 回放合并改用 xstack 一次合成 + 硬件编码(含自动兜底)
合成(ComposeAsync):
- 链式 overlay 在 1080p 画布上要走 N-1 遍整帧混合,改成一条 xstack 一次合成;
  画布比矩形并集大就 pad 补黑,越界摆位就 crop 裁掉(等价于原来叠在黑画布上)
- 实测(本机 i5-12400 + UHD 730):60s x 4 路 24.7s -> 16.1s(libx264)、
  26.5s -> 16.5s(qsv);120s 片段走 ComposeAsync 实路径 36.3s -> 25.2s
- 输出与旧实现逐像素一致(PSNR inf):标准 2x2、混合尺寸、留空、越界裁剪四种布局;
  矩形重叠时 z-order 与 overlay 一致

编码器(新增 FfmpegVideoEncoder):
- 优先 h264_qsv / h264_nvenc / h264_amf,都没有或跑不起来回落 libx264
- 探测 = 拿 0.2 秒黑场真编一帧(看 -encoders 列表不够:装 nvenc 没 N 卡也在列表里),
  结果缓存在进程内;QSV 探测约 1 秒,驱动缺失的候选 0.05 秒,单个候选上限 4 秒
- 硬件编码失败(非 0 退出 / 退出码 0 但没写出成片)自动用 libx264 重试一次
- 质量档位对齐原 crf23:qsv gq26(PSNR 持平,体积 +7%)、nvenc/amf qp26
- 排障:YUNCANG_COMPOSE_ENCODER 可跳过探测强制指定,写错名字按 libx264 处理

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-11-17 01:20:33 +08:00

183 lines
8.1 KiB
C#
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

using System;
using System.Diagnostics;
using System.Linq;
using System.Threading;
namespace YuncangTrace.LocalService.Services.Hik;
/// <summary>
/// 合并视频(多路 overlay → 一路)用的 H.264 编码器:**有硬件编码就用,没有/跑不起来回落 libx264**
///
/// 合并没办法 `-c:v copy`(每个像素都要重画),所以这一步是纯转码,客户机 CPU 一忙整机就卡。
/// 实测(i5-12400 + UHD 730,4 路 / 2 路 720p 合到 1920×1080@25,testsrc2 片源):
/// <code>
/// 300s × 4 路 libx264: 73.7s 墙钟 / 420s CPU / 138.6MB
/// h264_qsv(gq26): 58.5s 墙钟 / 212s CPU / 148.3MB ← 快 21%、CPU 减半
/// 300s × 2 路 libx264: 47.6s 墙钟 / 273s CPU / 69.1MB
/// h264_qsv(gq26): 42.3s 墙钟 / 126s CPU / 74.8MB ← 快 11%
/// 8s × 4 路 两者墙钟几乎一样(3.03s vs 3.04s,CPU 11.5s → 6.6s)
/// </code>
///
/// ⚠️ **片越短,硬件编码的墙钟收益越小**:8 秒这种短片段被进程启动 / 首帧抖动盖住,
/// 省到的只有 CPU;5 分钟这种长片段编码占比上来,才有 10~20% 的时长收益。
/// 质量:`gq 26` 的 PSNR 与 `crf 23` 基本持平(41.9dB vs 42.1dB),体积大 7%;
/// 想省体积可以按 `gq 28`(40.7dB,比 crf 23 小 19%),但画面会明显软一点。
///
/// ⚠️ **只把编码交给硬件**:解码 / scale / overlay 仍走 CPU。
/// 实测把解码也丢给核显(`-hwaccel qsv -hwaccel_output_format nv12`)没有收益,
/// 而 overlay_qsv 那条全 GPU 链路在实测机器上 `hwupload` 直接失败(frame pool 建不起来),
/// 不能当默认 —— 客户机型号杂,赌不起。
///
/// 探测开销(每次进程启动只付一次,结果缓存在 <see cref="_picked"/>):QSV 需要初始化
/// Media SDK 设备,实测 **约 1.0 秒**且与探测内容无关(1 帧 64×64 也要 0.98s);
/// 驱动缺失的候选则是 dlopen 立刻失败,**0.04~0.06 秒**(≈ 一次 ffmpeg 启动的开销)。
///
/// 排障:环境变量 `YUNCANG_COMPOSE_ENCODER=libx264|h264_qsv|h264_nvenc|h264_amf` 可跳过探测强制指定。
/// </summary>
internal static class FfmpegVideoEncoder
{
/// <summary>软件编码(兜底,永远可用)</summary>
public const string Software = "libx264";
private const string OverrideVariable = "YUNCANG_COMPOSE_ENCODER";
/// <summary>
/// 按优先级排的候选:Intel 核显 → NVIDIA → AMD → 软件。
///
/// 质量档位刻意和 `libx264 -crf 23` 对齐(QSV 的 `-global_quality` 是 ICQ,NVENC/AMF 用 CQP):
/// 实测同一段片子 `gq=23` 会输出 5.85MB(比 crf23 的 3.72MB 大 57%),
/// **成片还要上传云端**,所以退到 26 —— 4.01MB,和原来基本持平,编码仍然快 37%。
/// </summary>
private static readonly (string Name, string[] Args)[] Candidates =
{
("h264_qsv", new[] { "-c:v", "h264_qsv", "-preset", "veryfast", "-global_quality", "26" }),
("h264_nvenc", new[] { "-c:v", "h264_nvenc", "-preset", "p4", "-rc", "constqp", "-qp", "26" }),
("h264_amf", new[] { "-c:v", "h264_amf", "-quality", "speed", "-rc", "cqp", "-qp_i", "26", "-qp_p", "26" }),
(Software, new[] { "-c:v", Software, "-preset", "veryfast", "-crf", "23" }),
};
private static readonly object Gate = new();
private static string? _picked;
private static long _probeMs;
/// <summary>
/// 这台机器上合并该用哪个编码器(进程内只探测一次)。
/// 探测 = 拿 0.2 秒黑场真编一帧,光看 `-encoders` 列表不够:装了 nvenc 但没 N 卡也一样会失败。
/// </summary>
public static string Resolve(string ffmpeg)
{
lock (Gate)
{
if (_picked is not null) return _picked;
var forced = Environment.GetEnvironmentVariable(OverrideVariable)?.Trim();
if (!string.IsNullOrEmpty(forced))
{
// 只认列出来的这几个:写错名字要是当硬件编码用,会「探测跳过 → 合并失败 → 白重试一轮」
if (!Candidates.Any(item => string.Equals(item.Name, forced, StringComparison.OrdinalIgnoreCase)))
{
AppLog.Write($"[playback] {OverrideVariable}={forced} 不认识,按 libx264 处理(可选:{string.Join('/', Candidates.Select(item => item.Name))})");
_picked = Software;
return _picked;
}
_picked = forced;
AppLog.Write($"[playback] 合并编码器按 {OverrideVariable} 指定:{forced}(不探测)");
return _picked;
}
foreach (var (name, args) in Candidates)
{
if (name == Software) break;
var started = Stopwatch.StartNew();
var usable = Usable(ffmpeg, name, args);
_probeMs += started.ElapsedMilliseconds;
if (!usable) continue;
_picked = name;
AppLog.Write($"[playback] 合并编码器:{name}(硬件编码,探测用时 {_probeMs}ms)");
return _picked;
}
_picked = Software;
AppLog.Write($"[playback] 合并编码器:libx264(没有可用的硬件编码器,探测用时 {_probeMs}ms)");
return _picked;
}
}
/// <summary>该编码器对应的 ffmpeg 参数</summary>
public static string[] EncoderArgs(string encoder)
{
foreach (var (name, args) in Candidates)
{
if (string.Equals(name, encoder, StringComparison.OrdinalIgnoreCase)) return args;
}
return Candidates[^1].Args;
}
/// <summary>是不是软件编码(软件都失败就没得重试了)</summary>
public static bool IsSoftware(string encoder)
{
return string.Equals(encoder, Software, StringComparison.OrdinalIgnoreCase);
}
/// <summary>真编一帧确认能用(驱动缺失 / 被独占 / 参数不支持都会在这里暴露)</summary>
private static bool Usable(string ffmpeg, string name, string[] args)
{
try
{
var psi = new ProcessStartInfo
{
FileName = ffmpeg,
UseShellExecute = false,
CreateNoWindow = true,
RedirectStandardOutput = true,
RedirectStandardError = true,
};
foreach (var arg in new[]
{
"-hide_banner", "-nostdin", "-loglevel", "error",
"-f", "lavfi", "-i", "color=c=black:s=320x240:r=25:d=0.2",
})
{
psi.ArgumentList.Add(arg);
}
foreach (var arg in args) psi.ArgumentList.Add(arg);
psi.ArgumentList.Add("-f");
psi.ArgumentList.Add("null");
psi.ArgumentList.Add("-");
using var process = Process.Start(psi);
if (process is null) return false;
// 两个流都要读掉,否则管道写满 ffmpeg 会卡住
var stdout = process.StandardOutput.ReadToEndAsync();
var stderr = process.StandardError.ReadToEndAsync();
if (!process.WaitForExit(4000))
{
try { process.Kill(entireProcessTree: true); } catch { /* 已经退了 */ }
AppLog.Write($"[playback] 硬件编码 {name} 探测超时(4s),跳过");
return false;
}
var ok = process.ExitCode == 0;
if (!ok)
{
var firstError = (stderr.Result ?? string.Empty)
.Split('\n')
.Select(line => line.Trim())
.FirstOrDefault(line => line.Length > 0) ?? "未知原因";
AppLog.Write($"[playback] 硬件编码 {name} 不可用:{firstError}");
}
return ok;
}
catch (Exception ex)
{
AppLog.Write($"[playback] 硬件编码 {name} 探测失败:{ex.Message}");
return false;
}
}
}