合成(ComposeAsync): - 链式 overlay 在 1080p 画布上要走 N-1 遍整帧混合,改成一条 xstack 一次合成; 画布比矩形并集大就 pad 补黑,越界摆位就 crop 裁掉(等价于原来叠在黑画布上) - 实测(本机 i5-12400 + UHD 730):60s x 4 路 24.7s -> 16.1s(libx264)、 26.5s -> 16.5s(qsv);120s 片段走 ComposeAsync 实路径 36.3s -> 25.2s - 输出与旧实现逐像素一致(PSNR inf):标准 2x2、混合尺寸、留空、越界裁剪四种布局; 矩形重叠时 z-order 与 overlay 一致 编码器(新增 FfmpegVideoEncoder): - 优先 h264_qsv / h264_nvenc / h264_amf,都没有或跑不起来回落 libx264 - 探测 = 拿 0.2 秒黑场真编一帧(看 -encoders 列表不够:装 nvenc 没 N 卡也在列表里), 结果缓存在进程内;QSV 探测约 1 秒,驱动缺失的候选 0.05 秒,单个候选上限 4 秒 - 硬件编码失败(非 0 退出 / 退出码 0 但没写出成片)自动用 libx264 重试一次 - 质量档位对齐原 crf23:qsv gq26(PSNR 持平,体积 +7%)、nvenc/amf qp26 - 排障:YUNCANG_COMPOSE_ENCODER 可跳过探测强制指定,写错名字按 libx264 处理 Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
183 lines
8.1 KiB
C#
183 lines
8.1 KiB
C#
using System;
|
||
using System.Diagnostics;
|
||
using System.Linq;
|
||
using System.Threading;
|
||
|
||
namespace YuncangTrace.LocalService.Services.Hik;
|
||
|
||
/// <summary>
|
||
/// 合并视频(多路 overlay → 一路)用的 H.264 编码器:**有硬件编码就用,没有/跑不起来回落 libx264**
|
||
///
|
||
/// 合并没办法 `-c:v copy`(每个像素都要重画),所以这一步是纯转码,客户机 CPU 一忙整机就卡。
|
||
/// 实测(i5-12400 + UHD 730,4 路 / 2 路 720p 合到 1920×1080@25,testsrc2 片源):
|
||
/// <code>
|
||
/// 300s × 4 路 libx264: 73.7s 墙钟 / 420s CPU / 138.6MB
|
||
/// h264_qsv(gq26): 58.5s 墙钟 / 212s CPU / 148.3MB ← 快 21%、CPU 减半
|
||
/// 300s × 2 路 libx264: 47.6s 墙钟 / 273s CPU / 69.1MB
|
||
/// h264_qsv(gq26): 42.3s 墙钟 / 126s CPU / 74.8MB ← 快 11%
|
||
/// 8s × 4 路 两者墙钟几乎一样(3.03s vs 3.04s,CPU 11.5s → 6.6s)
|
||
/// </code>
|
||
///
|
||
/// ⚠️ **片越短,硬件编码的墙钟收益越小**:8 秒这种短片段被进程启动 / 首帧抖动盖住,
|
||
/// 省到的只有 CPU;5 分钟这种长片段编码占比上来,才有 10~20% 的时长收益。
|
||
/// 质量:`gq 26` 的 PSNR 与 `crf 23` 基本持平(41.9dB vs 42.1dB),体积大 7%;
|
||
/// 想省体积可以按 `gq 28`(40.7dB,比 crf 23 小 19%),但画面会明显软一点。
|
||
///
|
||
/// ⚠️ **只把编码交给硬件**:解码 / scale / overlay 仍走 CPU。
|
||
/// 实测把解码也丢给核显(`-hwaccel qsv -hwaccel_output_format nv12`)没有收益,
|
||
/// 而 overlay_qsv 那条全 GPU 链路在实测机器上 `hwupload` 直接失败(frame pool 建不起来),
|
||
/// 不能当默认 —— 客户机型号杂,赌不起。
|
||
///
|
||
/// 探测开销(每次进程启动只付一次,结果缓存在 <see cref="_picked"/>):QSV 需要初始化
|
||
/// Media SDK 设备,实测 **约 1.0 秒**且与探测内容无关(1 帧 64×64 也要 0.98s);
|
||
/// 驱动缺失的候选则是 dlopen 立刻失败,**0.04~0.06 秒**(≈ 一次 ffmpeg 启动的开销)。
|
||
///
|
||
/// 排障:环境变量 `YUNCANG_COMPOSE_ENCODER=libx264|h264_qsv|h264_nvenc|h264_amf` 可跳过探测强制指定。
|
||
/// </summary>
|
||
internal static class FfmpegVideoEncoder
|
||
{
|
||
/// <summary>软件编码(兜底,永远可用)</summary>
|
||
public const string Software = "libx264";
|
||
|
||
private const string OverrideVariable = "YUNCANG_COMPOSE_ENCODER";
|
||
|
||
/// <summary>
|
||
/// 按优先级排的候选:Intel 核显 → NVIDIA → AMD → 软件。
|
||
///
|
||
/// 质量档位刻意和 `libx264 -crf 23` 对齐(QSV 的 `-global_quality` 是 ICQ,NVENC/AMF 用 CQP):
|
||
/// 实测同一段片子 `gq=23` 会输出 5.85MB(比 crf23 的 3.72MB 大 57%),
|
||
/// **成片还要上传云端**,所以退到 26 —— 4.01MB,和原来基本持平,编码仍然快 37%。
|
||
/// </summary>
|
||
private static readonly (string Name, string[] Args)[] Candidates =
|
||
{
|
||
("h264_qsv", new[] { "-c:v", "h264_qsv", "-preset", "veryfast", "-global_quality", "26" }),
|
||
("h264_nvenc", new[] { "-c:v", "h264_nvenc", "-preset", "p4", "-rc", "constqp", "-qp", "26" }),
|
||
("h264_amf", new[] { "-c:v", "h264_amf", "-quality", "speed", "-rc", "cqp", "-qp_i", "26", "-qp_p", "26" }),
|
||
(Software, new[] { "-c:v", Software, "-preset", "veryfast", "-crf", "23" }),
|
||
};
|
||
|
||
private static readonly object Gate = new();
|
||
private static string? _picked;
|
||
private static long _probeMs;
|
||
|
||
/// <summary>
|
||
/// 这台机器上合并该用哪个编码器(进程内只探测一次)。
|
||
/// 探测 = 拿 0.2 秒黑场真编一帧,光看 `-encoders` 列表不够:装了 nvenc 但没 N 卡也一样会失败。
|
||
/// </summary>
|
||
public static string Resolve(string ffmpeg)
|
||
{
|
||
lock (Gate)
|
||
{
|
||
if (_picked is not null) return _picked;
|
||
|
||
var forced = Environment.GetEnvironmentVariable(OverrideVariable)?.Trim();
|
||
if (!string.IsNullOrEmpty(forced))
|
||
{
|
||
// 只认列出来的这几个:写错名字要是当硬件编码用,会「探测跳过 → 合并失败 → 白重试一轮」
|
||
if (!Candidates.Any(item => string.Equals(item.Name, forced, StringComparison.OrdinalIgnoreCase)))
|
||
{
|
||
AppLog.Write($"[playback] {OverrideVariable}={forced} 不认识,按 libx264 处理(可选:{string.Join('/', Candidates.Select(item => item.Name))})");
|
||
_picked = Software;
|
||
return _picked;
|
||
}
|
||
|
||
_picked = forced;
|
||
AppLog.Write($"[playback] 合并编码器按 {OverrideVariable} 指定:{forced}(不探测)");
|
||
return _picked;
|
||
}
|
||
|
||
foreach (var (name, args) in Candidates)
|
||
{
|
||
if (name == Software) break;
|
||
|
||
var started = Stopwatch.StartNew();
|
||
var usable = Usable(ffmpeg, name, args);
|
||
_probeMs += started.ElapsedMilliseconds;
|
||
if (!usable) continue;
|
||
|
||
_picked = name;
|
||
AppLog.Write($"[playback] 合并编码器:{name}(硬件编码,探测用时 {_probeMs}ms)");
|
||
return _picked;
|
||
}
|
||
|
||
_picked = Software;
|
||
AppLog.Write($"[playback] 合并编码器:libx264(没有可用的硬件编码器,探测用时 {_probeMs}ms)");
|
||
return _picked;
|
||
}
|
||
}
|
||
|
||
/// <summary>该编码器对应的 ffmpeg 参数</summary>
|
||
public static string[] EncoderArgs(string encoder)
|
||
{
|
||
foreach (var (name, args) in Candidates)
|
||
{
|
||
if (string.Equals(name, encoder, StringComparison.OrdinalIgnoreCase)) return args;
|
||
}
|
||
return Candidates[^1].Args;
|
||
}
|
||
|
||
/// <summary>是不是软件编码(软件都失败就没得重试了)</summary>
|
||
public static bool IsSoftware(string encoder)
|
||
{
|
||
return string.Equals(encoder, Software, StringComparison.OrdinalIgnoreCase);
|
||
}
|
||
|
||
/// <summary>真编一帧确认能用(驱动缺失 / 被独占 / 参数不支持都会在这里暴露)</summary>
|
||
private static bool Usable(string ffmpeg, string name, string[] args)
|
||
{
|
||
try
|
||
{
|
||
var psi = new ProcessStartInfo
|
||
{
|
||
FileName = ffmpeg,
|
||
UseShellExecute = false,
|
||
CreateNoWindow = true,
|
||
RedirectStandardOutput = true,
|
||
RedirectStandardError = true,
|
||
};
|
||
foreach (var arg in new[]
|
||
{
|
||
"-hide_banner", "-nostdin", "-loglevel", "error",
|
||
"-f", "lavfi", "-i", "color=c=black:s=320x240:r=25:d=0.2",
|
||
})
|
||
{
|
||
psi.ArgumentList.Add(arg);
|
||
}
|
||
foreach (var arg in args) psi.ArgumentList.Add(arg);
|
||
psi.ArgumentList.Add("-f");
|
||
psi.ArgumentList.Add("null");
|
||
psi.ArgumentList.Add("-");
|
||
|
||
using var process = Process.Start(psi);
|
||
if (process is null) return false;
|
||
|
||
// 两个流都要读掉,否则管道写满 ffmpeg 会卡住
|
||
var stdout = process.StandardOutput.ReadToEndAsync();
|
||
var stderr = process.StandardError.ReadToEndAsync();
|
||
|
||
if (!process.WaitForExit(4000))
|
||
{
|
||
try { process.Kill(entireProcessTree: true); } catch { /* 已经退了 */ }
|
||
AppLog.Write($"[playback] 硬件编码 {name} 探测超时(4s),跳过");
|
||
return false;
|
||
}
|
||
|
||
var ok = process.ExitCode == 0;
|
||
if (!ok)
|
||
{
|
||
var firstError = (stderr.Result ?? string.Empty)
|
||
.Split('\n')
|
||
.Select(line => line.Trim())
|
||
.FirstOrDefault(line => line.Length > 0) ?? "未知原因";
|
||
AppLog.Write($"[playback] 硬件编码 {name} 不可用:{firstError}");
|
||
}
|
||
return ok;
|
||
}
|
||
catch (Exception ex)
|
||
{
|
||
AppLog.Write($"[playback] 硬件编码 {name} 探测失败:{ex.Message}");
|
||
return false;
|
||
}
|
||
}
|
||
}
|