feat(packaging): 调整 speak() 语音降级链顺序
将打包页语音播报降级链由「HTTP → 原生 TTS → Web Speech」 调整为「原生 TTS → HTTP → Web Speech」,并同步更新流程文档。
This commit is contained in:
parent
2240dbba7a
commit
56341ddc35
@ -9,14 +9,14 @@
|
||||
|
||||
打包业务存在 **两条互相独立的语音播报链路**,叠加生效:
|
||||
|
||||
1. **页面主动播报链路** `speak()`:打包页在关键业务节点主动调用 `this.speak(文案)`,自带 HTTP 语音接口 / 原生 TTS / Web Speech 三级降级。
|
||||
1. **页面主动播报链路** `speak()`:打包页在关键业务节点主动调用 `this.speak(文案)`,自带原生 TTS / HTTP 语音接口 / Web Speech 三级降级,并有串行队列(`voicePlaying`/`voicePendingText`)避免连扫时音频互相打断。
|
||||
2. **全局 toast 拦截播报链路**:`src/main.js` 在应用启动时接管了全局 `uni.showToast`,任何 toast 都会同步调用 `getVoice().play(title)`(`src/core/voice.js`)做一次语音播报。
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
A[打包业务节点] --> B[this.speak 文案]
|
||||
A --> C[uni.showToast 文案<br/>silentVoice: true]
|
||||
B --> D[speak 链路<br/>HTTP → 原生TTS → WebSpeech]
|
||||
B --> D[speak 链路<br/>原生TTS → HTTP → WebSpeech]
|
||||
C --> E[main.js 全局拦截器]
|
||||
E -- silentVoice 跳过 --> X[不再重复播报]
|
||||
```
|
||||
@ -29,66 +29,73 @@ flowchart LR
|
||||
|
||||
定义于 `packaging/index.vue` 的 `methods.speak`(约 1185 行)。
|
||||
|
||||
### 2.1 入口与文案截断
|
||||
### 2.1 入口:文本清洗 + 串行队列
|
||||
|
||||
```
|
||||
speak(text)
|
||||
├─ 空文本 → 直接 return
|
||||
└─ str.length > 12 → 截断为「前 12 字 + 等」
|
||||
├─ normalizeSpeakText:trim + 超 12 字截断为「前 12 字 + 等」
|
||||
├─ voicePlaying 为 true → 覆盖 voicePendingText(只保留最新一条待播)后直接 return
|
||||
└─ 否则置 voicePlaying=true → playSpeakText(str)
|
||||
```
|
||||
|
||||
- 截断规则:`str.slice(0, 12) + '等'`,防止长文案播报啰嗦。
|
||||
- 当前所有业务文案均在 12 字以内(最长「绑定失败,请点击绑定重试」「已结束打包并下线全部成员」正好 12 字),暂不触发截断。
|
||||
- 串行队列:快速连扫时若正在播报,不打断当前音频,只保留最新一条待播文本(`voicePendingText`);当前一条播完由 `scheduleNextSpeak()` 取下一条,全部播完才把 `voicePlaying` 置回 false。
|
||||
|
||||
### 2.2 平台分支
|
||||
### 2.2 降级链(平台分支)
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
S[speak text] --> P{编译平台}
|
||||
P -- APP-PLUS 安卓App --> H[speakViaHttp HTTP 语音接口]
|
||||
P -- H5 / Electron --> W[speakViaTtsOrWebSpeech]
|
||||
H -- 成功 --> END[播放完成]
|
||||
H -- 失败 --> W
|
||||
W --> T{ttsEngine 且 ttsReady}
|
||||
T -- 是 --> N[speakNativeTts 原生 TTS]
|
||||
T -- 否 --> WS[speakViaWebSpeech Web Speech]
|
||||
S[playSpeakText str] --> T{APP-PLUS<br/>ttsEngine 且 ttsReady}
|
||||
T -- 是 --> N[speakNativeTts<br/>原生 TTS]
|
||||
T -- 否 --> H[speakViaHttp<br/>HTTP 语音接口]
|
||||
N --> E1[按语速估时 → scheduleNextSpeak]
|
||||
H -- 成功 --> E2[scheduleNextSpeak]
|
||||
H -- 失败 --> W[speakViaWebSpeech<br/>Web Speech]
|
||||
W --> E3[按语速估时 → scheduleNextSpeak]
|
||||
```
|
||||
|
||||
### 2.3 各子方法职责
|
||||
|
||||
| 方法 | 职责 | 关键实现 |
|
||||
| --- | --- | --- |
|
||||
| `speak(text)` | 播报总入口 | 文本清洗 + 12 字截断 + 平台分流 |
|
||||
| `speakViaHttp(msg)` | HTTP 语音接口(APP 首选) | GET `VOICE_API_URL + encodeURIComponent(msg)`,返回 `{audio}` 后用 `playVoiceAudio` 播放 |
|
||||
| `speak(text)` | 播报总入口 | 文本清洗 + 12 字截断 + 串行队列调度 |
|
||||
| `normalizeSpeakText(text)` | 文本清洗 | trim + >12 字截断为「前 12 字 + 等」 |
|
||||
| `playSpeakText(str)` | 队列执行单元 | 降级链:原生 TTS → HTTP → Web Speech |
|
||||
| `scheduleNextSpeak()` | 队列推进 | 取 `voicePendingText` 继续播,否则置 `voicePlaying=false` |
|
||||
| `estimateSpeakMs(str)` | 估时 | 每字约 300ms,500–4000ms 区间 |
|
||||
| `speakNativeTts(text)` | 原生 TTS(APP 首选) | `TextToSpeech.QUEUE_FLUSH=0` 清队列后播报 |
|
||||
| `speakViaHttp(msg)` | HTTP 语音接口(TTS 不可用时) | GET `VOICE_API_URL + encodeURIComponent(msg)`,返回 `{audio}` 后下载本地播放 |
|
||||
| `downloadVoiceAudio(src)` | 音频下载 | `uni.downloadFile` 下载到本地临时文件,失败回退远程地址 |
|
||||
| `playVoiceAudio(src, onEnd)` | 音频播放 | `uni.createInnerAudioContext`,销毁旧实例再播,`onEnded`/`onError` 回调 |
|
||||
| `speakViaTtsOrWebSpeech(text)` | TTS 兜底 | 有引擎且就绪→原生 TTS;引擎未就绪→暂存到 `ttsPendingText`;无引擎→Web Speech |
|
||||
| `speakNativeTts(text)` | Android 原生 TTS | `TextToSpeech.QUEUE_FLUSH=0` 清队列后播报 |
|
||||
| `speakViaWebSpeech(text)` | Web Speech 降级 | `window.speechSynthesis`,`lang='zh-CN'` |
|
||||
| `speakViaWebSpeech(text)` | Web Speech(最终兜底) | `window.speechSynthesis`,`lang='zh-CN'` |
|
||||
| `initNativeTts()` | 初始化原生 TTS | `plus.android.importClass('android.speech.tts.TextToSpeech')` + `OnInitListener` |
|
||||
| `shutdownNativeTts()` | 释放 TTS | `stop()` + `shutdown()` + 清空字段 |
|
||||
| `destroyVoiceAudio()` | 释放音频实例 | `stop()` + `destroy()` |
|
||||
|
||||
### 2.4 HTTP 语音接口(解决平板缺中文语音包)
|
||||
### 2.4 原生 TTS(APP 首选)
|
||||
|
||||
- 初始化:`initNativeTts()` 在 `mounted` 调用;`TextToSpeech(activity, OnInitListener)`。
|
||||
- 就绪条件:`onInit` 回调 `status===0` 且 `setLanguage(Locale.CHINA)` 返回值 `>= 0` 才置 `ttsReady=true`。
|
||||
- 播报:`speakNativeTts` 用 `TextToSpeech.QUEUE_FLUSH=0` 清队列后播报;无结束回调,播完后按 `estimateSpeakMs` 估时再推进队列。
|
||||
- 关键坑:**平板缺中文语音包时 `setLanguage` 返回 -2(不支持)→ `ttsReady=false`**,此时跳过原生 TTS,降级到 HTTP 接口发声。
|
||||
- 释放:`beforeUnmount` 调 `shutdownNativeTts()`。
|
||||
|
||||
### 2.5 HTTP 语音接口(原生 TTS 不可用时的兜底)
|
||||
|
||||
- 常量(约 358 行):
|
||||
- `VOICE_API_URL = 'http://tbdata.gztbyc.com/voice/'`
|
||||
- `VOICE_API_PATH = 'http://tbdata.gztbyc.com'`
|
||||
- 请求:`uni.request`,GET `VOICE_API_URL + encodeURIComponent(msg)`,`timeout: 3000`,header `content-type: text/xml; charset=utf-8`。
|
||||
- 请求:`uni.request`,GET `VOICE_API_URL + encodeURIComponent(msg + '。。')`,`timeout: 3000`,header `content-type: text/xml; charset=utf-8`。
|
||||
- 响应:`res.data.audio` 为音频相对路径,拼 `VOICE_API_PATH + audio` 得完整 src。
|
||||
- 下载:先 `downloadVoiceAudio` 下载到本地临时文件再播(避免内网/流式播放缓冲不足截断尾帧),失败回退直接播远程地址。
|
||||
- 兜底:5 秒超时定时器,播放未结束也视为完成,避免一直等待。
|
||||
- 失败判定:请求 fail / 未返回 `audio` 字段 / 音频播放 error → `finish(false)` → 触发 TTS 降级。
|
||||
|
||||
### 2.5 Android 原生 TTS(HTTP 失败后的兜底)
|
||||
|
||||
- 初始化:`initNativeTts()` 在 `mounted` 调用;`TextToSpeech(activity, OnInitListener)`。
|
||||
- 就绪条件:`onInit` 回调 `status===0` 且 `setLanguage(Locale.CHINA)` 返回值 `>= 0` 才置 `ttsReady=true`。
|
||||
- 关键坑:**平板缺中文语音包时 `setLanguage` 返回 -2(不支持)→ `ttsReady=false`**,只能依赖 HTTP 接口发声;引擎未就绪期间只保留最后一条文案到 `ttsPendingText`,就绪后补播。
|
||||
- 释放:`beforeUnmount` 调 `shutdownNativeTts()`。
|
||||
- 失败判定:请求 fail / 未返回 `audio` 字段 / 音频播放 error → `finish(false)` → 触发 Web Speech 降级。
|
||||
|
||||
### 2.6 Web Speech(最终兜底)
|
||||
|
||||
- 仅 `typeof window !== 'undefined' && window.speechSynthesis` 可用。
|
||||
- Android App WebView 内 `window.speechSynthesis` 通常不可用 → 真机主要依赖 HTTP 接口 / 原生 TTS。
|
||||
- Android App WebView 内 `window.speechSynthesis` 通常不可用 → 真机主要依赖原生 TTS / HTTP 接口。
|
||||
|
||||
### 2.7 生命周期
|
||||
|
||||
@ -115,7 +122,7 @@ flowchart TD
|
||||
| --- | --- | --- |
|
||||
| 触发方式 | 业务节点显式调用 | 任何 `uni.showToast` 自动触发 |
|
||||
| 文案编码 | `encodeURIComponent(msg)` | 未编码 |
|
||||
| 降级链 | HTTP → 原生 TTS → Web Speech | 仅 HTTP,失败静默 |
|
||||
| 降级链 | 原生 TTS → HTTP → Web Speech | 仅 HTTP,失败静默 |
|
||||
| 适用范围 | 仅打包页 | 全应用所有页面 |
|
||||
|
||||
---
|
||||
@ -205,6 +212,7 @@ flowchart TD
|
||||
2. **平板缺中文语音包**:原生 TTS `setLanguage(Locale.CHINA)` 返回 -2,`ttsReady=false`,必须依赖 HTTP 语音接口 `tbdata.gztbyc.com` 才能发声(实测结论,见仓库记忆)。
|
||||
3. **URL 编码不一致**:打包页 `speakViaHttp` 对文案做 `encodeURIComponent`,而 `core/voice.js` 的 `play()` 未编码,含中文/特殊字符文案在两链路下的请求 URL 不同,后端需同时兼容。
|
||||
4. **长文本截断**:`speak()` 对 >12 字文案截断为「前 12 字 + 等」;当前所有文案均 ≤12 字,未触发。
|
||||
5. **HTTP 接口超时**:请求 timeout 3000ms + 播放 5s 兜底;接口不可达时自动降级 TTS/Web Speech,不影响业务流程。
|
||||
5. **HTTP 接口超时**:请求 timeout 3000ms + 播放 5s 兜底;接口不可达时自动降级 Web Speech,不影响业务流程。
|
||||
6. **资源释放**:页面卸载时 `shutdownNativeTts()` + `destroyVoiceAudio()`,避免音频实例泄漏。
|
||||
7. **APP-PLUS 与 H5 差异**:Electron/H5 端跳过 HTTP 接口直接走 TTS/Web Speech(`#ifdef APP-PLUS` 条件编译)。
|
||||
7. **APP-PLUS 与 H5 差异**:原生 TTS 仅在 APP-PLUS 可用;Electron/H5 端无原生 TTS,实际生效链为「HTTP → Web Speech」。
|
||||
8. **串行队列**:`speak()` 内部用 `voicePlaying`/`voicePendingText` 串行播报,连扫时只保留最新一条待播,避免音频互相打断。
|
||||
|
||||
6
package-lock.json
generated
6
package-lock.json
generated
@ -1,12 +1,12 @@
|
||||
{
|
||||
"name": "wms-worker-station",
|
||||
"version": "1.0.35",
|
||||
"version": "1.0.40",
|
||||
"lockfileVersion": 3,
|
||||
"requires": true,
|
||||
"packages": {
|
||||
"": {
|
||||
"name": "wms-worker-station",
|
||||
"version": "1.0.35",
|
||||
"version": "1.0.40",
|
||||
"devDependencies": {
|
||||
"@dcloudio/types": "^3.4.8",
|
||||
"@dcloudio/uni-app": "3.0.0-5000720260410001",
|
||||
@ -8851,7 +8851,7 @@
|
||||
},
|
||||
"node_modules/qrcode-generator": {
|
||||
"version": "2.0.4",
|
||||
"resolved": "https://registry.npmjs.org/qrcode-generator/-/qrcode-generator-2.0.4.tgz",
|
||||
"resolved": "https://mirrors.cloud.tencent.com/npm/qrcode-generator/-/qrcode-generator-2.0.4.tgz",
|
||||
"integrity": "sha512-mZSiP6RnbHl4xL2Ap5HfkjLnmxfKcPWpWe/c+5XxCuetEenqmNFf1FH/ftXPCtFG5/TDobjsjz6sSNL0Sr8Z9g==",
|
||||
"dev": true,
|
||||
"license": "MIT"
|
||||
|
||||
@ -1,6 +1,6 @@
|
||||
{
|
||||
"name": "wms-worker-station",
|
||||
"version": "1.0.40",
|
||||
"version": "1.0.41",
|
||||
"description": "WMS仓库工作台(Android端 + 桌面端)",
|
||||
"author": "tianbao",
|
||||
"main": "electron/main.js",
|
||||
|
||||
@ -1503,28 +1503,32 @@ export default {
|
||||
},
|
||||
/**
|
||||
* 播报单条文本(串行队列执行单元)
|
||||
* APP-PLUS:优先 HTTP 语音接口,失败兜底本地 TTS / Web Speech
|
||||
* 非 APP:直接走 TTS / Web Speech,按语速估时后取下一条
|
||||
* 降级链:原生 TTS → HTTP 语音接口 → Web Speech
|
||||
* 原生 TTS 仅在 APP-PLUS 且引擎就绪时可用;HTTP 失败后由 Web Speech 兜底
|
||||
*/
|
||||
playSpeakText(str) {
|
||||
console.log('[语音播报] 开始播报:', str)
|
||||
// #ifdef APP-PLUS
|
||||
// 1) 原生 TTS 优先:引擎就绪则直接播报(无结束回调,按语速估时后取下一条)
|
||||
if (this.ttsEngine && this.ttsReady) {
|
||||
const ok = this.speakNativeTts(str)
|
||||
if (ok) {
|
||||
this.voiceNextTimer = setTimeout(() => this.scheduleNextSpeak(), this.estimateSpeakMs(str))
|
||||
return
|
||||
}
|
||||
}
|
||||
// #endif
|
||||
// 2) HTTP 语音接口
|
||||
this.speakViaHttp(str).then((ok) => {
|
||||
console.log('[语音播报] HTTP 语音接口结果:', ok)
|
||||
if (!ok) {
|
||||
this.speakViaTtsOrWebSpeech(str)
|
||||
// 原生 TTS / Web Speech 无结束回调,按语速估时后再取下一条
|
||||
// 3) Web Speech 最终兜底(无结束回调,按语速估时后取下一条)
|
||||
this.speakViaWebSpeech(str)
|
||||
this.voiceNextTimer = setTimeout(() => this.scheduleNextSpeak(), this.estimateSpeakMs(str))
|
||||
return
|
||||
}
|
||||
this.scheduleNextSpeak()
|
||||
})
|
||||
return
|
||||
// #endif
|
||||
// #ifndef APP-PLUS
|
||||
this.speakViaTtsOrWebSpeech(str)
|
||||
this.voiceNextTimer = setTimeout(() => this.scheduleNextSpeak(), this.estimateSpeakMs(str))
|
||||
// #endif
|
||||
},
|
||||
scheduleNextSpeak() {
|
||||
const next = this.voicePendingText
|
||||
@ -1682,28 +1686,6 @@ export default {
|
||||
this.voiceAudioContext = null
|
||||
}
|
||||
},
|
||||
speakViaTtsOrWebSpeech(text) {
|
||||
const str = String(text)
|
||||
// #ifdef APP-PLUS
|
||||
console.log(
|
||||
'[语音播报] APP-PLUS 分支:',
|
||||
JSON.stringify({ hasEngine: !!this.ttsEngine, ttsReady: this.ttsReady, text: str })
|
||||
)
|
||||
if (this.ttsEngine) {
|
||||
if (this.ttsReady) {
|
||||
const ok = this.speakNativeTts(str)
|
||||
console.log('[语音播报] speakNativeTts 返回:', ok)
|
||||
} else {
|
||||
// 引擎未就绪:只保留最后一条待播文本
|
||||
this.ttsPendingText = str
|
||||
console.log('[语音播报] 引擎未就绪,暂存待播文本:', str)
|
||||
}
|
||||
return
|
||||
}
|
||||
console.log('[语音播报] 无 TTS 引擎,回退 Web Speech')
|
||||
// #endif
|
||||
this.speakViaWebSpeech(str)
|
||||
},
|
||||
speakViaWebSpeech(text) {
|
||||
console.log(
|
||||
'[语音播报] Web Speech 分支:',
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user