# 实时音频处理最佳方案（Demucs + RTX 3060）

## 一、方案对比

| 方案 | 版权规避率 | 延迟 | 算力 | 复杂度 |
|------|------------|------|------|--------|
| **FFmpeg 纯滤波**（当前） | 60-70% | 0 | 低 | 低 |
| **Demucs 人声分离** | 90%+ | 4-8s | RTX 3060 | 中高 |

---

## 二、推荐架构：Demucs 实时管道

```
抖音流 ─┬─ FFmpeg 解复用 ─┬─ 视频 ─────────────────────────────┐
        │                │                                    │
        │                └─ 音频 ─→ Python Demucs ─→ 人声 ────┼─→ FFmpeg 复用 ─→ YouTube RTMP
        │                     (分块处理)                      │
        └────────────────────────────────────────────────────┘
```

### 核心参数（RTX 3060 12GB）

| 参数 | 推荐值 | 说明 |
|------|--------|------|
| **模型** | `htdemucs`（单模型，非 _ft） | 速度最快，质量够用 |
| **chunk 长度** | 2.5-3 秒 | 延迟 ≈ 2×chunk ≈ 5-6s |
| **overlap** | 0.25 | 减少接缝，质量更好 |
| **shifts** | 0 | 降低算力，实时必需 |
| **segment** | 7.8（默认）或更小 | 显存不足时减小 |

### RTX 3060 算力

- 约 13 TFLOPS，高于 Demucs 实时所需 2 TFLOPS
- 12GB 显存足够 htdemucs（约 6-8GB）
- 预期：**2-4× 实时速度**，可满足直播

---

## 三、实现方式

### 方式 A：Python 自建管道（推荐）

```python
# 伪代码流程
# 1. FFmpeg 从抖音拉流，输出: -vn -acodec pcm_s16le -ar 44100 -ac 1 pipe:1
# 2. 主进程读取音频块（2.5s = 110250 samples @ 44.1kHz）
# 3. 调用 demucs.separate_audio(model, chunk) 得到 vocals
# 4. 人声写入 pipe，FFmpeg 另一进程读取并与视频复用推流
```

**依赖**：
```
demucs
torch
torchaudio
```

**模型加载**：
```python
from demucs.pretrained import get_model
model = get_model('htdemucs')  # 单模型，非 htdemucs_ft
```

### 方式 B：GStreamer（若可用）

GStreamer 1.28+ 内置 demucs 元素，CPU 约 8× 实时：

```bash
# 需安装 gst-plugins-rs (含 demucs)
gst-launch-1.0 uridecodebin uri=抖音流 ! audioconvert ! demucs ! ...
```

---

## 四、分块处理要点

1. **重叠**：chunk 之间 25% 重叠，避免接缝
2. **队列**：双缓冲，一块处理时另一块接收
3. **采样率**：Demucs 默认 44100 Hz，与 FFmpeg 输出一致
4. **延迟**：总延迟 ≈ 2 × chunk 长度（约 5-6 秒可接受）

---

## 五、快速验证（离线测试）

```bash
# 安装
pip install demucs torch torchaudio

# 测试 30 秒音频分离速度
demucs -n htdemucs --two-stems=vocals -j 1 test_30s.mp3 -o output/

# 若 30s 在 10s 内完成 → 可实时
```

---

## 六、与当前方案的关系

- **当前**：`douyin_youtube_ffplay.py` 纯 FFmpeg，60-70% 规避率
- **升级**：可新增 `douyin_youtube_demucs.py`，集成 Demucs 管道
- **切换**：通过 config 选择 `mode = ffmpeg` 或 `mode = demucs`

---

## 七、配置建议（config/youtube.ini）

```ini
[youtube]
key = xxx

# 音频模式: ffmpeg | demucs
; audio_mode = ffmpeg

# Demucs 专用
; demucs_chunk = 2.5
; demucs_model = htdemucs
```