's'
This commit is contained in:
@@ -3718,3 +3718,123 @@ nomadlist网站的设计思想非常轻,都是基于`数据`和`社交`,方便
|
||||
|
||||
|
||||
|
||||
数字游民:低成本工作室:云手机,无人直播Tiktok/Youtube,赚美金 (22)
|
||||
|
||||
# 边缘计算
|
||||
|
||||
算力时代,各种贵金属原料和商业数码都在疯狂涨价,因为AI是超级杠杆,是技术奇点
|
||||
|
||||
本篇核心阐述`npu`在无人直播的应用 (不是`GPU显卡`)
|
||||
|
||||
两百多人民币的开发板,就有`3TOPS`的算力
|
||||
|
||||
可以解决无人直播中2个核心`风控`问题
|
||||
|
||||
- 推荐极致/黄色暴力
|
||||
|
||||
- 音频版权
|
||||
|
||||
常在河边走,哪有不湿鞋,见下图
|
||||
|
||||
<img src="https://minioweb.hackrobot.cn/hackrobot/20260201042930_20260201_043020_3285.png" title="" alt="20260201042930_20260201_043020_3285.png" width="301">
|
||||
|
||||
无人直播,真的是就内容"无人"吗,显然不是,说的是无人值守
|
||||
|
||||
由于是几十个直播间,轮询开播状态,然后实时转播
|
||||
|
||||
就不可避免会遇到各种场景,有的主播会突然进行pk状态,有的会偶尔用音响放音乐
|
||||
|
||||
这就会导致Youtube根据声纹,识别到音乐版权,进行警告
|
||||
|
||||
多次触发后,就会进行判罚
|
||||
|
||||
- 第1次,禁止该频道7天不能发布,频道降权
|
||||
|
||||
- 第2次,禁止该频道14天不能发布,频道降权
|
||||
|
||||
- 第3次,名下所有频道封禁,撤销Ypp获利资格
|
||||
|
||||
所以,如果达到第3次封禁,那损失不可估量,于是就必须采取以下解决措施
|
||||
|
||||
---
|
||||
|
||||
## 机器视觉Yolov5
|
||||
|
||||
廉价的开发板,除了CPU,还有3tops的NPU,物尽其用
|
||||
|
||||
虽然它不能进行AIGC创造内容,但是可以检测内容
|
||||
|
||||
<img src="https://minioweb.hackrobot.cn/hackrobot/20260201041903_20260201_043745_4738.png" title="" alt="20260201041903_20260201_043745_4738.png" width="247">
|
||||
|
||||
比如,开播时
|
||||
|
||||
- 对主播进行`人脸识别`,商品是被
|
||||
|
||||
- 每十分钟对画面进行`黄暴检测`
|
||||
|
||||
- 同时在线人数达到100时,对画面进行分析
|
||||
|
||||
检测的目的,是为了研究平台的推荐机制和风控处理
|
||||
|
||||
其实目前黄暴对于转播意义不大,因为国内平台天然有过滤
|
||||
|
||||
但是有些场景会用得到
|
||||
|
||||
---
|
||||
|
||||
## 音频声纹
|
||||
|
||||
背景音乐,一旦检测到版权,进行封禁的后果是非常可怕的
|
||||
|
||||
所以在ffmpeg的实时流,就要对音频重新处理
|
||||
|
||||

|
||||
|
||||
比如`RNNoise降噪`,人生增强,音速变化,音色调整
|
||||
|
||||
ps: RNNoise降噪,需要下载cb.rnn`模型文件`
|
||||
|
||||
虽然不能百分百避免音乐版权检测,但是降低概率很重要
|
||||
|
||||
```
|
||||
"-af",
|
||||
"arnndn=m=./arnndn-models/cb.rnnn:mix=0.88," # 人声增强
|
||||
"afftdn=nf=-24:tn=1," # FFT 降噪,抹平音乐中频
|
||||
"highpass=f=110,lowpass=f=4800," # 切掉低音鼓/高频镲
|
||||
"equalizer=f=250:width_type=o:width=2:g=-9," # 衰减低中频,音乐基础弱化
|
||||
"equalizer=f=800:width_type=o:width=1.5:g=-6," # 再衰减中频,人声外区域
|
||||
"atempo=1.03," # 轻微加速 3%,节奏轻微错位
|
||||
"asetrate=48000*1.02,aresample=48000," # 音高上移 ~1/2 半音
|
||||
"afreqshift=shift=20," # 整体频率偏移 20Hz,破坏指纹
|
||||
"acompressor=threshold=-28dB:ratio=5:attack=8:release=80:makeup=5," # 压缩动态,音乐更“扁”
|
||||
"volume=1.15," # 补偿整体音量
|
||||
"aresample=async=1:first_pts=0" # 保证音视频同步
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 语音转录和文字识别
|
||||
|
||||
> deepspeech2 和ocr
|
||||
|
||||

|
||||
|
||||
除了对画面的分析,也可以对音频实时识别,以及文字识别
|
||||
|
||||
然后进行自然语言NLP分析,和转义
|
||||
|
||||
简单来说,就是不可能一直盯着频道,而转成文字分析后,就能得到`内容纪要`
|
||||
|
||||
可以对直播的内容进行`存档`
|
||||
|
||||
---
|
||||
|
||||
## 最后
|
||||
|
||||

|
||||
|
||||
现在端侧的`嵌入式设备`和`可穿戴设备`,边缘算力都很强大了
|
||||
|
||||
最明显的趋势,就是`AI glass(智能眼镜)`
|
||||
|
||||
既可以`实时直播,拍摄视频,也能语音对话/转录`,妥妥的生产力工具
|
||||
|
||||
Reference in New Issue
Block a user