·1 分钟阅读
Music Concert Engine — MP3 驱动的 3D 演唱会
上传一首歌,自动分析音频特征,驱动 5 个 Chibi 卡通 3D 角色开一场实时演唱会,含口型同步与自动运镜。
Three.js音频分析3DWeb
Music Concert Engine — MP3 驱动的 3D 演唱会
上传一首 MP3,自动分析音频特征,5 个 Chibi 角色就在浏览器里实时开一场演唱会。
工作流程
flowchart LR
MP3[MP3 上传] --> ANALYZE[音频分析]
ANALYZE --> SEP[四轨音源分离]
SEP --> V[歌手]
SEP --> G[吉他手]
SEP --> B[贝斯手]
SEP --> D[鼓手]
V --> STAGE[3D 舞台渲染]
G --> STAGE
B --> STAGE
D --> STAGE
音频分析引擎
对上传的音频做多维分析,四轨分轨驱动不同的乐师角色:
| 分析维度 | 用途 |
|---|---|
| 节拍 / BPM | 驱动鼓手节奏 |
| 音高追踪 | 驱动口型同步 |
| 能量曲线 | 控制舞台特效强度 |
| 结构分段 | 切换运镜机位 |
5 个 Chibi 角色
歌手 + 吉他手 + 贝斯手 + 鼓手 + 键盘手,每个角色独立响应自己那一路音频。
- 口型同步:音高 + 歌词双驱动,实时张嘴动画
- 互动观众:按歌曲段落分层反应,副歌跳跃、主歌轻摇
运镜与特效
- 双模式运镜:自由拖拽 + 自动 8 机位切换
- 舞台特效:烟雾、体积光束、彩带爆发、浮空音符、频谱柱
- 赛璐璐描边(OutlinePass):黑色描线,动漫渲染风格
技术栈以 Three.js 为主,把"音频 → 视觉"的实时映射做到了舞台级表现力。