·1 分钟阅读

Music Concert Engine — MP3 驱动的 3D 演唱会

上传一首歌,自动分析音频特征,驱动 5 个 Chibi 卡通 3D 角色开一场实时演唱会,含口型同步与自动运镜。

Three.js音频分析3DWeb

Music Concert Engine — MP3 驱动的 3D 演唱会

上传一首 MP3,自动分析音频特征,5 个 Chibi 角色就在浏览器里实时开一场演唱会。

工作流程

flowchart LR
    MP3[MP3 上传] --> ANALYZE[音频分析]
    ANALYZE --> SEP[四轨音源分离]
    SEP --> V[歌手]
    SEP --> G[吉他手]
    SEP --> B[贝斯手]
    SEP --> D[鼓手]
    V --> STAGE[3D 舞台渲染]
    G --> STAGE
    B --> STAGE
    D --> STAGE

音频分析引擎

对上传的音频做多维分析,四轨分轨驱动不同的乐师角色:

分析维度 用途
节拍 / BPM 驱动鼓手节奏
音高追踪 驱动口型同步
能量曲线 控制舞台特效强度
结构分段 切换运镜机位

5 个 Chibi 角色

歌手 + 吉他手 + 贝斯手 + 鼓手 + 键盘手,每个角色独立响应自己那一路音频。

  • 口型同步:音高 + 歌词双驱动,实时张嘴动画
  • 互动观众:按歌曲段落分层反应,副歌跳跃、主歌轻摇

运镜与特效

  • 双模式运镜:自由拖拽 + 自动 8 机位切换
  • 舞台特效:烟雾、体积光束、彩带爆发、浮空音符、频谱柱
  • 赛璐璐描边(OutlinePass):黑色描线,动漫渲染风格

技术栈以 Three.js 为主,把"音频 → 视觉"的实时映射做到了舞台级表现力。