·1 分钟阅读

Lux — 让 LLM 像说话一样画画的视觉引擎

设计一套专门给大模型用的视觉渲染引擎,LLM 输出结构化绘图指令,引擎实时渲染并回传视觉反馈形成闭环。

LLMCanvasWebGL渲染引擎

Lux — 让 LLM 像说话一样画画的视觉引擎

Lux 是一套专门为大语言模型设计的视觉渲染引擎。核心思路不是"让 LLM 学会画画",而是给它一套它最擅长的事——输出结构化指令——来驱动画布。

核心理念

flowchart LR
    LLM[LLM] -->|DrawLang 指令| ENGINE[Lux 渲染引擎]
    ENGINE -->|Canvas/WebGL 渲染| CANVAS[画布]
    CANVAS -->|像素反馈| LLM

传统方式下 LLM 是"盲写"——输出代码,能不能画出想要的效果它自己不知道。Lux 把它变成闭环:输出指令 → 渲染 → 视觉反馈回传 → 迭代修正。

DrawLang:给 LLM 的绘图语言

设计了一套结构化的绘图指令语言,LLM 输出指令序列,引擎实时渲染。

{
  "type": "draw",
  "ops": [
    {"op": "rect", "x": 10, "y": 10, "w": 100, "h": 50, "fill": "#4A90D9"},
    {"op": "circle", "cx": 60, "cy": 35, "r": 15, "fill": "#fff"}
  ]
}

关键点是指令要足够结构化、可判定、可回传——这样 LLM 才能基于反馈自我修正。

技术要点

层 职责
指令层 解析 DrawLang 结构化指令
渲染层 Canvas / WebGL 实时渲染
反馈层 像素级视觉反馈回传

这个项目探索的是 LLM 与视觉生成的交互范式——相比直接生成图片,走"指令驱动 + 闭环反馈"这条路,可控性和可迭代性都更强。