·1 分钟阅读
Lux — 让 LLM 像说话一样画画的视觉引擎
设计一套专门给大模型用的视觉渲染引擎,LLM 输出结构化绘图指令,引擎实时渲染并回传视觉反馈形成闭环。
LLMCanvasWebGL渲染引擎
Lux — 让 LLM 像说话一样画画的视觉引擎
Lux 是一套专门为大语言模型设计的视觉渲染引擎。核心思路不是"让 LLM 学会画画",而是给它一套它最擅长的事——输出结构化指令——来驱动画布。
核心理念
flowchart LR
LLM[LLM] -->|DrawLang 指令| ENGINE[Lux 渲染引擎]
ENGINE -->|Canvas/WebGL 渲染| CANVAS[画布]
CANVAS -->|像素反馈| LLM
传统方式下 LLM 是"盲写"——输出代码,能不能画出想要的效果它自己不知道。Lux 把它变成闭环:输出指令 → 渲染 → 视觉反馈回传 → 迭代修正。
DrawLang:给 LLM 的绘图语言
设计了一套结构化的绘图指令语言,LLM 输出指令序列,引擎实时渲染。
{
"type": "draw",
"ops": [
{"op": "rect", "x": 10, "y": 10, "w": 100, "h": 50, "fill": "#4A90D9"},
{"op": "circle", "cx": 60, "cy": 35, "r": 15, "fill": "#fff"}
]
}
关键点是指令要足够结构化、可判定、可回传——这样 LLM 才能基于反馈自我修正。
技术要点
| 层 | 职责 |
|---|---|
| 指令层 | 解析 DrawLang 结构化指令 |
| 渲染层 | Canvas / WebGL 实时渲染 |
| 反馈层 | 像素级视觉反馈回传 |
这个项目探索的是 LLM 与视觉生成的交互范式——相比直接生成图片,走"指令驱动 + 闭环反馈"这条路,可控性和可迭代性都更强。