LegoGPT：言出法随拼乐高。想拼什么说出来，机器人就会帮你拼好。 用户只需一句话，”给我拼个吉他“。两个机械臂便协调配合，按生成的积木结构，一块块拼接，最终完成一个真实的乐高吉他。 这就是卡内基梅隆大学发布的LegoGPT，无需任何建模软件，也不需要人来手动拼，只要说句话，就能生成真实可拼的积木结构，并由机器人拼出来。 LegoGPT的不同之处在于： - 生成的结构可落地：此前AI模型做出来的3D设计，虽然看起来炫酷，但往往无法在现实中拼装。可能存在重心不稳、砖块漂浮、部件断裂等问题。而LegoGPT在生成过程中加入了稳定性分析，确保每一块积木都能搭上去且不会倒。 - AI自动生成拼装方案：LegoGPT基于LLaMA-3.2-Instruct-1B做“下一块积木”预测，输入“一个高靠背的沙发”，它就会按砖块顺序一步步生成拼装方案，而且每块积木都标明尺寸和坐标。 - 自动纠错机制：如果某一块拼上去会造成结构不稳，它会“回滚重试”，换一块重新设计。这叫physics-aware rollback机制，是它实现98.8%稳定率的关键。 - 自建数据集：研究团队创建了一个名叫StableText2Lego的数据集，包含47000多个稳定结构和对应的文字说明。所有描述来自GPT-4o生成，语言准确、逻辑清晰，为模型训练提供了基础。 - 还能加颜色和材质：不仅仅是结构，LegoGPT还能根据“紫色电吉他”、“金属质感的机器人”这类描述，生成带颜色和纹理的模型。 目前系统支持20x20x20的拼装空间，使用8种常见乐高砖块，可以搭建基础家具、交通工具等简约结构。 未来，团队计划扩展更多种类积木与模型形态，进一步拓展应用场景。 你最想用它拼出什么？ 项目主页： 论文：