程序员现在可以使用大型语言模型（LLM）更快地生成计算机代码。只要代码遵循编程语言的规则并且不会导致计算机崩溃，就会让程序员的工作更轻松。
有一些方法可以确保LLM符合它们生成文本所使用的任何语言的规则，但其中许多方法要么扭曲了模型的预期含义，要么太耗时，无法用于复杂的任务。
麻省理工学院和其他地方的研究人员开发的一种新方法自动引导LLM生成符合相关语言（如特定编程语言）规则的文本，并且没有错误。他们的方法允许LLM将精力分配给最有可能有效和准确的输出，同时在过程的早期丢弃没有希望的输出。这种概率方法提高了计算效率。
由于这些效率的提高，研究人员的架构使小型LLM在为包括分子生物学和机器人技术在内的几个现实世界用例生成准确、结构正确的输出方面，能够超越更大的模型。
从长远来看，这种新架构可以帮助非IT专家控制人工智能生成的内容。例如，它可以允许商人用SQL编写复杂的查询，SQL是一种用于数据库操作的语言，只使用自然语言提示。
麻省理工学院研究生、该框架论文的共同主要作者João Loula表示：“这项工作的意义不仅限于研究。它可以通过确保人工智能生成的输出既有用又正确来改进编程助手、人工智能驱动的数据分析和科学发现工具。”。
Loula与共同主要作者、Mila-Quebec人工智能研究所的研究助理Benjamin LeBrun和约翰·霍普金斯大学的研究生Li Du一起发表了这篇论文；合作资深作者包括麻省理工学院脑与认知科学系概率计算项目的首席研究科学家和负责人Vikash Mansinghka；耶鲁大学助理教授Alexander K. Lew ；苏黎世联邦理工学院博士后Tim Vieira；麦吉尔大学副教授、加拿大CIFAR人工智能主席Timothy J.O'Donnell。这项研究将在国际学习表征会议上发表。
执行结构和意义
控制LLM生成的结构化文本的一种常见方法是检查整个输出，如计算机代码块，以确保其有效且无错误运行。如果没有，用户必须重新开始，耗费了计算资源。
另一方面，程序员可以中途停下来检查输出。虽然这可以确保代码符合编程语言并在结构上有效，但增量纠正代码可能会导致其偏离用户预期的含义，从长远来看会损害其准确性。
Loula说：“执行结构比执行意义容易得多。我们可以快速检查某些内容是否使用了正确的编程语言，但要检查其意义，你必须执行代码。我们的工作也是处理这些不同类型的信息。”
研究人员的方法涉及将工程知识引入LLM，以引导其朝着最有前景的方向发展。这些输出更有可能遵循用户定义的结构约束，并具有用户想要的含义。
Mansinghka补充道：“我们并不是想训练一个LLM来做到这一点。相反，我们正在设计一些专家所拥有的知识，并将其与LLM的知识相结合，这提供了一种与深度学习截然不同的扩展方法。”。
他们使用一种称为顺序蒙特卡洛的技术来实现这一点，该技术使LLM的并行生成能够相互竞争。该模型根据并行计算的不同线程的输出前景，动态地将资源分配给它们。
每个输出都有一个权重，表示它在结构上有效和语义上准确的可能性。在计算的每一步，模型都会关注权重较高的那些，并抛掉其余的。
从某种意义上说，这就像LLM有一位专家在监督它，以确保它在每一步都做出正确的选择，同时让它专注于总体目标。用户指定他们想要的结构和含义，以及如何检查输出，然后研究人员的架构指导LLM完成其余的工作。
Loula说：“我们已经计算出了困难的数学问题，因此，对于你想纳入的任何类型的约束，都会得到适当的权重。最终，你会得到正确的答案。”
提升小型模型
为了测试他们的方法，他们将该框架应用于LLM，其任务是生成四种类型的输出：Python代码、SQL数据库查询、分子结构和机器人要遵循的计划。
与现有方法相比，研究人员的方法表现更准确，同时需要更少的计算。
例如，在Python代码生成中，研究人员的架构使一个小型开源模型的性能优于一个规模是其两倍多的专业商业闭源模型。
Loula说：“我们很高兴能够让这些小型模型的能力大大超过它们的规模。”
展望未来，研究人员希望利用他们的技术来控制生成的较大程序文本块，而不是一次处理一小段。他们还希望将他们的方法与学习相结合，这样当他们控制模型生成的输出时，它就能学会更准确。
从长远来看，这个项目可以为非技术用户提供更广泛的应用。例如，它可以与用于自动数据建模和查询数据库生成模型的系统相结合。
Mansinghka补充说，这种方法还可以实现机器辅助数据分析系统，用户可以与软件进行对话，该软件可以准确地模拟数据的含义和用户提出的问题。
“语言学的一个基本问题是，如何将单词、短语和句子的意义建立在世界模型的基础上，解释意义和参考中的不确定性和模糊性。LLM预测可能的符号序列，并没有解决这个问题。我们的论文表明，在狭窄的符号领域，从技术上讲，可以将单词映射到基于基础意义的分布。这是认知科学、语言学和人工智能中更深层次问题的一小步，需要理解机器如何像我们一样与世界交流。”O’Donnell说。
这项研究部分由加拿大CIFAR人工智能主席计划、麻省理工学院智能探索和融合研究资助和支持。
