如果 LLM 是巫师，那么代码就是魔杖

如果 LLM 是巫师，那么代码就是魔杖，论文：《If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents》

摘要：
当今的主流大语言模型（LLMs）与过去的语言模型有所不同，它们不仅规模更大，而且依托自然语言和代码（形式语言）综合训练。

代码作为连通人类与计算机的桥梁，将高层次的目标转化为可执行的步骤，具备标准语法、逻辑一致性、抽象性和模块化等特性。

在本文中，我们探讨了将代码整合进大语言模型训练数据中的众多益处，具体来看，代码的独特属性不仅能够提升大语言模型的代码生成能力，同时还可以：

(i) 解锁大语言模型的推理能力，使其能够应对一系列更为复杂的自然语言任务；

(ii) 引导大语言模型生成结构化和精准的中间步骤，然后通过函数调用将这些步骤连接到外部执行环节；

(iii) 利用代码的编译和执行环境，获取多样的反馈以改进模型。

此外，我们还追溯了代码对大语言模型深远影响的一种表现：促使其在需要理解指令、分解目标、规划和执行行动以及依据反馈进行优化的情境中，成为有效的智能代理（IAs）。

文章最后，我们提出了几个以代码赋能大语言模型的未来方向及其所面临的关键挑战。

https://browse.arxiv.org/html/2401.00812v1