如何优化大型语言模型（LLM）中的提示（prompt），以更有效地利用这些黑盒模型的能力。传统的优化方法倾向于寻找全局最优解，但在某些情况下这种做法可能表现不佳。

• 首先，相比于全局最优解的稀有性，局部最优解通常更加丰富且性能良好，这为高效的提示优化提供了更多可能性；
• 其次，输入域的选择（包括提示的生成和表示方式）会影响高性能局部最优解的识别。

受此启发，作者提出了一种名为局部零阶提示优化（Localized Zeroth-Order Prompt Optimization，ZOPO）的新算法，该算法将基于神经切线核推导的高斯过程与标准零阶优化相结合，以高效地搜索具有良好性能的局部最优解。实验结果表明，ZOPO在优化性能和查询效率方面均优于现有基线方法。

1 局部零阶提示优化--ZOPO

ZOPO是一种旨在提高提示优化过程中查询效率和优化性能的方法。目的是提高基于提示的方法利用大型语言模型（LLMs）的能力，特别是在那些寻找全局最优解表现不佳的任务上。与全局最优解相比，局部最优解更常见且性能良好，这使得它们成为更值得追求的目标。输入域的选择，包括提示的生成和表示方式，会影响高性能局部最优解的识别。

（1）输入域变换：

• 使用大型语言模型生成提示候选。利用NLP嵌入模型将这些生成的提示转换成其对应的隐藏表示形式，从而充分利用LLMs的生成能力和NLP嵌入模型的表示能力。

（2）零阶优化框架：

• 采用增强的零阶优化（ZOO）方法，通过一个推导出的高斯过程来进行高效的梯度估计。在这个框架中，进一步整合了神经切线核（NTK）来处理复杂和高维的提示优化任务。

（3）不确定性指导的局部探索：

• 设计了一种基于不确定性的局部探索方法，以改善在推导出的NTK-GP框架中的梯度估计，从而增强算法的实际性能。

若想了解更多有关油气行业大模型，赋能油气行业领域发展，可查看油气通GPT云平台，链相关接： https://cn.oilgasgpts.com/ ，也可使用手机扫描下方二位码进行查看。