❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
- promptim 是一个实验性的提示优化库，通过自动化流程提升 AI 系统在特定任务上的提示效果。
- 主要功能包括自动化提示优化、自定义评估器集成、人工反馈循环和多轮优化。
- 技术原理基于优化循环、元提示、性能评估、模型集成和数据驱动的优化。
promptim 是一个实验性的 AI 提示优化库，旨在帮助用户系统地改善 AI 系统的提示效果。用户只需提供初始提示、数据集和自定义评估器，promptim 就能自动运行优化循环，生成更优的提示。这一过程提高了 AI 任务的性能，支持用人工反馈进一步指导优化，实现更精准的 AI 系统调优。promptim 的目标是简化 AI 提示的调整和优化工作，让 AI 系统更加高效和智能。
- 自动化提示优化：自动迭代和优化 AI 系统的提示，提高特定任务的性能。
- 自定义评估器集成：用户能定义自己的评估器衡量提示的效果，promptim 根据评估器的反馈进行优化。
- 人工反馈循环：支持“人在回路”的优化，支持用户直接对 AI 输出提供反馈，指导优化过程。
- 多轮优化：用多次迭代优化，promptim 不断调整提示，直至找到最佳配置。
- 优化循环：promptim 基于优化循环迭代改进提示。循环包括评估当前提示的性能，根据评估结果提出改进建议，再测试改进。
- 元提示（meta-prompting）：在每个训练批次中，promptim 用一个元提示建议对当前提示的修改。元提示是高级提示，指导提示的优化方向。
- 性能评估：在训练和验证数据集上评估提示的性能，用用户定义的评估器量化性能指标。
- 模型集成：与不同的 AI 模型集成，基于模型生成和评估提示。
- 数据驱动的优化：优化过程是基于数据的，用数据集测试和改进提示，确保优化是基于实际性能反馈的。
1. 安装
首先安装 CLI：
确保环境中有有效的 LangSmith API Key 和 Anthropic API Key:
2. 创建任务
接下来，创建一个任务来优化。运行以下命令生成模板：
这将生成启动代码，包括任务的名称、提示、数据集和描述。完成后， 目录中应有以下文件：
3. 定义评估器
打开 中的评估器存根，找到分配分数的行：
更新该行为：
更新评估器名称：
添加评论：
4. 训练
运行 命令开始优化：
终端会显示进度。完成后，终端将打印出最终的“优化”提示和 hub 中的提交链接。
- GitHub 仓库：https://github.com/hinthornw/promptimizer
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
本文地址：http://lanlanwork.gawce.com/quote/8720.html 阁恬下 http://lanlanwork.gawce.com/ , 查看更多