【提示词工程】LangGPT结构化提示词编写
参考内容:
1.LangGPT社区:LangGPT结构化提示词 - 飞书云文档
2.浦语开源文档书生浦语-浦语提示词工程实践
3.文档:系统论述文章: 构建高性能 Prompt 之路——结构化 Prompt
步骤
step0:前期准备
0.1:创建虚拟环境->激活虚拟环境->安装必要包文件
0.2:创建项目路径->进入项目
0.3:安装必要软件,如tmux
step1:模型部署模型下载->部署模型为OpenAI server->图形化界面调用
step3:langgpt结构化提示词编写
偷懒大法:GPTS有LangGPT提示词专家,用大模型生成即可
tmux扫盲
tmux可以在终端中创建终端,将进程维持在后台。
当我们下载模型时,使用tmux在后台下载,即便我们断开ssh连接,下载也不会中断。
step1:部署模型为OpenAI server
tmux常见命令
1.创建窗口命令:
PS:t表示target(目标),用于指定会话、窗口或面板的名称
1 | tmux new -t <session_name> |
PS:创建完成后,运行下面的命令进入新的命令窗口(首次创建自动进入,之后需要连接):其中a
是 attach
的简写
1 | tmux a -t <session_name> |
2.查看当前 tmux 会话:
1 | tmux ls |
3.连接到特定的 tmux 会话:
1 | tmux attach -t <session_name> |
将 <session_name>
替换为你要连接的会话的实际名称或编号。
4.杀死整个 tmux 会话:
1 | tmux kill-session -t <session_name> |
5.退出tmux:
Ctrl+B进入tmux
的控制模式,然后按d退出窗口连接
模型部署
进入命令窗口后,需要在新窗口中再次激活环境,命令参考0.1节。然后,使用LMDeploy进行部署,参考如下命令:
使用LMDeploy进行部署,参考如下命令:
1 | CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2 |
更多设置参考:https://lmdeploy.readthedocs.io/en/latest/index.html
部署成功后,可以利用如下脚本调用部署的InternLM2-chat-1_8b模型并测试是否部署成功。
1 | from openai import OpenAI |
服务启动完成后,可以按Ctrl+B进入tmux
的控制模式,然后按D退出窗口连接,更多操作参考。
作业:
基础任务 (完成此任务即完成闯关):
-
背景问题:近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为
13.8<13.11
。 -
任务要求:利用LangGPT优化提示词,使LLM输出正确结果。完成一次并提交截图即可
使用GPTS中LangGPT提示词专家,配合我们的需求生成LangGPT结构化提示词
生成结果如下:
1 | # Role: 数学助手 |
加入系统提示词前:
PS:估计InternLM2-chat-1_8b版本太久远了,所以回答不出来🤔
加入系统提示词后:
PS:效果明显变好了😋