大预言模型的思考先把词语向量化把词语变成一个有一个的词向量也叫token然后就可以进行计算了大模型原理-词向量与大语言模型的预测在进行计算之后会取计算结果附近的一些向量作为样本在里面找到可能性最大的进行输出这个时候就用到的sofmax 找出最有可能得哪一个但是这样就有一个缺点如果只找到可能性最大的那一个模型的返回值就是千篇一律没有多样性所以引入一个参数然模型有概率去获取到其他可能输出这个参数就是Temprature 这个参数越大概率的分布就越均匀模型结果的随机性就会越强反之模型就越准确。大模型应用问题大模型和大模型应用的区别大模型就是模型是GPT大模型应用是网页是上面的对话应用可以和他对话 chat GPT 有记忆怎么让大模型变成大模型应用呢首先会定义一个对话 ‘接下来紧跟着的是用户和一个热心的只是渊博的AI助手之间的对话’这个描述是该大模型交代一下背景告诉他接下来是在聊天然后是用户提出问题把上线的背景和用户的问题拼起来就这样一直重复达到对话的效果但是大模型应用有图像界面有文件上传有WEB搜索这些都是传统的编程传统编程和大模型的优缺点传统编程适合 确定性逻辑处理精确控制和高可靠 不适合 模糊问题复杂模式识别大模型 则恰恰预期相反适合模糊问题复杂模式识别因为大模型是在预测下一个的可能性所以不适合逻辑处理精确控制所以把两者结合起来就是大模型应用怎么结合大模型的结构是什么呢目的是知道两者的优缺点什么东西适合大模型去做有任务怎么分大模型服务云服务阿里百炼腾讯TI平台千帆平台硅基流动火山方舟-火山引擎模型多可以多调用公司深度求索月之暗面智普本地部署http://olama.com 这个各平台可以通过这个平台暴露出本地的接口olama是一个帮我们管理模型的工具我们要利用这个工具去下载管理模型公共大模型olama本地模型安装指定目录在安装的位置打开cmd然后输出 前面是exe的文件后面是空格/ DIR你要安装的路径模型下载大模型API接口规范其中message中role可以进行身份设定是对系统的身份设定用户的输入就是提问的问题。会话记忆问题大模型是没有记忆的大模型不是一个对话机器人产品大模型的服务是无状态的每一轮请求是一次会话不同会话之间相互独立并不具备会话记忆功能解决方案用户每次请求时需要将之前的所有对话历史拼接好传递给对话API多轮对话的核心是维护一个message数组要做会话记忆需要把每次对话都保存在一个地方要向模型发起请求的时候都需要吧历史的对话信息带入进去然后再次拼接用户的提问环境准备使用UV做项目管理依赖管理可以在pycharm中去使用UV进行项目管理编程调用大模型左边是HTTP请求右边是python代码请求有一个地方比较特殊就是URL,URL不用填写完整的URL只填写最前面的部分根据下面调用的模型会动态就会自动补全后面的参数。1.安装依赖 import openai 初始化客户端2.访问模型建议通过环境变量加载APIkey3.获取模型响应结果