在模型属性中选择自定义大模型,即可调用外置自定义大模型。需要满足以下条件:
API可访问性
大模型API需要外网暴露
接口规范
大模型需要是标准的OpenAI接口规范
baseurl可能会删掉后面的/chat/completions字符串。即:https://www.youdsite.com/v1 请多次尝试流模式支持
需要支持流模式,即默认系统会采用流模式调用此API地址
参数配置
需要填写key,baseurl,modelname三个参数。其余参数不可设置
| 参数名 | 默认值 |
|---|---|
temperature |
1 |
max_tokens |
512 |
stream |
True |
其余参数均为默认值
系统已支持OTA在线升级,在设备管理中点开设备,如果有新固件会提示更新。
进入设备管理页面,系统会自动检测可用更新
点击更新按钮,手动重启设备,系统将下载并准备安装新固件
更新完成后会自动重启
如中途断电,请反复重启几次即可恢复旧固件,然后重新再次升级。
如有其它问题,请联系管理员。
快速配置自定义大模型参数
保持系统最新版本