Ollama本地大模型管理器(AI写的)

亲测源码3天前发布 admin
4 00
🌐 经济型:买域名、轻量云服务器、用途:游戏 网站等 《腾讯云》特点:特价机便宜 适合初学者用 点我优惠购买
🚀 拓展型:买域名、轻量云服务器、用途:游戏 网站等 《阿里云》特点:中档服务器便宜 域名备案事多 点我优惠购买
🛡️ 稳定型:买域名、轻量云服务器、用途:游戏 网站等 《西部数码》 特点:比上两家略贵但是稳定性超好事也少 点我优惠购买

用本地Qwen+Deepseek大模型写的,自己也修改了一部分
想用来测试一下离线模型的效率~~~~~~
主要用来主动提前加载大模型,以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型,以便快速释放显存
**程序主要用于Ollama且基于默认的11434端口**
其他大模型调试软件,或者非Ollama默认端口的,请忽略!!
使用时注意点:
1.需要Ollama主程序正常运行中;
2.预加载大模型后还需要在交互客户端选择预加载的模型名称;

重申:本程序只时起到将模型提前载入显存或卸载出显存而已!!!
考虑到已经是手动操作了,就直接默认是永久加载,再设闲置时效好像意义不大!!!

 

Ollama本地大模型管理器(AI写的)Ollama本地大模型管理器(AI写的)

该资源来源于WordPress主站,点击下方按钮前往原文页面获取完整内容:

跳转至 WordPress 主站原文页面

© 版权声明

相关文章