Top
«

使用OLLAMA+ChatBoxAi.app5分钟体验deepseek-r1模型

阿布大人 发布于 阅读:121 私有分类


某些场景下可能希望构建一个完全本地离线可用的大模型,方法很多,模型也很多,比如 qwen、qwen2、llama3等,最简单快捷的首推使用 ollama 部署,模型选用 qwen 或 qwen2,针对中文任务效果更好。

首先下载 ollama 双击安装(277MB)
ollama下载地址:
www.ollama.com/download

image.png

下载后双击安装

image.png

安装完毕后打开命令行黑窗口
开始菜单中找到命令提示符,点击打开

image.png

或者随便打开任意一个文件夹,然后在文件夹地址栏中输入 cmd 按回车。

image.png

都能打开一个黑窗口

image.png

找到想要使用的模型,推荐 qwen系列
打开这个网址 www.ollama.com/library 可以选择要使用的模型

image.png

比如使用 qwen,点击进入后,会看到如下

image.png

点击下拉框,可选择模型版本列表,4b 代表该模型有40亿参数,当然参数越大效果越好,但同样也要求你的电脑配置越高,不够高的话不仅运行慢,还可能卡死机。

image.png

如果你有英伟达显卡,并且独立显存不低于12G,可以选择 14b / 32b 版本,否则建议选择 7b

选择后,右侧会显示对应的下载命令,点击复制图标复制该命令,以7b为例命令是 ollama run qwen:7b

image.png

复制后回到黑窗口,点击鼠标右键粘贴该命令,然后回车,就开始了下载,耐心等待下载完毕。

image.png

直接在黑窗口交互方式使用

上面下载完毕后,就可以直接在黑窗口中使用了,试试先询问它是谁吧

image.png

关闭了黑窗口,如何在次使用呢
还记得怎么打开cmd吗,用同样方法去打开它,然后同样去粘贴命令。7b的命令是ollama run qwen:7b

就自动打开了。

还想使用其他模型怎么办
同样方法,去 www.ollama.com/library 这个地址找到想用的模型,点击进入,选择模型版本,复制右侧命令,到 cmd黑窗口中粘贴回车。

cmd黑窗口太难用了,有没有ui界面
搭配 ollama 最好用的ui界面首推ollama官方的 docs.openwebui.com(使用的化建议使用docker快速安装)

image.png

如果你懂 docker部署或略懂代码,可参考手动安装。

如果你只想下载一个exe鼠标点点就能使用,可下载 chatbox,双击安装,同安装其他软件一样方法

chatboxai.app/zh

第一次运行点击设置

image.png

然后点击“显示”,再从下拉框里选择 “ollama”

image.png

然后在模型下拉框里选择你要使用的模型,所有通过 ollama run 命令安装的模型都会在此显示,选择好后点击保存

image.png

如果找不到模型,需要参考如何配置ollama远程模式配置环境变量,

在 MacOS 上配置

  1. 打开命令行终端,输入以下命令:

    launchctl setenv OLLAMA_HOST "0.0.0.0"
    launchctl setenv OLLAMA_ORIGINS "*"
    
  2. 重启 Ollama 应用,使配置生效。

在 Windows 上配置

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

  1. 通过任务栏退出 Ollama。

  2. 打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

  3. 点击编辑你账户的环境变量。

    为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *

  4. 点击确定/应用以保存设置。

  5. 从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:

  1. 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

  2. 在 [Service] 部分下为每个环境变量添加一行 Environment:

    [Service]
    Environment="OLLAMA_HOST=0.0.0.0"
    Environment="OLLAMA_ORIGINS=*"
    
  3. 保存并退出。

  4. 重新加载 systemd 并重启 Ollama:

    systemctl daemon-reload
    systemctl restart ollama

    image.png

    环境变量配置好后,就可以选择对应模型之后进行聊天了。

 

 

收到1条评论
avatar
will 2025-02-09 12:03
http://m.hangge.com/news/cache/detail_3898.html
回复