发布日期:2025-12-24 11:46 点击次数:71
腹地部署DeepSeek-R1大模子
公共好,我是冷水沏茶。最近有个AI大模子DeepSeek格外火,它性能超卓,径直挑战GPT-4o,并且免费开源,还不错腹地部署,强悍得不要不要的。要津的小数,它是当今鸿沟,最强悍的国产大模子。咱们今天来试一试腹地部署,无用联网也能使用。1、下载 Ollama,这是一个用于腹地启动AI模子的器用平台,下载地址:https://ollama.com/
咱们点“Download”下载:
图片
接下来会自动匹配你的操作系统,淌若莫得问题,点击下载连络下载安设文献(我的电脑是WINDOWS操作系统,系统条目Win10以上,安设文献有745M):
图片
2、下载一个Chrome插件:Page Assist,这是一个不错在浏览器里启动腹地AI模子的插件,Edge浏览器也适用,插件地址:
https://chromewebstore.google.com/detail/page-assist-本地-ai-模型的-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo
图片
也不错在愚弄商店搜:Page Assist3、Python(这个不细目需不需要,在向几个AI发问怎样用ollama部署腹地大模子的时辰,齐提到安设Python以及联系依赖库,归正我的电脑上是安设了Python的)。安设1、双击下载好的安设文献,OllamaSetup.exe。
2、安设好以后它会自动启动,在职务栏咱们不错看到:
图片
咱们灵通呐喊行,实际以下呐喊安设相应的模子,显存4G以下的,咱们选1.5B的(我的电脑显存唯有2G)。1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
8B Llama DeepSeek R1
ollama run deepseek-r1:8b
14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
70B Llama DeepSeek R1
ollama run deepseek-r1:70b
图片
恭候拉取模子胜仗图片
使用1、在呐喊看成直输入对话:
图片
2、关闭对话后,淌若要从头启动,相似地,咱们输入以下呐喊,不外,此次它不会再去拉取模子了:
ollama run deepseek-r1:1.5b
图片
3、在浏览器中启动,点击插件,罗致模子:
图片
咱们点击右边的“诞生”,罗致RAG诞生,罗致文本镶嵌模子,其他的暂时不动,铭刻保存:
图片
咱们试一下,问一个推理问题:昨天的未来是哪天?
图片
复兴正确,速率也很快!不外有点缺憾的是,我再问它相似的问题的时辰,它就复兴错了。可能是参数较小的关系,我在它官方网站上一语气两次发问:
“昨天的今天是哪天?
它齐准确地复兴是“今天”。
写在终末1、腹地部署胜仗,然而启动速率巧合辰有点卡,这跟电脑成就联系系。
2、除非是莫得任何网罗,我以为腹地模子的兴致不是很大,一则电脑硬件的确有限,启动速率慢,二则模子的参数目太小,精度不高,功能有限。我自后又下载了一个7B的模子,启动速率就慢得很,差点死机。
3、淌若把数据安全守秘放在第一位的,咱们罗致腹地模子没缺欠,非凡是要使用有利的常识库进行磨砺的。这时辰咱们应该议论进步电脑硬件成就啦。
今天就到这里,咱们下期相遇!
~~~~~~End~~~~~~ 本站仅提供存储工作,统共本色均由用户发布,如发现存害或侵权本色,请点击举报。下一篇:没有了