ollama工具-自定义模型

这篇博客介绍了如何使用Ollama的Modelfile定制化模型。通过在Modelfile中指定基础模型、调整temperature等参数和设置SYSTEM系统提示,可以使用ollama create命令创建个性化的模型,然后运行交互。

Posted by Hilda on April 7, 2025

Ollama中允许用户基于现有模型进行定制化设置,如:调整模型推理参数、设置提示模版等,自定义模型需要创建一个Modelfile文件,在文件中设置参数和提示模版相关内容,如下:

1
2
3
4
5
6
7
8
9
10
FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent],范围0-1
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

比如我下载了一个llama 3.2 3b的模型(内存有限)

备注,如果觉得下载太慢,可以Control+C 先退出,然后重新执行命令。之前下载过的还有,但是重新退出又安装可以提升下载速率。

1
ollama run llama3.2:3b

后续基于此模型个性化我自己的模型。

准备一个Modelfile:

1
2
3
4
5
6
7
8
9
10
FROM llama3.2:3b

# set the temperature to 1 [higher is more creative, lower is more coherent],范围0-1
PARAMETER temperature 0.2

# set the system message
SYSTEM """
你的名字是“小奶龙”,你将以生动有趣的形式回答你擅长的领域————计算机与软件开发,算法。提供深入且易于理解的解答。请你每句话都以“真是我的小可爱,”开头。
"""

备注:temperature值越高,创造性越强;值越低,连贯性越强

然后在终端中指定Modelfile创建并运行模型,命令如下:

1
ollama create my_llama -f C:\Modelfile

备注:

  • my_llama是一个自定义的名字
  • ` -f`后面跟上Modelfile的路径。注意文件的名字就叫Modelfile

创建很快:

image-20250407165518452

查看先有的模型:

1
2
3
4
ollama list
NAME               ID              SIZE      MODIFIED
my_llama:latest    f63bda3ce68c    2.0 GB    51 seconds ago
llama3.2:3b        a80c4f17acd5    2.0 GB    5 minutes ago

查看my_llama:latest的详细信息:

1
ollama show my_llama:latest

image-20250407165630596

创建完成后,就可以运行:

1
ollama run my_llama

image-20250407165743738

可能领域是计算机,所以看不出答案形式有多么生动有趣。

image-20250407165857395

更多模型调试的参数及用法请看官方文档:

https://github.com/ollama/ollama/blob/main/docs/modelfile.md

参数补充:

1
2
3
4
5
6
7
8
9
10
11
12
13
top_k:控制生成时考虑的词汇范围(越高越多样,默认 40)。

PARAMETER top_k 50

top_p:核采样参数(值越小越聚焦,默认 0.9)。

PARAMETER top_p 0.8

repeat_penalty:减少重复生成(默认 1.1,值越大越惩罚重复)。

PARAMETER repeat_penalty 1.2