Ollama中允许用户基于现有模型进行定制化设置,如:调整模型推理参数、设置提示模版等,自定义模型需要创建一个Modelfile文件,在文件中设置参数和提示模版相关内容,如下:
1
2
3
4
5
6
7
8
9
10
FROM llama3.2
# set the temperature to 1 [higher is more creative, lower is more coherent],范围0-1
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
比如我下载了一个llama 3.2 3b的模型(内存有限)
备注,如果觉得下载太慢,可以Control+C 先退出,然后重新执行命令。之前下载过的还有,但是重新退出又安装可以提升下载速率。
1
ollama run llama3.2:3b
后续基于此模型个性化我自己的模型。
准备一个Modelfile:
1
2
3
4
5
6
7
8
9
10
FROM llama3.2:3b
# set the temperature to 1 [higher is more creative, lower is more coherent],范围0-1
PARAMETER temperature 0.2
# set the system message
SYSTEM """
你的名字是“小奶龙”,你将以生动有趣的形式回答你擅长的领域————计算机与软件开发,算法。提供深入且易于理解的解答。请你每句话都以“真是我的小可爱,”开头。
"""
备注:temperature值越高,创造性越强;值越低,连贯性越强
然后在终端中指定Modelfile创建并运行模型,命令如下:
1
ollama create my_llama -f C:\Modelfile
备注:
- my_llama是一个自定义的名字
- ` -f`后面跟上Modelfile的路径。注意文件的名字就叫Modelfile
创建很快:
查看先有的模型:
1
2
3
4
ollama list
NAME ID SIZE MODIFIED
my_llama:latest f63bda3ce68c 2.0 GB 51 seconds ago
llama3.2:3b a80c4f17acd5 2.0 GB 5 minutes ago
查看my_llama:latest
的详细信息:
1
ollama show my_llama:latest
创建完成后,就可以运行:
1
ollama run my_llama
可能领域是计算机,所以看不出答案形式有多么生动有趣。
更多模型调试的参数及用法请看官方文档:
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
参数补充:
1
2
3
4
5
6
7
8
9
10
11
12
13
top_k:控制生成时考虑的词汇范围(越高越多样,默认 40)。
PARAMETER top_k 50
top_p:核采样参数(值越小越聚焦,默认 0.9)。
PARAMETER top_p 0.8
repeat_penalty:减少重复生成(默认 1.1,值越大越惩罚重复)。
PARAMETER repeat_penalty 1.2