Ollama是一个开源的大语言模型(LLM)服务工具,它允许用户在本地PC环境快速实验、管理和部署大型语言模型。它支持多种流行的开源大型语言模型,如
Llama 3.1
Phi 3
Qwen 2
GLM 4等,并且可以通过命令行界面轻松下载、运行和管理这些模型。
Ollama的出现是为了降低使用大型语言模型的门槛,是让大型语言模型更加普及和易于访问。一言以蔽之就是
Ollama让使用模型更简单。无论是
CPU或是
GPU都可以,算力高的话推理速度更快,算力不足的话推理的慢,而且容易胡言乱语。