Featured image of post Bolt.New 使用 Ollama 本地运行

Bolt.New 使用 Ollama 本地运行

使用 Ollama 本地运行 Bolt.New,实现本地化的AI编码助手,与官方功能一致,重要是能免费安装使用

安装 Ollama下载地址

ollama_01

拉取 qwen2.5-coder 模型

1
2
# 在命令行输入以下指令
ollama run qwen2.5-coder:7b

拉取仓库代码

1
2
# 切换到本地工作目录下,然后执行以下指令
git clone https://github.com/coleam00/bolt.new-any-llm.git

安装依赖包,前提需要先安装 Node 环境

1
2
# 切换到 bolt.new-any-llm 目录进行安装依赖
npm install

修改项目的 .env.example.env,并调整 OLLAMA_API_BASE_URL

1
OLLAMA_API_BASE_URL=http://localhost:11434

默认情况下,Ollama 模型的上下文窗口只有 2048 个标记。即使对于可以轻松处理更多内容的大型模型。这个窗口不够大,无法处理 Bolt.new/oTToDev 提示符,所以我们可以根据 qwen2.5-coder:7b 创建一个指定更大上下文窗口的模型

创建 Modelfile 文件,内容如下:

1
2
FROM qwen2.5-coder:7b
PARAMETER num_ctx 32768

在命令行中输入以下命令,例如新的模型名称为 qwen2.5-coder-extra-ctx:7b

1
ollama create -f Modelfile qwen2.5-coder-extra-ctx:7b

运行项目

1
npm run dev

此时在界面中就能够看到 Ollama 模型的选项

bolt_01_1

然后测试一下,让它用 nextjs 框架写一个用户登录的界面

bolt_02_1

需要注意的是,所选的模型不能少于 7b 参数,否则可能会无法处理大型 Bolt.new 提示符,就不会自动生成代码和预览功能

bolt_02

本博客所有内容无特殊标注均为大卷学长原创内容,复制请保留原文出处。
Built with Hugo
Theme Stack designed by Jimmy