Jan：开源离线 AI 助手

为什么需要 Jan：让大模型离线跑在自有硬件上

云端 LLM API 的痛点很直接：按 token 计费，长对话和批量测试成本累积快；提示词与对话内容会经过第三方服务，在医疗、法律、金融等场景过不了合规审查；离线环境、内网隔离和飞机上根本无法调用；此外云端模型版本由供应商控制，今天测的模型明天可能被静默替换，评测结果不可复现。这些问题叠加在一起，让「本地跑模型」从一个极客选项变成了工程刚需。

Jan 的解法是把推理能力打包成一个成品应用：内置 Nitro 推理引擎（基于 llama.cpp），直接加载 GGUF 格式模型，在 NVIDIA GPU（CUDA）、Apple Silicon（Metal）、AMD/Intel（Vulkan）以及纯 CPU 上都能运行。模型一次下载后完全离线可用、无调用次数限制、无费用。模型、会话、日志统一存放在 ~/.jan 目录，备份迁移只需复制一个文件夹。同时，Jan 暴露 OpenAI 兼容的本地 API，现有基于 OpenAI SDK 的代码只需要改一行 base_url 就能切到本地模型。

与 LangChain、LlamaIndex 这类开发框架不同，Jan 不是让你从零搭管道，而是一个开箱即用的产品；与「Ollama 服务 + Open WebUI 前端」的两步组合相比，Jan 是一体化的单文件安装，对非运维背景的工程师更友好，但保留了同样的可编程接口。

安装与环境配置：3 步就绪

步骤一：下载安装包。 访问 [jan.ai/install](https://jan.ai) 或 GitHub Releases，按平台选择安装包：macOS 需区分 Apple 芯片（aarch64）与 Intel（x64）；Windows 选 .exe；Linux 选 .AppImage 或 .deb。Windows 与 macOS 双击安装即可，Linux 需手动赋予执行权限。

步骤二：配置运行环境。 Linux 下执行 chmod +x 后运行 AppImage。NVIDIA 用户先确认驱动可用（nvidia-smi 能正常输出即为就绪），Jan 会自动选择 CUDA 后端；Apple Silicon 会自动走 Metal；无 GPU 时自动回退 CPU。建议内存不低于 16GB，纯 CPU 设备只适合 3B 以下小模型。

步骤三：验证安装。 打开应用，进入「My Models」，下载一个小模型（如 1.5B～3B 量化版），切到「Chat」界面提问。随后在 设置 → Advanced 中开启 Local API Server，用 curl 确认本机 API 可用：

# 1) Linux（AppImage）安装运行chmod +x jan-linux-*.AppImage   # 文件名为实际下载到的文件./jan-linux-*.AppImage & # 2) 可选：确认 NVIDIA GPU 可用（CUDA 后端前提）nvidia-smi # 3) 验证本地 OpenAI 兼容 API（需在 设置 → Advanced 中开启 Local API Server）curl http://127.0.0.1:1337/v1/models

快速上手：10 分钟跑通第一个本地对话

最小可用流程只有四步：选模型 → 下载 → 聊天 → 开 API。Jan 的模型市场数据来自 Hugging Face 上的 GGUF 仓库，「量化」后缀（如 Q4_K_M）表示把权重压缩到约 1/4 体积，是本地部署的默认选择。

1. 打开 Jan，进入「My Models」标签页，浏览模型列表。

2. 按本机配置选模型：16GB 内存/Apple Silicon 选 7B～8B 量化版；8GB 内存选 1.5B～3B；24GB 显存可试 13B～14B。点击模型卡片上的 Download，等待下载完成。

3. 切到「Chat」界面，在顶部模型下拉框中选中刚下载的模型，输入一句测试问题并发送。

4. 模型正常回复后，进入 设置 → Advanced，开启 Local API Server，记下地址 http://127.0.0.1:1337/v1。

5. 用任何 OpenAI 客户端指向该地址，即可把本地模型接入现有代码：

进阶技巧：断开网络再问一次，确认推理完全离线；如果这一步失败，说明模型实际走的是远程服务，请检查模型列表里是否误选了远程模型。

# 依赖：pip install openaifrom openai import OpenAI client = OpenAI(    base_url="http://127.0.0.1:1337/v1",  # Jan 本地 API 服务    api_key="jan",                         # 本地服务不校验密钥，任意占位) resp = client.chat.completions.create(    model="llama-3.2-3b-instruct",         # 以你在 Jan 中实际下载的模型名为准    messages=[{"role": "user", "content": "用一句话介绍你自己"}],)print(resp.choices[0].message.content)

核心能力详解：4 大支柱

支柱一 · Nitro 本地推理引擎。 Nitro 是 Jan 内置的推理服务，基于 llama.cpp，负责 GGUF 模型的加载、量化与生成。GGUF 是把模型权重、分词器与推理参数打包在一起的容器格式，是 llama.cpp 生态的事实标准。硬件加速上，Nitro 自动选择 CUDA（NVIDIA）、Metal（Apple）、Vulkan（AMD/Intel）或 CPU 回退，并支持多 GPU 张量并行——即把一个大模型切分到多张显卡上运行。量化（如 Q4_K_M）是本地推理的关键概念：4-bit 量化能把 7B 模型权重压到约 4.5GB，显存占用降为原来的四分之一左右，质量损失在多数任务上可接受。

支柱二 · 模型市场与文件管理。 Jan 内置模型市场，列出 Hugging Face 上的热门 GGUF 模型，下载、删除、切换都在界面内完成；也支持把本地 .gguf 文件直接拖拽进窗口导入。所有模型存放在 ~/.jan/models/<模型名>/ 下，可以手动增删、备份，或从其他机器拷贝复用，不依赖应用本身的下载功能。

支柱三 · 会话与助手定制。 Jan 以 Threads（会话线程）组织对话，每个线程独立维护上下文历史。可以创建多个 Assistants（助手），为每个助手预设系统提示词、默认模型和采样参数（temperature、top_p、max_tokens），比如「翻译助手」「代码评审助手」这类固定角色的工作流，切换时不需要重新复制粘贴提示词。

支柱四 · OpenAI 兼容 API 与远程模型。 Local API Server 默认监听 127.0.0.1:1337，提供 /v1/models 与 /v1/chat/completions，与 OpenAI 接口逐字兼容，LangChain、LlamaIndex、各类 IDE 插件均可零改动接入。此外，Jan 支持在设置中填写 OpenAI、Anthropic 等厂商的 API Key，在聊天中切换到远程模型——注意此时请求会离开本机，只有使用本地 GGUF 模型时才做到完全离线。

生产部署与监控：从上线到运维

方式一：单机开发工作站。 工程师在自己 GPU 工作站上运行 Jan，开启 Local API Server，让 IDE 插件、脚本、自动化测试都指向 127.0.0.1:1337/v1。优点是零额外成本、数据不出设备；局限是单用户、进程生命周期依赖桌面会话，适合个人开发与原型验证。

方式二：内网 GPU 服务器共享。 在团队共享的 GPU 工作站上安装 Linux 版 Jan，开启 Local API Server 后监听 127.0.0.1，再用 Nginx 反向代理暴露到内网并加上 Basic Auth 做访问控制，团队成员通过局域网地址调用。用 systemd 或其他进程守护工具做开机自启与崩溃重启。注意：Jan 桌面版面向有桌面或虚拟显示的环境，无图形界面的纯服务器建议优先评估 Ollama 等原生服务化方案。

可观测性。 Jan 的应用日志与 Nitro 推理日志位于 ~/.jan/logs 下，模型加载报错、OOM 记录都在这里排查。健康检查用 curl http://127.0.0.1:1337/v1/models（有返回即服务存活）。性能主要看两个指标：首 token 延迟（响应前等待时间）与生成速度（token/s），可通过一次请求的耗时与输出长度估算；显存与 GPU 利用率用 nvidia-smi -l 1 实时观察，模型显存占用不足是推理失败的最常见原因。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>模型选型先看显存/统一内存：7B Q4_K_M 权重约 4.5GB，加上 KV cache 与系统开销，建议 16GB 起步；纯 CPU 跑 7B 只有个位数 token/s，体验很差。</li><li>Local API Server 没有任何鉴权：服务默认只绑定 127.0.0.1，切勿改为 0.0.0.0 直接暴露公网；内网共享也必须用反向代理加认证。</li><li>只认 GGUF：从 Hugging Face 下载的 safetensors 原始权重无法直接导入，需要先转换为 GGUF；模型本身的许可证独立于应用，商用前自查授权。</li><li>升级大版本前备份 ~/.jan：0.4.x 到 0.5.x 应用层重写过，数据目录结构有变化，先复制 ~/.jan 再升级，避免历史会话不可见；模型文件不会随卸载删除。</li></ul>

版本迭代

Jan 在 2023 年底以 Electron 原型起步，2024 年 0.5.x 全面重写为 Tauri 应用层 + Rust 推理引擎 Nitro，随后在 GPU 加速、模型市场、远程模型与 API 兼容性上持续增强。以下版本与时间整理自官方 GitHub Releases 与官方博客，个别早期版本的具体发布日期以仓库记录为准。

AI 应用场景

常见误区

面试题

参考来源

• webpageJan 官网产品主页、下载入口与功能总览