Jan是一款允许用户在自己的电脑上完全离线运行大型语言模型的本地 AI 软件。这款软件适用于 Windows、macOS 和 Linux 操作系统,通过利用用户自己的硬件资源(如 CPU 和显卡)来提供算力。Jan 作为一个免费的 ChatGPT 开源替代品,旨在为用户提供一个无需互联网连接、不产生额外费用的大语言模型使用环境。
软件特点:
- 支持多种硬件:包括 Nvidia GPUs、Apple M-series、Apple Intel、Linux Debian 和 Windows x64。软件还支持多 GPU 集群,允许用户根据自己的硬件配置调整算力和速度。
- 完全离线使用:Jan 保证了用户可以在完全脱离互联网的情况下使用大语言模型,增加了使用的隐私性和安全性。
- 兼容 OpenAI API:通过提供等效的 OpenAI API,并在本地 1337 端口直接调用,Jan 为开发者提供了极大的便利。
- 界面简洁易用:用户可以通过简单的界面选择并下载模型,实现快速启动和使用。
- 灵活的模型支持:除了可以从 Jan 提供的 Hub 选择并下载模型外,用户还可以手动导入模型或使用在线模型(远程服务器)。