Alpaca Electron羊驼AI本地GUI

动态 作者:杨帆 2023-05-31 02:05:47

Alpaca Electron 旨在成为与 Alpaca 羊驼 AI 模型聊天的最简单方式,无需任何命令行或编译。

功能 + 待办事项

  • 在您的计算机上本地运行,除下载模型外不需要互联网连接

  • 紧凑高效,因为它使用 llama.cpp 作为后端(也支持 Alpaca & Vicuna)

  • 在 CPU 上运行,任何人都可以在没有昂贵显卡的情况下运行它

  • 不需要外部依赖,一切都包含在安装程序中

  • 从流行的聊天 AI “借来” 的 UI

  • 支持 Windows、MacOS 和 Linux(未经测试)

  • Docker 化

  • 上下文记忆

  • 聊天记录 未完成

  • 与稳定扩散整合 未完成

  • 用于 Web 访问的 DuckDuckGo 集成 未完成

  • GPU 加速(cuBLAS 和 openBLAS)未完成

快速入门指南

下载一个 Alpaca 模型(推荐 7B native)并将其放在计算机上容易找到的地方。

注意此存储库中不会提供下载链接。

从发布页面部分下载最新的安装程序。

打开安装程序并等待它安装。

安装完成后,它会询问模型的有效路径。现在,转到放置模型的位置,按住 Shift 键,右键单击文件,然后单击 “复制为路径”。然后,将其粘贴到该对话框中并单击 Confirm。

程序会自动重启。现在您可以开始聊天了!

注意该程序还将接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件,您可以使用它们代替快速入门指南中推荐的文件来试验不同的模型。一如既往,小心您从互联网上下载的内容。

故障排除

通用

如果在将路径粘贴到模型文件时出现 “无效文件路径” 错误,则可能是其中存在某种拼写错误。尝试再次复制路径或使用文件选择器。

如果您收到 “无法加载模型” 的错误消息,则您的模型可能已损坏或不兼容。尝试再次下载模型。

如果您遇到此处未列出的其他问题或问题,请在本页顶部的 “问题” 选项卡中创建问题。详细描述发生了什么,并附上屏幕截图。

windows

如果模型已加载到 RAM 但文本生成似乎没有开始,请检查您的 CPU 是否与 AVX2 指令集兼容。如果它不支持 AVX2,Alpaca Electron 将使用 AVX 代替,这会慢很多,请耐心等待。

如果您收到一条错误消息 “vcruntime140_1.dll is missing” 或什么都没有发生并且模型未加载到 RAM 中,请尝试安装 Microsoft Visual C++ Redistributable 。

苹果系统

如果您收到一条错误消息 “无法打开应用程序,因为它来自身份不明的开发人员。”,请转到 “应用程序” 文件夹。然后,按住控制键并单击该应用程序。然后单击 “打开”,然后在出现警告时单击 “打开”。您的首选项将被保存,MacOS 将允许您从现在开始正常打开应用程序。

如果上述方法不起作用,请尝试在终端中运行以下命令:xattr -cr /Applications/Alpaca\ Electron.app/

Linux

您可以从发布页面下载预构建的应用程序(打包为 tar.gz),解压缩并执行它,./"alpaca electron" 或者自己构建应用程序。

如果您想自己构建应用程序:

克隆存储库:

git clone https://github.com/ItsPi3141/alpaca-electron.git

将当前目录更改为 alpaca-electron:

cd alpaca-electron

安装特定于应用程序的依赖项:

npm install --save-dev

构建应用程序:

npm run linux-x64

将当前目录更改为构建目标:

cd release-builds/'Alpaca Electron-linux-x64'

运行应用程序./'Alpaca Electron'

docker 组成

您可以使用 docker compose 运行此电子应用程序。因此,您需要完成以下步骤:

克隆存储库:

git clone https://github.com/ItsPi3141/alpaca-electron.git

将当前目录更改为 alpaca-electron:

cd alpaca-electron

构建容器镜像:

docker compose build

运行应用程序容器:

docker compose up -d

如果没有窗口打开运行 docker compose up(没有 -d)。如果出现类似在您的 docker 主机上 Authorization required, but no authorization protocol specified 运行的错误。xhost local:root


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接