TLDR
只需要以下6行代码就能直接在本地运行属于你自己的LLaMa2 大模型。注意,需要M1或者以上芯片。
1 | xcode-select --install # 确保你下载了Git和C/C++ |
注意:HuggingFace可能有权限要求,直接执行会403,可以在网页端登录,到这个链接直接把模型下载下来放到 刚刚Clone的 llama.cpp 目录下的models目录里面。
原因
LLaMa2本身的模型不支持直接在Window或者Mac机器上调用,只能在Linux系统,支持N卡。
我们可以基于llama.cpp开源项目来Mac本地运行Llama 2。它从TheBloke的huggingface仓库下载Llama 7B Chat的4位优化权重,将其放入llama.cpp的模型目录中,然后使用Apple的Metal优化器来构建llama.cpp项目。
LLaMa-Chat-7B的权重应该可以在拥有8GB RAM的机器上运行(但如果你有16GB的RAM会更好)。像13B或70B这样的更大模型将需要更多的RAM。
Llama 2的非聊天权重也可以在这里找到,但是如果你想要一个更简单的聊天界面,那么更推荐使用聊天权重。
效果
- 能够理解中文,但只能用英文回答
- 强制要求它用中文回答,可以输出中文,但是好像温度有点高,给生成了相关内容。(产生幻觉了)
智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等,还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版,给你做心理咨询、给你讲故事、陪你玩文字游戏等。