6行代码就能在Mac上跑LLaMa2模型

TLDR

只需要以下6行代码就能直接在本地运行属于你自己的LLaMa2 大模型。注意，需要M1或者以上芯片。

xcode-select --install # 确保你下载了Git和C/C++
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
curl -L https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_K_M.bin --output ./models/llama-2-7b-chat.ggmlv3.q4_K_M.bin 
LLAMA_METAL=1 make
./main -m ./models/llama-2-7b-chat.ggmlv3.q4_K_M.bin -n 1024 -ngl 1 -p "Give me a list of things to do in BeiJing"

注意：HuggingFace可能有权限要求，直接执行会403，可以在网页端登录，到这个链接直接把模型下载下来放到 刚刚Clone的 llama.cpp 目录下的models目录里面。

原因

LLaMa2本身的模型不支持直接在Window或者Mac机器上调用，只能在Linux系统，支持N卡。

我们可以基于llama.cpp开源项目来Mac本地运行Llama 2。它从TheBloke的huggingface仓库下载Llama 7B Chat的4位优化权重，将其放入llama.cpp的模型目录中，然后使用Apple的Metal优化器来构建llama.cpp项目。

LLaMa-Chat-7B的权重应该可以在拥有8GB RAM的机器上运行（但如果你有16GB的RAM会更好）。像13B或70B这样的更大模型将需要更多的RAM。

Llama 2的非聊天权重也可以在这里找到，但是如果你想要一个更简单的聊天界面，那么更推荐使用聊天权重。

效果

• 能够理解中文，但只能用英文回答

• 强制要求它用中文回答，可以输出中文，但是好像温度有点高，给生成了相关内容。（产生幻觉了）

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。