Meta-Llama-3–8B安装指南：本地运行AI模型的终极教程 (图文详解)

文章目录[隐藏]

Meta-Llama-3–8B安装指南：本地运行AI模型的终极教程 (图文详解)

Llama

Meta-Llama-3–8B安装指南：本地运行AI模型的终极教程 (图文详解)

过去一周真是惊喜连连。AI社区发布了多款备受瞩目的新模型：

StableLM-2–12B
WizardLM-2–7B ‍♂️
Meta-Llama-3–8B 和 70B

可能是因为 StableLM 的架构相对更复杂，至今还未推出其量化版本……但是，对于 WizardLM-2 和 Llama-3，我们在 Hugging Face 上已经可以看到 GGUF 模型二进制文件。

你需要准备什么

我们将使用 llama.cpp 库和 python 在本地快速启动模型。这只是一个初步的测试设置，虽然只有文本界面……但保证百分之百可行。

需要安装的依赖

我们只需安装两个库：

只使用CPU

创建一个新目录（我创建的是 TestLlama3），进入该目录，并打开终端窗口。

python -m venv venv


venv\\Scripts\\activate  # 激活虚拟环境

现在你已经拥有了一个干净的 Python 环境，我们将安装 llama-cpp-python 和 OpenAI 库：

pip install llama-cpp-python[server]==0.2.62
pip install openai

注意：之所以需要安装 OpenAI 库，是因为我们将利用 llama-cpp 附带的兼容 OpenAPI 服务器。这将为你未来的 Streamlit 或 Gradio 应用做好准备。

如果你有 Nvidia GPU

如果你拥有 NVidia GPU，在执行 pip 命令前，你需要设置编译器标志：

$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"
pip install llama-cpp-python[server]==0.2.62
pip install openai

从Hugging Face下载Llama-3–8B GGUF

这才是你真正需要的：以GGUF格式压缩的模型权重。

我尝试了几个版本，但截至目前，唯一一个配备了固定分词器和聊天模板的版本是这个库：

Meta-Llama-3-8B-Instruct-GGUF：https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF

前往HuggingFace的这个链接，点击“文件和版本”并选择Q2_K（仅3Gb）或Q4_K_M（4.9Gb）。第一个虽然不那么精确但速度更快，第二个在速度和精度上达到了较好的平衡。

在你的主项目目录中创建一个名为model的文件夹，并将GGUF文件下载到该文件夹内。

双终端策略

这里有个小技巧。最简单的方法是在一个终端窗口（激活虚拟环境后）运行 llama-cpp-server，在另一个终端窗口（同样激活虚拟环境后）运行与 API 交互的 python 文件。

因此，在主目录中打开另一个终端窗口并激活虚拟环境 venv。

Python文件

我们的 Python 文件（我称之为 Llama3-ChatAPI ）是一个文本界面程序。它接收我们的提示输入，并向API服务器发送/接收指令，然后获取响应。

这很方便，因为它完全独立于你正在使用的模型。让我们来看一看：

# 在你的终端与智能助手聊天
from openai import OpenAI


# 指向本地服务器
client = OpenAI(base_url="<http://localhost:8000/v1>", api_key="not-needed")

这里我们调用了 OpenAI 库，该库内置了标准API调用的类，我们实例化了客户端。

然后我们用第一对消息格式化消息历史：Python 字典的第一个条目是系统消息，第二个是用户提示，要求模型介绍自己。

history = [
    {"role": "system", "content": "你是一个智能助手。你总是提供既正确又有用的经过深思熟虑的回答。"},
    {"role": "user", "content": "你好，请向第一次打开这个程序的人介绍一下自己。请简洁明了。"},
]
print("\\033[92;1m")

这个奇怪的打印语句是一个ANSI转义码，用来改变终端颜色（如果你想了解更多，可以阅读这里：https://blog.stackademic.com/how-to-quickly-test-a-new-llm-without-wasting-time-17d1aa0ef858）。

现在我们开始一个while循环：基本上，我们总是请求用户的提示，并从我们的Meta-Llama-3–7B-instruct模型生成回复，直到我们说退出或退出。

while True:  
    completion = client.chat.completions.create(  
        model="local-model", # 这个字段目前未使用  
        messages=history,  
        temperature=0.7,  
        stream=True,  
    )  
  
    new_message = {"role": "assistant", "content": ""}  
      
    for chunk in completion:  
        if chunk.choices[0].delta.content:  
            print(chunk.choices[0].delta.content, end="", flush=True)  
            new_message["content"] += chunk.choices[0].delta.content  
  
    history.append(new_message)  
    print("\\"\\033[91;1m"  
    userinput = input("> ")  
    if userinput.lower() in ["quit", "exit"]:  
        print("\\033[0mBYE BYE!")  
        break  
    history.append({"role": "user", "content": userinput})  
    print("\\033[92;1m")

首次调用是为了完成聊天：实际上，我们已经有了一个关于模型的问题

“你好，请向第一次打开这个程序的人介绍一下自己。请简洁明了。”

我们使用了 Stream 方法，因此 Python 将在 API 调用发送响应令牌的同时开始逐个显示响应。

注意：如果你没有 GPU，这可能需要几秒钟的时间，具体取决于提示的长度

最后，我们请求用户输入以准备开始新一轮：我们将新的提示添加到现有的聊天历史（history）中，以便Llama3可以开始处理它。

开始运行

在第一个终端窗口，激活虚拟环境后运行以下命令：

# 仅使用CPU
python -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048


# 如果你有NVidia GPU
python -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048 --n_gpu_layers 28

这将启动与 OpenAI 标准兼容的 FastAPI 服务器。你应该会看到类似这样的东西：

服务器准备就绪时，Uvicorn会用美丽的绿色灯光消息通知你：

注意：我在这里只设置了2048个令牌作为上下文：实际上Llama3能够处理高达8192个令牌的上下文，但这同样也会消耗RAM或VRAM，所以我们暂时保持较低的设置（以免GPU崩溃）
注意2：这个8B参数模型实际上有33层，但我只将其中28层设置为GPU。试试看你自己能在不崩溃的情况下卸载多少层。
注意3：在这个例子中我使用的是Q2版本Meta-Llama-3–8B-Instruct.Q2_K.gguf。更换为Q4_K_M文件名以运行4位量化版本

创建另外一个终端，该窗口用于激活虚拟环境后运行