Llama 3.2 AI大模型 本地部署、搭建、安装教程，支持1B、3B、11B、90B 模型 包括视觉大语言模型和设备端

可能你不知道什么是AI大语言模型，但是你一定知道ChatGPT，没错ChatGPT就是一个优秀的AI大语言模型！但是ChatGPT的大语言模型并不是开源的，使用ChatGPT对很多人来说还是有一定的门槛的！那有有没有开源的可以免费使用的甚至可以部署在本地的AI大语言模型呢？答案是有的！

今天我们介绍的这个“Meta LlaMA 3大语言模型”就是一个免费开源而且非常强大的可以本地部署的AI大语言模型！这个AI大语言模型由大名鼎鼎的Meta公司推出，没错，meta就是我们耳熟能详的Facebook改名之后的公司！

“Meta LlaMA 2大语言模型”不仅免费开源，还可以用来做微调，甚至做商用都完全没有问题！这格局比起OpenAI来是不是一下子就打开了？！

目前，Meta推出了7B（70亿参数）、13B（130亿参数）和70B（700亿参数）三个不同规则的大模型，理论上来说模型越大精度越高，但是运行所耗的GPU资源也越多！一般情况下，建议使用13B的模型就足够精确了！

Llama 3.2是Meta最新推出的开源大语言模型，包括90B和11B两种参数规格的视觉大语言模型，还有能在设备端本地运行的1B和3B轻量级纯文本模型，包括预训练和指令调整版。1B和3B模型支持128K tokens上下文，适配高通和联发科硬件，并针对Arm处理器做了优化。

Llama 3.2主要特性

• 轻量级文本模型：1B 和 3B 模型专为移动和边缘设备设计，具备较小的模型尺寸，但依然提供强大的文本生成和处理能力。支持 128K tokens 的大上下文处理，适合文本总结、重写和指令跟随等任务。
• 视觉模型：11B 和 90B 模型能够处理图像理解任务，支持多模态任务（图像与文本结合），例如文档理解、图像生成描述、视觉推理和目标识别。该模型通过图像编码器与语言模型集成，能够处理复杂的视觉问题。
• 本地处理与隐私保护：Llama 3.2 模型可以在设备上本地运行，极大减少了数据传输延迟，并增强了数据隐私保护。这使其特别适用于需要高效处理和高隐私要求的场景，例如手机、平板和物联网设备。
• 开放和可定制性：Llama 3.2 强调开放性，允许开发者自由下载、修改和定制模型，适应各种不同的应用需求。用户可以根据需要使用开源工具进行微调，如 torchtune（微调）和 torchchat（部署）。
• 广泛硬件支持：Llama 3.2 对 Qualcomm、MediaTek 和 Arm 等移动硬件平台进行了优化，使其可以在绝大多数现代设备上高效运行。此外，还支持 AMD、NVIDIA、Intel、AWS、Google Cloud 等主流云平台和硬件。
• Llama Stack 开发工具：Llama 3.2 提供了一整套工具（Llama Stack），包括 CLI、API 和 Docker 容器，帮助开发者在不同的环境中轻松部署模型，支持从单节点到云端的多种部署方式。
• 高效模型压缩与知识蒸馏：Llama 3.2 通过模型修剪和知识蒸馏技术来压缩模型，减小了模型的尺寸而不牺牲其性能。这一优化使得 1B 和 3B 模型可以在资源有限的设备上高效运行。
• 多语言支持：Llama 3.2 在多语言生成和工具调用方面表现出色，能够处理多种语言的文本生成和理解任务，适用于全球化应用场景。
• 安全性增强：Llama 3.2 配备了 Llama Guard，这是一套保护系统，能够过滤不适当的输入和输出，确保模型在文本和图像处理时保持安全与负责。

一、Meta LlaMA 3本地安装

一、模型下载

1、官方下载

可以从官方的huggingface进行模型的下载，不过除了需要注册一个huggingface账号之外，你还需要向Meta发出一个申请，申请审核通过的时间不定；

2、中文社区

Llama中文社区是一个基于Llama2的专门的中文语言社区，除了官方的基础大模型，中文社区还发布了在基础模型的基础上进行训练和微调的Atom-7B模型，是一个基于Llama2架构的预训练语言模型，将基于大规模中文语料，从预训练开始对Llama2模型进行中文能力的持续迭代升级。

3、国内网盘

a、Llama3 下载

序号	模型名称	下载地址
01	Llama-3.2-1B	https://huggingface.co/meta-llama/Llama-3.2-1B
02	Llama-3.2-3B	https://huggingface.co/meta-llama/Llama-3.2-3B
03	Llama-3.2-1B-Instruct	https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct
04	Llama-3.2-3B-Instruct	https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct
05	Llama-Guard-3-1B	https://huggingface.co/meta-llama/Llama-Guard-3-1B
06	Llama-Guard-3-1B-INT4	https://huggingface.co/meta-llama/Llama-Guard-3-1B-INT4
07	Llama-3.2-11B-Vision	https://huggingface.co/meta-llama/Llama-3.2-11B-Vision
08	Llama-3.2-11B-Vision-Instruct	https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct
09	Llama-3.2-90B-Vision	https://huggingface.co/meta-llama/Llama-3.2-90B-Vision
10	Llama-3.2-90B-Vision-Instruct	https://huggingface.co/meta-llama/Llama-3.2-90B-Vision-Instruct
11	Llama-Guard-3-11B-Vision	https://huggingface.co/meta-llama/Llama-Guard-3-11B-Vision

b、Llama2 下载

序号	模型名称	下载地址
01	Llama2-7B官网版本：	https://pan.xunlei.com/s/VN_kR2fwuJdG1F3CoF33rwpIA1?pwd=z9kf
02	Llama2-7B-Chat官网版本：	https://pan.xunlei.com/s/VN_kQa1_HBvV-X9QVI6jV2kOA1?pwd=xmra
03	Llama2-13B官网版本：	https://pan.xunlei.com/s/VN_izibaMDoptluWodzJw4cRA1?pwd=2qqb
04	Llama2-13B-Chat官网版本：	https://pan.xunlei.com/s/VN_iyyponyapjIDLXJCNfqy7A1?pwd=t3xw
05	Llama2-7B Hugging Face版本：	https://pan.xunlei.com/s/VN_t0dUikZqOwt-5DZWHuMvqA1?pwd=66ep
06	Llama2-7B-Chat Hugging Face版本：	https://pan.xunlei.com/s/VN_oaV4BpKFgKLto4KgOhBcaA1?pwd=ufir
07	Llama2-13B Hugging Face版本：	https://pan.xunlei.com/s/VN_yT_9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf
08	Llama2-13B-Chat Hugging Face版本：	https://pan.xunlei.com/s/VN_yA-9G34NGL9B79b3OQZZGA1?pwd=xqrg
09	Llama2-70B-Chat Hugging Face版本：	https://pan.xunlei.com/s/VNa_vCGzCy3h3N7oeFXs2W1hA1?pwd=uhxh#
10	CodeLlama-7b官网版本：	https://pan.baidu.com/s/1cIPzdNywWLvQI7_2QanOEQ?pwd=zfwi
11	CodeLlama-7b-Python官网版本：	https://pan.baidu.com/s/1liY8klGoDagYbpw-g-oFag?pwd=i952
12	CodeLlama-7b-Instruct官网版本：	https://pan.baidu.com/s/108o9_DT2E_vfSGtOnDCQVw?pwd=zkt9
13	CodeLlama-13b官网版本：	https://pan.baidu.com/s/1lLaeHv0XEBv0iiZzI1dpnw?pwd=qn99
14	CodeLlama-13b-Python官网版本：	https://pan.baidu.com/s/1OLVfvZS_oqL3oqMKwsI87w?pwd=a78k
15	CodeLlama-13b-Instruct官网版本：	https://pan.baidu.com/s/1HyxJl4w8wElgkZRh2ATrXQ?pwd=seg6
16	CodeLlama-34b官网版本：	https://pan.baidu.com/s/10d9rL5QUNSieXrTtY_Jd4A?pwd=7jev

4、微调版本

类别	模型名称	🤗模型加载名称	基础模型版本	下载地址
合并参数	Llama2-Chinese-7b-Chat	FlagAlpha/Llama2-Chinese-7b-Chat	meta-llama/Llama-2-7b-chat-hf	模型下载
合并参数	Llama2-Chinese-13b-Chat	FlagAlpha/Llama2-Chinese-13b-Chat	meta-llama/Llama-2-13b-chat-hf	模型下载
LoRA参数	Llama2-Chinese-7b-Chat-LoRA	FlagAlpha/Llama2-Chinese-7b-Chat-LoRA	meta-llama/Llama-2-7b-chat-hf	模型下载
LoRA参数	Llama2-Chinese-13b-Chat-LoRA	FlagAlpha/Llama2-Chinese-13b-Chat-LoRA	meta-llama/Llama-2-13b-chat-hf	模型下载

基于Llama2的中文预训练模型Atom

中文社区提供Atom-7B模型的开放下载，模型参数会持续不断更新，关于模型的进展详见社区官网llama.family。

模型名称	🤗模型加载名称	下载地址
Atom-7B	FlagAlpha/Atom-7B	模型下载

二、模型安装

有些模型是单个文件，可以直接放在“\oobabooga_windows\text-generation-webui\models”文件夹中；
有些模型包含了多个文件，则将这些文件放在一个单独的文件夹，再放在“\oobabooga_windows\text-generation-webui\models”文件夹中；

点击webui界面的刷新按钮，即可识别所有有效的模型