AI技术行业动态头条 -- Jul-Week2-2023

Meta开源LLaMA2，免费可商用，各项得分远超第一代LLaMA，一夜之间大模型格局改变！

一直以来 LLaMA 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。

Meta 终于发布了大家期待已久的免费可商用版本 LLaMA2。
LLaMA2简介：

• LLaMA2模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。
• 在超过2万亿tokens数据集上训练。官方对齐微调的结果称为LLaMA2-Chat系列，专门针对场景优化。
• LLaMA2-Chat模型在微软测试的大多数基准测试中胜过开源聊天模型。
• 和LLaMA1相比：
  • Llama 2 模型接受了 2 万亿个tokens的训练（1T -> 2T），上下文长度是 Llama 1 的两倍（2k -> 4k）。
  • Llama-2-chat 模型还接受了超过 100 万个新的人类注释的训练。
  • Llama 2训练语料相比LLaMA多出40%。
  • 使用分组查询注意力 (GQA) 来提高更大模型的推理可扩展性。
    

LLaMA2的训练信息:

• LLaMA2的训练时间为2023年1月至2023年7月。且是一个纯文本模型，仅接受文本输入和文本的输出。
• 预训练过程中，Meta估计使用了总计33万GPU小时的计算，硬件类型为A100-80GB（功耗为350-400W）。

LLaMA2模型架构：

• LLaMA2是一种优化的自回归语言模型。
• 微调版本使用监督微调（SFT）和人工反馈强化学习（RLHF）来对齐人类对实用性和安全性的偏好。
  

LLaMA2训练数据：

• LLaMA2是在来自公开可用来源的2万亿tokens数据上进行的预训练。
• 微调数据包括公开可用的指令数据集，以及超过100万个新的人工注释示例。
• 预训练和微调数据集均不包含Meta用户数据。
• 预训练数据的截止日期为2022年9月，但某些微调数据更近，最新的可达到2023年7月。

LLaMA2的评估结果：

• Llama 2 在许多外部基准测试中都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试。
• LLaMA2 70B 与 GPT3.5 在各类主流测评中得分相差很小，仅次于 GPT4 和 PaLM2 两个顶级大模型，LLaMA 2 与 GPT3.5 的 差距主要在编程能力。
• Llama 2 中的训练数据中90%是英文，这意味着其在英语用例中表现最佳；另有9%的未知类别大部分由编程代码数据组成。

LLaMA2开源的影响：

• 开源社区中，LLaMA2 的优化版本层出不穷。

  截至 7 月 22 日，Hugging face 社区名称中包含 LLaMA2 的大模型已经超过 400 个，其中包含众多极具特色的版本，如能够在 AMD 5600X 本地运行的 LLaMA2 7B GGML 等。（https://huggingface.co/models?other=llama-2）

• LLaMA 2 有望联合科技巨头建立强大开源生态。

  微软和 Meta 公司通过 Azure 和 Windows 平台上的 Llama 2 扩展其人工智能合作伙伴关系。

  高通和Meta正在合作优化Meta Llama 2大语言模型直接在终端侧的执行， 无需仅依赖云服务。

  AWS 上线 LLaMA 2 并提供 SageMaker JumpStart（AWS提供给用户的快速构建、训练并部署模型的服务）相关功能。

• 全球AI开发者再度迎来模型平权的黄金时点。

  开源社区正在较大幅度降低大模型的开发成本；开源社区的开发浪潮会让具备基础能力的大模型普及化，以后用户可能会非常便宜地使用私有化大模型。

链接：论文| 开源地址 | HuggingFace| 项目主页| 技术报告

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、写网络小说、写周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。