AI技术行业动态头条-- UC伯克利发布了一个与GPT-4同级的模型——Vicuna v1.5-- Aug-Week3-2023

1.大模型产业动态

1.1 Vicuna1.5发布

基于Llama 2模型，UC伯克利发布了一个与GPT-4同级的模型——Vicuna v1.5。该模型支持4K和16K上下文长度，并在多数基准测试中表现出色，获得了SOTA的成绩。从3月发布至今，Vicuna已迅速成为顶级的聊天LLM之一，尤其在多模态、AI安全和评估方面展现了前沿的研究成果。上个月，该模型在Hugging Face平台上的下载量已突破200万次，且得到了著名学者LeCun的关注和分享。

用户可以通过特定命令从Hugging Face下载并使用该模型，同时还有关于命令行界面推理和内存不足处理的详细指南。需要注意，使用16K版本需要transformers版本不低于4.31。

目前，已有在线demo供大家体验。

1.2 ChatMini

智能设备：丹麦音响品牌 Vifa 将推搭载 ChatGPT 和文心一言的音箱 ChatMini，主打高情商陪伴畅聊。

1. ChatMini 能联系上下文理解意图和生成更准确的答案；
2. 可根据输入语音内容自动生成文本风格和内容，包括撰写诗歌、歌词、代码、文章等；同时拥有人格特征，具有更丰富的情感表达，能给用户带来更真实和亲近的体验。
3. 售价 259 美金，合人民币 1800 元。

   感觉是华人创办的公司

1.3 小米发布新一代仿生机器人 CyberDog2

小米发布新一代仿生四足机器人 CyberDog 2。

1. 体重 8.9 kg，身高 36.7cm（vs 上一代重量减轻 40%，体积缩小 16%）。
2. CyberDog 2 基于小米自研的微电机系统 CyberGear，重量 317 克，最大扭矩 12N.m；响应时间 20 ms，目前可以保持平衡，前后空翻，玩滑板等。
3. 售价 12,999元。

2 大模型学术动态

2.1 一种高效的微调技术QLoRA

华盛顿大学的研究人员首次证明，在不损失模型性能的前提下，也可以微调量化的4位模型。

QLoRA的高效微调量化语言模型的方法。主要内容包括:

1. QLoRA利用4bit(INF4)量化在单GPU上就可以微调65B参数模型,效果接近16比特精度。
2. QLoRA通过一系列创新如4 Bit NormalFloat等来节省内存不损失性能。
3. 基于QLoRA微调的Guanaco模型在Vicuna基准测试上超过其他开源模型,达到ChatGPT 99.3%的表现。
4. 作者在8个指令数据集上微调了超过1000个模型,发现在小而高质量的数据集上QLoRA微调效果最好。
   

2.2 Meta 发布大语言评估模型- Shepherd(牧羊人)

目前开源社区的LLM，都是羊驼家族，为了让羊驼家族变得更好。Meta提出大语言评估模型- Shepherd(牧羊人)用于评估大模型的响应并提出改进建议。

1. Shepherd的设计目标是仔细检查模型的回复，识别其中的问题，并提出改进的替代方案。
2. 该工具使用了一个来自社区输入和人工注释的反馈数据集，通过与ChatGPT等突出的AI模型比较来展示其能力。
3. 根据Meta的数据，Shepherd在与其他模型的互动中保持了53%到87%的令人印象深刻的成功率。
   

Shepherd的出现可能会推动AI工具的进一步发展，使其更加完善，提供更好的答案，甚至可能掌握了理解人类微妙之处的艺术。

2.3 研究表明GPT-4插件大幅增强模型能力

来自纽约大学和德克萨斯大学奥斯汀分校的Ernest Davis和Scott Aaronson发表了一篇关于测试GPT-4与Wolfram Alpha和Code Interpreter插件在数学和科学问题上的表现的论文。作者设计了包含105道测试问题的三个题集,内容涵盖中学和大学课程,对GPT-4与插件的问题解决能力进行了测试。
研究发现,与单独的GPT-4相比,结合插件后的GPT-4在这类问题上的表现有显著提升,但仍存在一定困难,无法100%准确可靠地解决所有问题。从整体上看,GPT-4与插件的表现可达到本科生中等水平,但其优势和劣势与人类学生存在差异。GPT-4能解决一些复杂的问题,但在某些简单问题上也会失败。
但是，GPT-4与插件之间尤其是与Wolfram Alpha之间的接口仍需改进,GPT-4常难以将问题转换为插件可以处理的形式。此外,GPT-4没有充分利用插件的专业计算能力,没有将一些计算工作完全委托给插件,导致了一些可避免的错误。GPT-4在需要空间思维的问题和组合多种计算的问题上较弱,也难以处理极值。

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、写网络小说、写周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。