AI头条-- Mistral AI开源MoE 8x7B --Dec-Week2-2023

Mistral AI开源MoE 8x7B

Mistral AI于社交平台X发布开源模型MoE 8x7B,提供了一个87G种子文件链接。MoE 8x7B使用了与 GPT-4 非常相似的架构,但是「缩小版」:采用基于decoder-only架构的稀疏专家混合网络,8 个专家,而不是16个 ;46.7B 总参数而不是 1.8T;实际执行速度和所需的成本都只相当于一个 12.9B 的模型。MoE 8x7B支持英、法、意大利、德语和西班牙语,支持与原始 GPT-4 相同的 32K 上下文。

团队自豪地发布了Mixtral 8x7B,这是一个高质量的稀疏专家混合模型(SMoE),具有开放权重。根据Apache 2.0许可。Mixtral在大多数基准测试中比Llama 2 70B表现更好,推理速度提升了6倍。它是具有宽松许可证的最强大的开放权重模型,也是在成本/性能权衡方面最好的模型。特别是,在大多数标准基准测试中,它与GPT3.5相匹配或表现更好。

image.png

image.png

image.png

测评结果表明,Mixtral 8x7B已达到甚至超越了Llama 2 70B和GPT-3.5的水平。目前Mistral官方已宣布上线API服务,不过仍然是邀请制。值得注意的是,API分为三个版本,此次公布的MoE 8x7B算是小号(Mistral-small),还有更大的版本Mistral-medium,对应模型尚未公布。

谷歌推出Gemini家族大模型

谷歌推出了名为Gemini的AI模型,它是他们迄今为止最强大和通用的模型,能够跨多种信息类型进行理解和操作。Gemini在多个领域的性能超越了现有的模型,并具有先进的多模态推理能力,可以应用于复杂的任务,如文本理解、图像识别和编程等。谷歌将逐步在其产品和平台中推出Gemini,以帮助人们更好地利用AI技术。
image.png

谷歌宣称Gemini 比 GPT4 还要强。但是被证明宣传材料有所作假。
根据社交媒体的测试发现,谷歌中文采用了百度文心一言的数据。
image.png

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等,还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版,给你做心理咨询、给你讲故事、陪你玩文字游戏等。