AI技术行业动态头条 -- Aug-Week1-2023

DeepMind 推出全球首个控制机器人的视觉-语言-动作（VLA）模型 RT-2

RT-2 相当于机器人版 ChatGPT，结合思维链推理，可执行多阶段语义推理。RT-2 基于网络和机器人数据训练，利用 Bard 等 LLM 研究进展，并与机器人数据结合，还可以理解英语以外的指令。该工作建立在Robotic Transformer 1（RT-1）基础上，保留了机器人在原始任务上的性能，并将机器人在未见过场景中的性能提高到 62%（RT-1 为 32% ）。

谷歌 Research 和 DeepMind 共同发布多模态生成模型 Med-PaLM M，是首个全科医疗大模型

该模型基于谷歌自建的多模态医学测试基准 MultiMedBench 进行指令微调，在 14 项测试任务中均接近或超过现有 SOTA（前提是所有任务都使用一组相同的模型权重）.

• 原文摘要

  Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.

• 文章摘要翻译如下：

医学本质上是多模态的,拥有丰富的文本、图像、基因组等多种数据模态。能够在大规模上灵活编码、整合和解释这些数据的通用生物医学人工智能系统,潜在地可以支持从科学发现到医疗照护等范围广泛的高影响力应用。为了推动这类模型的开发,我们首先整理了一个新的多模态生物医学基准测试集MultiMedBench。MultiMedBench涵盖了14项各异的任务,如医学问答、乳腺X光和皮肤病图片解释、放射科报告生成和总结,以及基因组变异检测等。然后,我们提出了Med-PaLM多模态系统(Med-PaLM M)作为通用生物医学AI系统的概念验证。Med-PaLM M是一个大规模的多模态生成模型,可以用单一模型权重灵活地对包含临床语言、医学图像和基因组在内的多种生物医学数据进行编码和解释。在MultiMedBench的所有任务上,Med-PaLM M都达到了竞争或超过当前状态的表现,并且通常大幅超过专业模型。我们还报告了对新医学概念和任务的零示例泛化、任务间的正向迁移学习和新兴的零示例医学推理等。为进一步探究Med-PaLM M的能力和局限性,我们进行了放射科医生对模型生成(和人类)胸部X光报告的评估,并观察到了不同模型规模下的可喜表现。在246例回顾性胸部X光的并排排名中,临床医生表达了在高达40.50%的情况下更偏好Med-PaLM M的报告而不是放射科医生的报告,这表明潜在的临床价值。尽管还需要大量工作来验证这些模型在真实使用案例中的表现,但我们的结果代表了发展通用生物医学AI系统的一个重要里程碑。

亚马逊推出七项生成式AI新功能

AWS表示，借助这些新功能，来自千行百业的企业都能更专注于核心业务，提高生产效率，充分释放数据价值和生成式 AI 的潜力。

1. 全托管基础模型服务 Amazon Bedrock：新增基础模型供应商 Cohere ，加入 Anthropic（Claude 2 模型） 和 Stability AI 全新基础模型，以及全新代理（Agents）功能，助力基础模型完成复杂任务（如更新订单或管理交易）；
2. Amazon Elastic Compute Cloud (Amazon EC2) P5 实例正式可用，搭载 NVIDIA H100 GPU，满足高性能需求，减少训练成本，加速生成式 AI 和高性能计算应用；（
3. 编程助手 Amazon CodeWhisperer 与 Amazon Glue 实现集成；
4. Amazon OpenSearch Serverless 支持全新向量引擎；
5. Amazon QuickSight 新增生成式 BI 功能，将可创建可视化图表、使用自然语言微调和格式化图表效果、使用自然语言创建计算任务（该功能暂未上线）；
6. 分析服务 Amazon Entity Resolution 正式可用，可帮助企业分析、匹配和关联存储在不同应用程序、不同数据存储中的记录，帮助企业提升数据质量，获取客户洞察
7. 智慧医疗新服务 Amazon HealthScribe ，支持创建记录、提取关键信息、摘要等功能，助力提升医疗行业生产效率。

AIGC 对话数据集

哥伦比亚大学联合Salesforce贡献了一个的统一的对话数据集 DialogStudio。DialogStudio 涵盖开放域对话（Open-domain dialogues）、任务导向的对话（Task-oriented dialogues）、自然语言理解（Natural language understanding）、对话式推荐（Conversational recommendation）、对话摘要（Dialogue summarization）与知识驱动的对话（Knowledge-grounded dialogues）等多个领域的数据，包含近 80 个子数据集。覆盖领域包含餐饮、电影、航空、金融、媒体等众多与日常生活相关的对话数据。如下图左可以看到，DialogStudio 几乎支持对话领域的所有任务，可以极大的帮助对话领域模型与大规模语言预训练模型的研究工作。

AI Agent-MetaGPT

深度赋智创发布 MetaGPT 项目，目前星标 8.6k。MetaGPT 将所有代码写成项目的过程进行了「流水线生产」，过程中基本不需要人再进行操作，能够初步实现一句话自动编写一个比较简单的软件项目

这个项目的目标是让像GPT-4这样的大模型们自己组建一个软件公司，不仅能实现公司自动更新，就连公司里面的员工也全部换成大模型。换而言之，从老板到产品经理、架构师、项目经理和工程师，设计产品到写代码的活儿全部由GPT-4等一众LLM实现。

完成一个项目的费用（调用大模型API的费用），只需要几美元。
MetaGPT目前已经能实现一句话自动编写一个比较简单的软件项目。

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。