AI头条-- 开源代码解释器让ChatGPT更智能 --Sep-Week2-2023

1.大模型动态

1.1 开源代码解释器让ChatGPT更智能

开源代码解释器 Open Interpreter 可在本地环境中运行，可以访问互联网，对文件大小和运行时间没有限制，并且可以利用任何包或库。在调用 GPT-4 API 时，Open Interpreter 可以让 GPT-4 在本地环境（或在 Google Colab）中执行 Python 代码。借助 Open Interpreter，用户仅使用自然语言就能操控计算机完成各种任务，包括摘要总结 PDF，可视化数据集，控制浏览器。与OpenAI的Code Interpreter相比，Open Interpreter在本地环境上运行，具有更多的灵活性和功能，可以访问互联网、不受时间或文件大小限制，并且可以使用任何包或库。

1.2 Medusa:美杜莎–一个全新的简单多头加速框架

普林斯顿、UIUC等机构提出简单框架 Medusa，通过训练多个解码头，可 LLM 推理速度翻倍。通过Medusa的优化，33B参数的Vicuna模型可以像13B模型一样迅速运行。

Karpathy曾多次提出，大模型「推测生成」对于推理时间优化是一个出色的方案，能够加速生成速度。由于推测生成其太过复杂，并没有被许多开发者采用。自普林斯顿、UIUC等机构的华人团队提出了全新的框架：Medusa（美杜莎）

Medusa是一个简单的框架，通过多个解码头来加速LLM生成。它通过添加额外的“头”到LLM中，同时预测多个未来的标记。在训练期间，只有新的解码头会进行微调，原始模型保持不变。在生成过程中，这些解码头为每个位置产生多个可能的单词选项，并使用基于树的注意机制进行组合和处理。最后，使用典型的接受方案从候选项中选择最长的可行前缀进行进一步解码。

Medusa的目标是通过实现以下想法来解决与推测解码相关的挑战：不引入新的模型，而是在同一模型上训练多个解码头；训练过程对参数非常高效，即使是“GPU贫穷”的设备也可以进行；放宽对原始模型分布匹配的要求，使得非贪婪生成比贪婪解码更快。

在初始版本中，Medusa主要针对批量大小为1的情况进行了优化，并在一系列Vicuna模型上实现了大约2倍的速度提升。他们正在积极努力将Medusa整合到其他推理框架中，以实现更大的性能提升和扩展到更广泛的设置。

1.3 Meta 正在加紧开发新的大语言模型

据报道，Meta 正在加紧开发新的大语言模型，比两个月前发布的Llama 2模型更强大几倍，能力完全对标 GPT-4，预计将于明年推出。新的大语言模型将比 Llama 2 大数倍，而且大概率还是会开源，支持免费商用。开源模型也存在一些潜在的风险和问题，包括版权保护和滥用强大功能的可能性。

1.4 Google 提出一种优化方法 OPRO

Google DeepMind 提出一种优化方法 OPRO（Optimization by PROmpting），用自然语言来描述优化任务。在每个优化步骤中，LLM 以前一步生成的解决方案及其分数作为提示，生成新的解决方案；然后对新解决方案进行评估，并将其添加到下一个优化步骤的提示中。
研究者对多个 LLM 进行了综合评估，包括 PaLM-2 模型家族中的 text-bison 和 Palm 2-L，以及 GPT 模型家族中的 gpt-3.5-turbo 和 gpt-4 。实验在 GSM8K 和 Big-Bench Hard 上对提示进行了优化，结果表明经过 OPRO 优化的最佳提示在 GSM8K 上比人工设计的提示高出 8%，在 Big-Bench Hard 任务上比人工设计的提示高出高达 50%

• OPRO通过在每个优化步骤中生成新的解，并对其进行评估和添加到提示中来实现优化任务 👏
• OPRO在线性回归和旅行商问题上展示了其应用价值 🌟
• OPRO还可用于优化提示，目标是找到最大化任务准确性的指令 💪
• OPRO优化得到的最佳提示在GSM8K上比人工设计的提示提高了8%，在Big-Bench Hard任务上提高了50% 📈

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、写网络小说、写周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。

智写AI PC站支持上传文件，和文件对话聊天了。支持的格式包括TXT、PDF、Word等等，最多支持一次性上传5个文件，每个最多5MB。

这样一来，你就可以让AI帮你总结文章内容，帮你读论文，帮你理解各种公文文件。大幅提升您的学习、办公效率！