AI头条--OpenAI首席科学家的无监督学习理论--Aug-Week4-2023

1.大模型动态

1.1 直接压缩一切！OpenAI首席科学家的无监督学习理论

OpenAI 首席科学家 Ilya Sutskever 作了一次讲座分享，主要观点一句话总结就是我们可以通过压缩的视角来看待无监督学习。此外他还分享了不少其它有趣的见解。

• 关于监督学习

  • 监督学习的优势在于能提供一个学习必定成功的精确数学条件。

  • 如果你有一些来自某数据分布的数据，并且你的训练数据足够多（多于数据分布的自由度），那么你的测试误差必定很低（前提是你能成功实现较低的训练损失）。

  • 有数学定理可以证明——“如果能在一类函数中找到能实现较低训练损失的函数，那么学习就必定成功”

• 关于无监督学习

  • 无监督学习目前没有数学理论支撑，只能做一些直觉推断。

  • 无监督学习是什么——即模型在不被告知数据内容的前提下观察数据并发现其中存在的真实有用的隐藏结构。

  • 实验中观察到的现象，当数据量较小时，不会出现无监督学习现象。

  • 压缩就是一种预测，每个压缩器都可以转换为一个预测器，反之亦然。全体压缩器与全体预测器之间存在一一对应关系。

  • 压缩器越好，其能提取出的共有结构就越多。

基于Kolmogorov 压缩，提出了一种描述无监督学习的数学表达，并探讨了背后可能得数学理论.常规 Kolmogorov 压缩（无需以某个数据集为条件）是「以最好的可能方式使用」无标注数据。这就是无监督学习的解。

自回归模型在线性表征方面的表现优于 BERT。但目前人们还不清楚其中的缘由。

Ilya Sutskever 在处理向量时会丢弃一些像素 token，通过兼顾地考虑一点过去和一点未来，模型实际上能得到相当好的预测结果。这样一来就去除了所有困难任务，任务的难度就下降了很多。给出了自己的推测：BERT 在处理向量时会丢弃一些像素 token，通过兼顾地考虑一点过去和一点未来，模型实际上能得到相当好的预测结果。这样一来就去除了所有困难任务，任务的难度就下降了很多。

1.2 GPT-3.5 Turbo 对企业客户开放微调

GPT-3.5 Turbo 对企业客户开放微调。早期测试证明，GPT-3.5 Turbo 微调版本的能力在一些小范围任务上可以媲美甚至超越基础 GPT-4 模型。OpenAI 表示，此次微调 API 的传入和传出数据完全归客户所有，它自己或任何其他机构都不能使用这些数据来训练其他模型。这一做法保证了客户数据的安全性和隐私性。

1.3 文本描述创建短动画的全自动方法

CMU 和 Snap 研究人员构建根据文本描述创建短动画的全自动方法 Text2Cinemagraph，输入类似于“一条河流在山前向右流，使用「星空」风格”，即可生成高质量视频。

目前，现有的单图像动画方法在艺术输入方面存在问题。而最新的基于文本的视频方法经常会造成时间上的不一致，难以保持某些区域的静态状态。为了应对这些问题，研究人员提出了一种新的想法，即通过单个文本提示来合成”图像孪生”，即一对艺术图像及其像素对齐的现实图像。艺术图像展现了文本提示中描述的风格和外观细节，而现实图像则简化了布局和运动分析。通过利用现有的自然图像和视频数据集，Text2Cinemagraph能够准确地将现实图像分割，并根据语义信息预测合理的运动方式。随后，这些预测的运动可以应用到艺术图像中，从而创造出最终的电影动画效果。

智写AI介绍

智写AI是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、写网络小说、写周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。