11月AI大事件回顾GPT3开放使用/女娲视觉大模型/AE文艺复兴/...

编 | iven

感谢提供本期内容的 ZenMoore、 jxyxiangyu、付瑶

大家好～ 11月的新闻速报来啦！上个月不知道大家有没有忙着写文章，反正小编是这样的：

好啦，让我们快来回顾上个月的 AI 大新闻吧！

学术进展

何恺明 Masked Autoencoders：自监督恢复原图就行

像 MLM 一样直接重构图片里的像素，竟然也能 work。这篇文章构建了不对称的自编码器，用来恢复图片中 mask 掉的像素。这样朴素的想法，在 ViT 盛行的今天，显得格格不入????

Yoshua Bengio 一作，长达 70 页：为主动学习拓展理论

在 NeurIPS 提出生成流网络（GFlowNets）之后，Yoshua Bengio 又为我们详细阐述了它的数学框架和数学性质。同时，对原始 GFlowNet 的理论进行了扩展。

https://arxiv.org/abs/2111.09266

Gradients are Not All You Need

梯度反传，可以说是过去几十年中机器学习复兴的主角。也正是 PyTorch TensorFlow 等自动微分库的出现，让越来越多的人进入机器学习领域。这篇工作讨论了在使用迭代可微系统时出现的一个潜在问题。

当通过迭代可微系统计算梯度时，我们需要计算由状态转换雅可比行列式的乘积组成的项。如果 Jacobian 的特征值大于 1，则梯度会爆炸。小于 1, 梯度则会消失。针对这个问题，文章给出了分析和解决方法。

https://arxiv.org/abs/2111.05803

ICLR 最高分文章

11 月 12 号，ICLR 出分，最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家关注：对比学习的方法在部分标签数据上学习（比如 n 类标签，只使用其中的 m 类数据训练）竟能超过全监督学习。

https://openreview.net/forum?id=EhYjZy6e1gJ

ViT 综述：引发原作者感慨

来自联想、中科院的团队发表了 A Survey of Visual Transformers。针对 CV 的分类、目标检测、语义分割三个任务，回顾了 100 ViT 模型。引发 ViT 作者本人感慨：这一年的进展我都没想到呢 :P

arxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625

女娲：通用视觉生成模型

MSRA 北大团队发表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。这个工作设计了一个 3D Transformer Encoder-Decoder，可以同时处理 3D(video)，2D(image)，1D(text) 的数据用于视觉生成任务。在文字生成图片任务上超过了 DALL-E。

arxiv.org/abs/2111.12417

业界新闻

OpenAI 取消 GPT-3 的等待名单

去年五月发布的 GPT-3 一直需要申请许可才能访问。11月18日，OpenAI 终于取消了等待名单机制，所有开发者都可以直接邮箱登录，使用 API。

Deepmind 登上 Nature 封面：给数学家提供启发

这篇文章探索了机器学习在识别数学结构和模式方面的潜力，并帮助数学家找到他们可能从未发现的发现——这是第一次证明人工智能可以在纯数学的前沿提供帮助。这个框架可以快速验证，两个量之间的关系是否值得研究。

https://www.nature.com/articles/d41586-021-03593-1
https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways

资源工具

Sebastian Ruder 最新 QA 教程

Sebastian Ruder 在 EMNLP 2021 的最新 tutorial，主题是 Multi-Domain Multilingual Question Answering。这可能是第一个包含“特定领域内”和“跨语言” QA 的教程。

教程主页：
https://github.com/sebastianruder/emnlp2021-multiqa-tutorial

幻灯片地址：
https://tinyurl.com/multi-qa-tutorial

读论文神器登顶 B 站热搜：沈向洋博士带大家读论文

在线论文阅读神器 ReadPaper 由沈向洋博士创办的 IDEA 旗下团队研发，其收录了近 2 亿篇论文，提供了提取图表、在线检索、翻译、做笔记等功能。页面中的论文速读功能中，很有可能会出现一位大佬，通过十个问题带你速读论文。

▲readpaper.com

https://www.bilibili.com/video/BV1dg411P7De

八卦趣事

完善的同行评议还有多远？

视频博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多轮打分结果之间的一致性，发现除了最优秀的很小一部分文章，其他文章在不同审稿人之间的评价几乎是完全随机的。

https://youtu.be/DEh1GR0t29k

萌屋作者：????????????????

在北大读研，目前做信息抽取，对低资源、图网络都非常感兴趣。希望大家在卖萌屋玩得开心 ヾ(=･ω･=)o

这篇好文章是转载于：学新通技术网