CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

一年一度的CVPR即将在6月18-22日加拿大温哥华正式开幕。

每年,来自世界各地的成千上万的CV研究人员和工程师聚集在一起参加顶会。这个久负盛名的会议可以追溯到1983年,它代表了计算机视觉发展的巅峰。

目前,CVPR的h5指数所有会议或出版物中位列第四,仅次于《自然》、《科学》和《新英格兰医学杂志》。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

前段时间,CVPR公布了论文接收结果。根据官网上统计数据,一共接受论文9155篇,录用2359篇,接受率为25.8%。

此外,还公布了12篇获奖候选论文。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

那么,今年的CVPR有哪些亮点?从录用论文中我们又能看到CV领域有哪些趋势?

接下来一并揭晓。

CVPR一览

初创公司Voxel51就所有被接收论文列表中进行了分析。

先来整体看一张论文标题的汇总图,每个字的大小与数据集中出现的频率成正比。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

简要说明

– 2359篇论文被接收(9155份论文提交)

– 1724篇Arxiv论文

– 68份文件提交到其他地址

每篇论文的作者

– CVPR论文的平均作者约为5.4人

– 论文当中作者最多的是: 「Why is the winner the best?」有125位作者

– 有13篇论文只有一个作者。

主要Arxiv分类

在1724篇Arxiv论文中,有1545篇,或者说接近90%的论文将cs.CV列为主要类别。

cs.LG位列第二,有101篇。eess.IV (26)和 cs.RO (16)也分得一杯羹。

CVPR 论文的其他类别包括: cs.HC,cs.CV,cs.AR,cs.DC,cs.NE,cs.SD,cs.CL,cs.IT,cs.CR,cs.AI,cs.MM,cs.GR,eess.SP,eess.AS,math.OC,math.NT,physics.data-an和stat.ML。

「Meta」数据

– 「数据集」和「模型」这2个词共同出现在567篇摘要中。「数据集」在265篇论文摘要中单独出现,而「模型」则单独出现了613次。只有16.2%的 CVPR接收论文没有包含这两个词。

– 根据CVPR论文摘要,今年最受欢迎的数据集是ImageNet(105),COCO(94),KITTI(55)和CIFAR(36)。

– 28篇论文提出了一个新的「基准」。

缩写词比比皆是

似乎没有首字母缩略词就没有机器学习项目。2359篇论文中,1487篇的标题有多个大写字母的缩略词或复合词,占比63%。

这些首字母缩略词中有一些很容易记住,甚至可以脱口而出:

– CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal PoseCLAMP

– PATS: Patch Area Transportation with Subdivision for Local Feature Matching

– CIRCLE: Capture In Rich Contextual Environments

有些则要复杂得多:

– SIEDOB: Semantic Image Editing by Disentangling Object and Background

– FJMP: Factorized Joint Multi-Agent Motion Prediction over Learned Directed Acyclic Interaction GraphsFJMP

他们中的一些人似乎在首字母缩略词构建上借鉴了别人的创意:

– SCOTCH and SODA: A Transformer Video Shadow Detection Framework(荷兰流行潮牌Scotch & Soda)

– EXCALIBUR: Encouraging and Evaluating Embodied Exploration(Ex咖喱棒,笑)

什么最热?

除了2023年的论文标题,我们抓取了2022年所有接受的论文标题。从这两个列表中,我们计算了各种关键词的相对频率,从让大家对什么是上升趋势、什么是下降趋势有更深入的了解。

模型

2023年,扩散模型(Diffusion models)占据了主导地位。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

扩散模型

随着Stable Diffusion和Midjourney等图像生成模型的走红,扩散模型发展的火热趋势也就不足为奇了。

扩散模型在去噪、图像编辑和风格转换方面也有应用。把所有这些加起来,到目前为止,它是所有类别中最大的赢家,比去年同期增长了573% 。

辐射场

神经辐射场(NERF)也越来越受欢迎,论文中使用单词「radiance」增加了80% ,「NERF」增加了39% 。NeRF已经从概念验证转向编辑、应用和训练过程优化。

Transformers

「Transformer」和「ViT」的使用率下降并不意味着Transformer模型过时,而是反映了这些模型在2022年的主导地位。2021年,「Transformer」这个词只出现在37篇论文中。2022年,这个数字飙升至201。Transformer不会很快消失。

CNN

CNN曾经是计算机视觉的宠儿,到了2023年,似乎失去了它们的优势,使用率下降了68%。许多提到 CNN 的标题也提到了其他模型。例如,这些论文提到了CNN和Transformer:

– Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth EstimationLite-Mono

– Learned Image Compression with Mixed Transformer-CNN Architectures

任务

掩码任务和掩码图像建模相结合,在CVPR中占据了主导地位。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

生成

传统的判别任务,如检测、分类和分割并没有失宠,但是由于生成应用的一系列进步,它们在CV的份额正在缩小,包括「编辑」、「合成」以及「生成」的上升就证明这点。

掩码

关键字「mask」比去年同期增长了263% ,在2023年被接收的论文中出现了92次,有时在一个标题中出现了2次。

– SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance SegmentationSIM

– DynaMask: Dynamic Mask Selection for Instance SegmentationDynaMask

但大多数(64%)实际上指的是「掩码」任务,包括8个「掩码图像建模」和15个「掩码自动编码器」任务。此外,还有8篇出现「掩码」。

同样值得注意的是,3篇带有单词「mask」的论文标题实际上指的是「无掩码」任务。

零样本vs小样本

随着迁移学习、生成方法、提示和通用模型的兴起,「零样本」学习正在获得关注。与此同时,「小样本」学习比去年有所下降。然而,就原始数字而言,至少目前而言,「小样本」(45)比「零样本」(35)略有优势。

模态

2023年,多模态和跨模态应用加速发展。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

边界模糊

虽然传统计算机视觉关键词如「图像」和「视频」的频率相对保持不变,但「文本」/「语言」和「音频」出现的频率更高。

即使「多模态」这个词本身没有在论文标题中出现,也很难否认计算机视觉正在走向多模态的未来。

这在视觉-语言任务中尤其明显,正如「开放」、「提示」和「词汇」的急剧上升所表明的那样。

这种情况最极端的例子是「开放词汇」这个复合词,它在2022年只出现了3次,但在2023年出现了18次。

CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型

深入挖掘CVPR 2023论文标题中的关键词

点云9

三维计算机视觉应用正在从以二维图像推断3D信息(「深度」和「立体」)转向直接在3D点云数据上进行工作的计算机视觉系统。

CV标题的创造力

如果不将ChatGPT纳入其中,2023年任何与机器学习相关的全面报道都是不完整的。我们决定让事情变得有趣,并使用ChatGPT来寻找CVPR 2023中最有创意的标题。

对于每一篇上传到Arxiv的论文,我们抓取了摘要,并要求 ChatGPT (GPT-3.5 API)为相应的CVPR论文生成一个标题。

然后,我们将这些由ChatGPT生成的标题和实际的论文标题,使用OpenAI的text-embedding-ada-002模型生成嵌入向量,并计算ChatGPT生成的标题和作者生成的标题之间的余弦相似度。

这可以告诉我们什么?ChatGPT越接近实际的论文标题,这个标题就越可预测。换句话说,ChatGPT的预测越「偏」,作者给论文命名的「创造性」就越强。

嵌入和余弦相似度为我们提供了一个有趣的,尽管远非完美的,量化方法。

我们按照这个指标对论文进行了排序。话不多说,下面是最具创造性的标题:

实际的标题:Tracking Every Thing in the Wild

预测的标题:Disentangling Classification from Tracking: Introducing TETA for Comprehensive Benchmarking of Multi-Category Multiple Object Tracking

实际的标题:Learning to Bootstrap for Combating Label Noise

预测的标题:Learnable Loss Objective for Joint Instance and Label Reweighting in Deep Neural Networks

实际的标题:Seeing a Rose in Five Thousand Ways

预测的标题:Learning Object Intrinsics from Single Internet Images for Superior Visual Rendering and Synthesis

实际的标题:Why is the winner the best?

预测的标题:Analyzing Winning Strategies in International Benchmarking Competitions for Image Analysis: Insights from a Multi-Center Study of IEEE ISBI and MICCAI 2021

文章版权声明

 1 原创文章作者:1125585077,如若转载,请注明出处: https://www.52hwl.com/76875.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年7月17日 下午4:58
下一篇 2023年7月17日 下午4:59