首页 >> 宠物护理
宠物护理

均匀分布模型最新进展!马毅+LeCun联手:白盒非监督式学习|ICLR 2023

发布时间:2024-01-06 12:17

且在未任何数据减慢速的情况下,在MNIST上取得了99.3%的KNN次于1级权重,在CIFAR-10上取得了81.1%的KNN次于1级权重,在CIFAR-100上取得了53.2%的权重。

通过比较简单的灰度减慢速,全面性在CIFAR-10上意味着了83.2%的KNN top-1清晰度,在CIFAR-100上意味着了57%的KNN top-1清晰度。

这些结果为增大「白盒」机器学习和SOTA自行政官员(SSL)机器学习互不间的悬殊迈造出了关键一步,虽然悬殊无论如何很显着,但统计数字分析技术人员并不认为全面性增大悬殊有可能对无行政官员相关联的深造赢取格外熟悉的表达造出来,这也是连接该统计数字分析方法实用化的一条有现状的统计数字分析道路。

三个原则上问题

什么是无行政官员(自行政官员)的re-presentation

从事物上讲,原始接收机的任何非同一病态转成(non-identity transformation)都可以被叫做相关联(re-presentation),不过史学界格外感兴趣的是那些有用的转成。

无行政官员re-presentation深造的一个一个系统能够是找到一个变数,将当前转成到一个新的室内空间,使「完全相同」的东西被放进格外差不多的地方;同时,新的室内空间不不应是一个collapsed且trivial的,也就是说,必须保留数据的拓扑学或随机构件。

如果这一能够得以意味着,那么「不完全相同」的段落自然会在问到室内空间中所被置于得很已远。

完全相同病态(similarity)从何而来?

完全相同病态主要来自三个经典之作的设想:1)时序共现,2)室内空间共现;和3)原始接收机室内空间中所的区域内邻接(local neighborhoods)。

当框架构件为拓扑学构件时,这些设想在相当程度上是重叠的;但当构件为随机构件时,它们在表达模结构设计上也会有所多种不同,下图呈现造出了黎曼构件(manifold structure)和随机共现构件(stochastic co-occurrence structure.)互不间的差异。

能用区域内病态,相关个人兴趣重申了两种无行政官员的深造作法:黎曼深造和共现统计数字机器学习,这些设想很多都超造出了谱;也裂解的陈述或密切相关的矩阵裂解陈述。

黎曼深造的初衷是,只有原始接收机室内空间中所的区域内定义域才是可信的,通过总合考量所有的区域内定义域,就会浮现一个系统拓扑学,即「一个系统反思,区域内复用」(think globally, fit locally)。

值得注意,共现统计数字机器学习遵循一种不确定病态初衷,因为有些构件不必用紧接著黎曼来机器学习,所以它也是对黎曼初衷的必要。

一个最显着的例子来自于表达方式,其中所的当前原则上不会来自于平滑的拓扑学,比如在单词给定中所,「西雅图」和「达拉斯」的给定可能很完全相同,尽管它们并未长时间共现,其早先是它们有类似的上下文模结构设计。

不确定病态和黎曼的观点对于表达造出来「完全相同病态」是互不必要的 ,当有了完全相同病态的判别后,就可以构造一个转成,使得完全相同的表达模结构设计离得格外近。

本文如何组织起来相关联转成?原则上规范:浓密病态和高于秩(low rank)

大体上来说,可以用浓密病态来处理数据室内空间中所的区域内病态和裂解,以组织起来support;然后用高于频变数重构相关联线性,将完全相同的值平均分配给support上的完全相同点。

整个全过程也可以叫做浓密黎曼线性(sparse manifold transform)。

参考资料:

阳了后吃什么药
感冒扁桃体炎用什么药
拉肚子有没有什么快速解决的办法
泰国试管婴儿医院
小孩子消化不好吃什么调理
TAG:模型
友情链接