重新审阅Transformer:颠倒更实用,着实天下预料的新SOTA泛起了
思考到基于 Transformer 的重新着实预料器的争议,钻研者们正在思考为甚么 Transformer 在光阴序列预料中的审阅实用展现致使不如线性模子,而在良多其余规模却发挥着主导熏染。颠倒更的新
克日,天下来自清华大学的预料一篇新论文提出了一个差距的视角 ——Transformer 的功能不是固有的 ,而是泛起由于将架构不当地运用于光阴序列数据组成的。

论文地址 :https://arxiv.org/pdf/2310.06625.pdf
基于 Transformer 的重新着实预料器的现有妄想可能并不适宜多变量光阴序列预料。如图 2 左侧所示 ,审阅实用统一光阴步长的颠倒更的新点根基上代表了残缺差距的物理意思,但丈量服从却不不同 ,天下这些点被嵌入到一个 token 中,预料多变量相关性被抹去。泛起而且 ,重新着实在事实天下中 ,审阅实用由于多变量光阴点的颠倒更的新部份感触野以及光阴戳不同过错齐 ,单个光阴步组成的标志很难揭示有利信息。此外 ,尽管序列变更会受到序列挨次的极大影响 ,但在光阴维度上却不适当地接管变体留意力机制 。因此 ,Transformer 在捉拿根基序列表征以及形貌多元相关性方面的能耐被削弱,限度了其在差距光阴序列数据上的能耐以及泛化能耐。

对于将每一个光阴步的多变量点嵌入一个(光阴)token 的不同理性 ,钻研者从光阴序列的反向视角动身,将每一个变量的全部光阴序列自力嵌入一个(变量)token ,这是扩展部份感触野的 patching 的极其情景。经由颠倒 ,嵌入的 token 群集了序列的全局表征 ,可能愈加以变量为中间,更好地运用留意力机制妨碍多变量分割关连 。同时,前馈收集可能熟练地学习恣意回溯序列编码的差距变量的泛化表征,并解码以预料未来序列 。
钻研者以为 Transformer 对于光阴序列预料并非实用 ,而是运用不妥。在文中,钻研者重新审阅了 Transformer 的妄想 ,并建议将 iTransformer 作为光阴序列预料的根基支柱。他们将每一个光阴序列嵌入为变量 token,接管多变量相关性关注,并运用前馈收集妨碍序列编码。试验服从表明,本文所提出的 iTransformer 在图 1 所示的实际预料基准上抵达了 SOTA 水准 ,并出人预料地处置了基于 Transformer 的预料器的痛点。

总结来说,本文的贡献有如下三点:
钻研者对于 Transformer 的架构妨碍了反思 ,发现原生 Transformer 组件在光阴序列上的能耐尚未患上到短缺开拓。
本文提出的 iTransformer 将自力光阴序列视为 token,经由自留意力捉拿多变量相关性,并运用层归一化以及前馈收集模块学习更好的序列全局展现法 ,用于光阴序列预料。
经由试验,iTransformer 在着实天下的预料基准上抵达了 SOTA 。钻研者合成了反转模块以及架构抉择 ,为未来改善基于 Transformer 的预料器指明了倾向。
iTransformer
在多变量光阴序列预料中,给定历史审核:

用 T 个光阴步长以及 N 个变量,钻研者预料未来的 S 个光阴步长:
。为利便起见,展现为
(责任编辑:百科)
12/12NBA赛事风向(公牛vs雄鹿)(爵士vs雷霆)
朱雀二号开启甲烷火箭航天时代,这类火箭也将成为第一种星际火箭高马尾逐渐消失在校园,“鲶鱼头”更受欢迎,家长不理解也看不懂
9年流浪10队,因长相火了的“CBA詹姆斯”梁山108将中有5条“龙”:3条真龙、2条假龙,结局却是天壤之别
芝加哥公牛“大三巨头”为何难同舟共济?
10队争4个淘汰赛名额!欧冠乱了,大巴黎赢球晋级,2豪门近乎出局
- 原创 勇士火箭酝酿三方交易!西亚卡姆赴勇士,斯通将小佩顿带回航天城
- 壹点日历12.10|做自己的太阳,温暖而有力量!早安
- 长春亚泰明日主场战蓉城 伤兵满营,亚泰依旧“不服气”终极斗罗:蓝轩宇正式喊唐舞麟爸爸,史莱克七怪之首确定
- 中青赛第二季收官 浙江U17男足北京U16女足夺魁女性过安检时,安检员为何会尴尬,屏幕上到底能看到啥?
- 原创 西甲:巴列卡诺vs塞尔塔,谁能扭转尴尬局面?
- 完胜!伦纳德41+5,爵士五虎56+31,西部第9易主,谁注意哈登举动
- 每人50万美元到手!湖人夺NBA第一届季中锦标赛冠军,官博连发16个“湖人总冠军”庆祝,王猛:MVP我选詹姆斯泰国“流亡女总理”英拉,成了中国名企董事长?你看她的背后是谁
- 15连胜!英超榜首又换了,第6队登顶
-
“原上海上港老总”陈戌源,涉案超30亿元,应该死刑吗?白天演员、晚上间谍,隐姓埋名75年,他不只是“最好的姜子牙”
原上海上港老总陈戌源,涉案超30亿元,应该死刑吗?作为中国足球最大的罪人,陈戌源之流对于中国足球的危害,是肉眼可见的!要知道,中国男足至少倒退了二十年,什么“假赌黑”,遍地开花 ,金敬道孙准浩等人的问 ...[详细]
-
NBA | 湖人季中赛夺冠 詹姆斯MVP实至名归当年喊出“不是你撞的,干嘛去扶”的法官,17年后,他过的怎样?
北京时间10日中午,湖人在季中锦标赛赛决赛中以123比109战胜步行者,获得了历史第一座季中赛的冠军奖杯。安东尼-戴维斯在决赛中大爆发,独得41分。但纵观整个季中赛,詹姆斯才是发挥最为稳定、也是最关键 ...[详细]
-
英超最新战报,曼联0:3惨败,利物浦2:1逆转,布莱顿1:1伯恩利
英超联赛第16轮今晚开赛,在率先进行的几场比赛中,曼联主场0:3不敌伯恩茅斯,其实只算小冷门,毕竟伯恩茅斯最近几轮状态火热,之前4轮比赛,3胜1平保持不败。利物浦客场2:1逆转水晶宫,依然延续了球队坚 ...[详细]
-
【亚冠】莱昂纳多点射 浙江队1比2墨尔本城遭两连败30年前那位渴望上学的“大眼睛女孩”,国家重点培养,现咋样了
体坛周报全媒体原创 北京时间10月4日20时,亚冠小组赛H组第2轮,浙江队主场迎战墨尔本城。上半场双方就你来我往,贝希奇迅速破门,之后卡普托头球扩大比分。紧接着莱昂纳多造点并主罚命中。下半场,双 ...[详细]
-
原创 补强内线!美媒:3换1交易曝光,爵士并不吃亏,实现互赢
原标题:补强内线!美媒:3换1交易曝光,爵士并不吃亏,实现互赢 火箭目前10胜9负排在西部第八,最近球队取得2连胜,上场比赛他们114-106力克掘金,从这个赛季的表现来看火箭已经逐渐打出了自己 ...[详细]
-
国王逆转太阳!布克空砍准三双,福克斯单节轰23分,杜兰特缺席
嘿,篮球迷们!今天有一个令人振奋的好消息要告诉你们,国王队今晚在比赛中逆转了太阳队,让我们来看看这场激动人心的比赛发生了什么吧!首先,我们不能忽视国王队的超级巨星德文·布克。他在这场比赛中展现出了他的 ...[详细]
-
原创 墨尔本城VS浙江,锁定头名墨尔本不容再失,全力争胜浙江欲创奇迹
原标题:墨尔本城VS浙江,锁定头名墨尔本不容再失,全力争胜浙江欲创奇迹 北京时间2023年12月12日17:30,2023-2024赛季亚冠联赛H组第6轮继续进行,墨尔本城将坐镇主场墨尔本矩形球 ...[详细]
-
朱雀二号开启甲烷火箭航天时代,这类火箭也将成为第一种星际火箭
原标题:朱雀二号开启甲烷火箭航天时代,这类火箭也将成为第一种星际火箭 朱雀二号开启甲烷火箭航天时代,这类火箭也将成为第一种星际火箭 今年12月9日,我国“蓝箭航天”的朱雀二号遥三运载火箭在 ...[详细]
-
原标题:CBA | 北控客场负辽宁凸显实力差距 12月10日晚,北控男篮在CBA联赛第15轮北上客场挑战卫冕冠军辽宁队,最终以89比113失利。北控队虽有5人得分上双,但以目前的阵容对比和比赛过 ...[详细]
-
卡塔尔国王大老婆,凭“旺夫脸”出圈,不裹黑袍有气场,二房更美
因着世界杯,最近卡塔尔的一切都火得一塌糊涂。尤其是,卡塔尔还有一个可以翻云覆雨的莫扎太后。正因为有她,才使得现在卡塔尔国王塔米姆的三个王妃黯然失色。尤其是在亮相世界杯时,跟在国王身后的大王妃和二王妃都 ...[详细]
- 梅西隔空遭打击,老友C罗有望重返欧冠,历史地位或迎来反转巴西人到底有多开放?连荷兰都甘拜下风!
- 95年加内特第五顺位被选中,前四位生涯成就如何?状元坑苦森林狼
- 难题之后 津门虎队攀“山”志不移
- 文班效应!马刺季中锦标赛三场全美直播多于湖勇新中国排第一黑帮老大,手段霸道残忍,“夜夜做新郎”无人敢不从
- 中超13分钟超长补时!升班马客场拼下保级救命1分,球迷高喊黑哨新凤霞事件再次反转,老戏骨曝光55年前真相,难怪张少华不翻案
- 乔治交易取得进展,尼克斯提出交易报价,包括兰德尔在内2换2女子腹痛146天后死亡,母亲怀疑女婿,尸检后查明真相!
- 女孩为追星把第一次给了黄牛?西安警方:系高中生伪造已经处分
- [瞎话板]吹杨更新INS晒合照为波格丹庆生:生日欢喜,送上祝愿
- 女子景区一再插队起争执,儿子赶紧捂嘴劝离,眼见者:孩子很不违心
- 恭喜鹈鹕!史诗级5换1交易!锡安获全明星级帮手,下赛季要冲冠虞书欣早期比基尼照片曝光!网友:她性感火辣不止眼睛大
- 【英超】哈兰德多库皆伤缺,曼城仍逆转卢顿走出低谷
- 埃文斯自宣即将回归西甲,北汽男篮只剩基恩一个后卫外援肯定不够用一安徽农民因长相酷似普京,一夜走红,俄罗斯人:真的太像了
- 2-0!姆巴佩先拔头筹,10人巴黎客场凯旋,核心重伤,欧冠恐翻车
- 英超第16轮,曼联主场被爆,布莱顿惜平伯恩利,谢菲联赛季第二胜善恶终有报!63岁在美国捡垃圾的吕丽萍,已经活成了一个“笑话”
- 原创 穆帅麻烦大了!一场1-1后2巨星一伤一停,后3轮要踢那不勒斯尤文
- 油价“过山车”!12月10日调整后92号汽油价,猪价“雷霆上涨”!为啥美国航母出海,都要带足600名女兵?她们在航母上究竟干啥?
- 掀翻绿军,击溃雄鹿!季中赛最大黑马诞生,谁还敢小瞧他们?移居国外,更改国籍!这4位被永久取消“国家一级演员”不值同情