重新审阅Transformer:颠倒更实用,着实天下预料的新SOTA泛起了
思考到基于 Transformer 的重新着实预料器的争议,钻研者们正在思考为甚么 Transformer 在光阴序列预料中的审阅实用展现致使不如线性模子,而在良多其余规模却发挥着主导熏染。颠倒更的新
克日,天下来自清华大学的预料一篇新论文提出了一个差距的视角 ——Transformer 的功能不是固有的 ,而是泛起由于将架构不当地运用于光阴序列数据组成的。

论文地址 :https://arxiv.org/pdf/2310.06625.pdf
基于 Transformer 的重新着实预料器的现有妄想可能并不适宜多变量光阴序列预料 。如图 2 左侧所示,审阅实用统一光阴步长的颠倒更的新点根基上代表了残缺差距的物理意思 ,但丈量服从却不不同,天下这些点被嵌入到一个 token 中,预料多变量相关性被抹去。泛起而且 ,重新着实在事实天下中 ,审阅实用由于多变量光阴点的颠倒更的新部份感触野以及光阴戳不同过错齐,单个光阴步组成的标志很难揭示有利信息 。此外 ,尽管序列变更会受到序列挨次的极大影响,但在光阴维度上却不适当地接管变体留意力机制。因此,Transformer 在捉拿根基序列表征以及形貌多元相关性方面的能耐被削弱,限度了其在差距光阴序列数据上的能耐以及泛化能耐。

对于将每一个光阴步的多变量点嵌入一个(光阴)token 的不同理性,钻研者从光阴序列的反向视角动身 ,将每一个变量的全部光阴序列自力嵌入一个(变量)token,这是扩展部份感触野的 patching 的极其情景。经由颠倒,嵌入的 token 群集了序列的全局表征,可能愈加以变量为中间,更好地运用留意力机制妨碍多变量分割关连。同时,前馈收集可能熟练地学习恣意回溯序列编码的差距变量的泛化表征,并解码以预料未来序列。
钻研者以为 Transformer 对于光阴序列预料并非实用,而是运用不妥。在文中,钻研者重新审阅了 Transformer 的妄想,并建议将 iTransformer 作为光阴序列预料的根基支柱。他们将每一个光阴序列嵌入为变量 token,接管多变量相关性关注 ,并运用前馈收集妨碍序列编码 。试验服从表明,本文所提出的 iTransformer 在图 1 所示的实际预料基准上抵达了 SOTA 水准,并出人预料地处置了基于 Transformer 的预料器的痛点 。

总结来说 ,本文的贡献有如下三点:
钻研者对于 Transformer 的架构妨碍了反思 ,发现原生 Transformer 组件在光阴序列上的能耐尚未患上到短缺开拓。
本文提出的 iTransformer 将自力光阴序列视为 token ,经由自留意力捉拿多变量相关性,并运用层归一化以及前馈收集模块学习更好的序列全局展现法 ,用于光阴序列预料。
经由试验 ,iTransformer 在着实天下的预料基准上抵达了 SOTA 。钻研者合成了反转模块以及架构抉择 ,为未来改善基于 Transformer 的预料器指明了倾向。
iTransformer
在多变量光阴序列预料中,给定历史审核:

用 T 个光阴步长以及 N 个变量,钻研者预料未来的 S 个光阴步长
:
。为利便起见,展现为
(责任编辑:娱乐)
原创 长春亚泰老家底可能守不住 谭龙在内很多大佬 合同都到期
原创 波神砍26+8献关键扣篮 凯尔特人客场2分险胜灰熊
NBA首期季中赛MVP榜:詹姆斯第三 小萨约基奇场均三双上榜
德国电信妄想明年拨款20亿欧元回购股票
近11场8胜防守效率第二,快船四巨头终于有了冠军相?
- 尘埃落定!浙江队被剥夺亚冠资格悬念揭晓,来看看名记传来的消息哥哥是皇帝,大伯是光绪,奶奶是慈禧,他却非常低调地活到2015年
- 7500万,拜仁拒做冤大头,已关闭窗口,图赫尔黑脸,克洛普有意
- 官降6.5万却还增配,配2.0T动力,实拍开拓者
- 快船未来六天四战!四巨头备战马刺笑容满面:卢指导还在调试轮换
- 1-5!德甲班霸耻辱之夜:联赛首败,落后榜首3分,凯恩夺冠变难了
- 寒潮将至局地气温零下24度 21日起将自西向东影响我国大部地域
- 姆巴佩觉悟!为了加盟皇马,挽救职业生涯,愿意放弃二个亿张靓颖:被骗财骗色15年,为其打乳钉,最后支付了6个亿的分手费
- 疯狂!外媒列举明年足坛五大交易,萨内告别拜仁,姆巴佩登陆英超她是中国体坛的大叛徒,出国比赛趁机加入外籍,如今高调回国捞金
-
埃梅里:现在维拉能更多谈谈争冠了,赢阿森纳跟赢曼城有区别直播吧2023-12-10 12:14直播吧2023-12-10 12:14
直播吧12月10日讯 据talksport网报道,在维拉公园1-0击败阿森纳后,阿斯顿维拉英超主场跨赛季15连胜,目前在积分榜上排名第3,仅落后领头羊利物浦2分。主教练埃梅里和守门员埃米利亚诺-马丁内 ...[详细]
-
·“在我眼里,核小体的原子妄想残缺可能与DNA双螺旋妄想相媲美,不论是其详尽的概况,仍是在直不雅阐释生物学实际机制方面。我很欢喜为天下削减了一点详尽。”11月6日,2023天下顶尖迷信家论坛开幕式暨2 ...[详细]
-
原创 神仙打架!布伦森32分VS三球34+9+8三分,尼克斯胜黄蜂3连胜进前六
原标题:神仙打架!布伦森32分VS三球34+9+8三分,尼克斯胜黄蜂3连胜进前六 北京时间11月19日,NBA常规赛燃起烽火,尼克斯与黄蜂展开激战。黄蜂近期陷入困境,三连败的阴霾笼罩,而尼克斯则 ...[详细]
-
原创 伦纳德与克莱互换东家!快船勇士极限2换1交易,NBA格局大变天
原标题:伦纳德与克莱互换东家!快船勇士极限2换1交易,NBA格局大变天 一场震撼的篮球交易在西部联盟引起了巨大的反响!快船与勇士达成了一项极限2换1的交易,核心内容是伦纳德与克莱互换东家。这一重 ...[详细]
-
尘埃落定!浙江队被剥夺亚冠资格悬念揭晓,来看看名记传来的消息哥哥是皇帝,大伯是光绪,奶奶是慈禧,他却非常低调地活到2015年
亚冠小组赛最后一轮,浙江队将客场挑战澳大利亚球队墨尔本城。这是一场小组赛的榜首大战,更是一场生死之战!目前J组的积分榜上,墨尔本城队和甲府风林队积8分排名前两位,而武里南联和浙江队积6分排名后两位。这 ...[详细]
-
“离谱”的vivo X100系列即将开售啦!能拍太阳,跑分达到224万+《家有儿女》中明目张胆的穿帮镜头,导演是把观众当傻子吗?
作者:概念科技谈长久以来,vivo一直深耕移动影像领域,还与光学巨头蔡司达成了深度合作,这也让vivo旗下的手机在影像方面都有着很出色的表现。最近刚刚开售的vivo X100系列,影像实力更是强到“离 ...[详细]
-
11月20日讯 NBA老例赛爵士对于阵太阳的角逐正在妨碍中。角逐第二节,转播方给出数据:爵士本赛季场均14.3个前场篮板,同盟第一;二次侵略患上分场均17.4,同盟第3;场均46.7篮板,同盟第5。源 ...[详细]
-
三分绝杀!老鹰险胜魔术,特雷杨41+5+8,马刺旧将大心脏反转!恭喜快船队,哈登训练专注,威少笑容灿烂,泰伦卢很开心
老鹰挑战魔术队西部的竞争压力越来愈大,即便是洛杉矶湖人这样的球队,想要获得一个季后赛席位,都不是容易的事情。至于东部,则显得有些断档严重,凯尔特人和雄鹿以及76人,这些球队的实力无疑在第一档,剩下的球 ...[详细]
-
中国球队获得世界企业运动会男足冠军工人日报2023-12-10 11:58工人日报2023-12-10 11:58
当地时间12月9日,莱昂市Macro Centro体育中心足球场,罚进最后一粒点球的4号球员振臂欢呼,与身后的队友和场边的同伴冲向一起、陷入狂欢……这是第四届世界企业运动会足球11人制比赛的决赛的高潮 ...[详细]
-
恩比德拉胯,76人逆转失败!马刺旧将立功,绿军重夺东部第一狂砍62+10+12!杜兰特布克打疯了,你要觉醒巅峰,三巨头才能夺冠
76人迎战凯尔特人东部第一的费城76人,没能如愿以偿的拿到9连胜,倒在了印第安纳步行者的面前。不算爆冷,毕竟步行者如今高居东部第三,进攻效率那更是联盟第一。输掉这场比赛之后,76人的战绩和凯尔特人相同 ...[详细]
- 文班亚马天赋尽显,关键时刻扮演超级英雄,马刺最后时刻逆转太阳回顾:从爆红到“打回原形”,高叶只用了半年,终是步了张小斐的后尘
- 哈登笑容灿烂,身披快船1号球衣,放话要夺冠,感谢威少看了鸨鸟怎么交配,才知道古代青楼的老板娘,为何叫“老鸨”!
- 原创 赢了快船又不会打球了?三巨头空砍72分,拉塞尔三分10中1仅11分
- 【美职篮 NBA】常规赛:勇士VS骑士
- 原创 英超第11轮-阿森纳客场0:1纽卡斯尔,戈登建功,阿森纳英超首败
- 掘金痛击独行侠!单节狂轰40分,赛后欧文感慨,不能老是犯错勇士队季中锦标赛轰141分,库里上演争议绝杀!雷霆球迷狂嘘裁判
- 28分大胜!唐斯两人狂轰56+15,戈贝尔场上劝架,李凯尔高效爆发鱼崖大话篮球2023-11-05 12:04山东鱼崖大话篮球2023-11-05 12:04山东
- 狂轰38+5+9,骑士逆转失败!米切尔尽力了,哈里伯顿惊艳两双首节狂输14分,詹姆斯摊开双手质问裁判,湖人开局就被打爆,不该
- 原创 日媒高度评价泰山队,认为其具备东亚区冠军实力,疑惑中超受不公
- “女儿国国王”朱琳:不整容不打针,68岁率性而活,优雅老去老爹连生6个女儿被骂废物,三十年后,一排豪车让他扬眉吐气
- 从大黄蜂认识你—雪弗兰科迈罗1969 SS从世界冠军沦为AV女优,她怎么堕落成这样?
- 快船未来六天四战!四巨头备战马刺笑容满面:卢指导还在调试轮换
- 文班21+20,马刺吞16连败!德罗赞末节发威,公牛拒绝摆烂忍耐力强的孩子,在三个方面的表现更胜一筹,但少有父母重视培养
- 三分绝杀!老鹰险胜魔术,特雷杨41+5+8,马刺旧将大心脏反转!恭喜快船队,哈登训练专注,威少笑容灿烂,泰伦卢很开心
- CBA最新排名出炉:新疆赢球升第二,广东位列前四,辽宁保持全胜