运达股份申请预训练模型专利，能够直接解决了传统流程中的训练冗余问题|运达股份_新浪财经

转自：金融界

本文源自:金融界

金融界2024年6月18日消息，天眼查知识产权信息显示，运达能源科技集团股份有限公司申请一项名为“一种基于动态双向时间卷积掩码自编码的预训练模型“，公开号CN202410362937.7，申请日期为2024年3月。

专利摘要显示，本发明公开一种基于动态双向时间卷积掩码自编码的预训练模型，包括动态双向时序卷积模块、编码器特征提取模块、动态缺失嵌入模块和预训练模块。在动态双向时序卷积模块利用自注意动态嵌入的方法标记所有缺失位置避免直接对缺失位置进行插补，避免了插补过程中的二次误差；在编码器特征提取块通过掩码自编码器架构可生成下游可迁移编码，直接解决了传统流程中的训练冗余问题；动态缺失嵌入模块在动态位置嵌入DPE的端到端设计，使预训练模型能够在一次网络扫描过程中在缺失条目生成可靠的嵌入；在预训练模块通过混合数据输入策略和加权损失函数加速了动态位置嵌入模块的收敛过程。

MACD金叉信号形成，这些股涨势不错！