飞象网讯 1月3日,上海市“人工智能+”行动推进大会暨中国—金砖国家人工智能发展与合作中心基地启用仪式举办。中国电信CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长李学龙教授受邀参会并发表主旨演讲,分享了人工智能领域的一项落地关键技术——智传网(AI Flow)。
李学龙介绍,“连接”是人工智能发展的关键,落实“人工智能+”行动正是要将技术创新与产业需求紧密连接。智传网让“智能”也可以连接起来,摆脱设备和平台的限制,在端、边、云之间自由流动,随需响应,随处而至。
在研发布局上,中国电信拥有云网融合、AI、量子与安全等技术优势,且在算力、数据方面构建了“息壤”一体化智算平台、“星海”数据智能中台。基于此,TeleAI重点进行智能光电、智能体、智传网、AI治理的研究,形成 “三智”+“一治”的战略布局。
智传网是通过网络分层架构,基于智能体间的连接,以及智能体和人的交互,实现智能传递和涌现。它可以打通由AI驱动的“三大空间”,即赛博空间、临地空间、广域空间,是下一代人工智能发展的必经之路。
智传网提供了一种新的服务模式,能够发挥中国电信网络优势,解决数据传输延迟高、网络带宽占用大等问题。人们的未来生活将无不充满智能的流动,所有指令都通过可穿戴设备交互完成,一切都是高效的、有序的、便捷的。
然而,智传网面临着一个非常重要的问题,就是在不同的应用场景中,所需要的“智能”各不相同;在不同的计算平台中,能提供的“智能”上限亦不同。那么,如何去量化这种“智能”,从而按需所取?
TeleAI在智传网的研究中,引入了一系列基础理论,这其中包含一个重要概念——“信容定律”。
信容是信息量与数据量的比值,即单位数据的信息表示能力。在信容定律中,信息量是数据集的平均熵与模型训练损失交叉熵的差,再乘以数据集 Token 的数量。如果以模型的参数量作为数据量,那么两者之比,就是模型的信容。
信容定律为AI的发展指明了航向,智能是可以被度量的,是可以被连接的,是可以被传递的。当拿到一个数据集的时候,不是只看它的大小,而是根据目标训练的模型规模,为它匹配相应大小的数据集,并评估数据质量,从而去度量模型的智能水平。进而可以根据不同任务、不同计算资源,去定制出一系列大小不等且同源的家族模型,从而提升模型的效率。这正是智传网的第一个关键点,即通过家族模型协同,实现向上或向下兼容,以多种方式进行切换。
与普通的大小模型协同不同,在智传网中家族模型的特征是对齐的,不需要额外的中间件(Middleware)就可以流畅地共享信息。当把多个家族模型部署在网络的不同层上,还能实现分布式计算,大幅提升模型的推理效率。
智传网的第二个关键点是基于连接和交互的智能涌现。大模型的发展依赖于数据驱动下的智能涌现,根据行业预测,高质量数据资源正在枯竭,不久的将来,新数据生成的速度会远远赶不上数据的消耗速度,这将限制AI能力的进一步提升。为了突破这个瓶颈,智传网实现了基于数据的智能涌现迈向基于连接和交互的智能涌现。通过模型间的连接协作、知识共享及与外部环境的交互,将表现出超越单个模型能力上限的智能涌现能力。
智传网的第三个关键点是模型复刻和智能萃取,可以类比成将智能种植到一个新的大脑。这个过程不是简单的知识蒸馏或遗忘学习(Unlearning),而是剔除老模型中的无效信息,萃取最精华的智能,从而得到更加精炼、与之同源且能不断成长的模型,以适应变化的环境、场景和需求。
据了解,专注于人工智能创新与应用的中国电信人工智能研究院(TeleAI)2024年5月在上海落成,目标是发展有场景、能落地,规模化的AI技术,并打造可信任的国家人工智能基座,面向世界的舞台,让AI既能创造科学价值,又能创造经济价值。
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)