![](http://n.sinaimg.cn/spider20240826/33/w500h333/20240826/1e0e-665792fe102bb0e1b7ead45310ba9c2f.png)
数据作为新型生产要素,是新质生产力发展的重要动力,数据库则是支撑数据存储与计算的关键基石。全球人工智能浪潮迅猛发展,正在推动数据存算需求剧烈变化和技术创新,研究和开发数据资产化及数据要素流通的数据库技术与产品,推动我国加速向“数据强国”不断迈进。
在此背景下,2023年10月,清华大学-科蓝软件先进智能数据库研究院正式成立,双方携手共进掌控基础、底层和源头,构建具备自主创新能力的全域生态体系,加速数据库“根技术”的原始创新和国产替代。
先进智能数据库的发展趋势如何,又有哪些关键技术及产业应用?2024年8月22-24日,备受瞩目的第15届中国数据库技术大会(DTCC2024)在北京隆重召开。本届大会特别邀请了清华大学信息国家研究中心研究员、清华科蓝先进智能数据库研究院院长邢春晓,为我们带来了主题为《先进智能数据库发展趋势,关键技术及产业应用》的分享。
![](http://n.sinaimg.cn/spider20240826/31/w500h331/20240826/1a2c-dc29da9658b5229c22c5cd4ded777c1a.png)
邢院长从数据库技术和系统的先进性和智能性,特别是大模型时代数据库的技术攻坚方向,特邀报告主要研究内容包括:(1)先进智能数据库发展趋势。(2)先进智能数据库关键技术。(3)先进智能数据库核心产品。(4)先进智能数据库应用场景。
先进智能数据库发展趋势
当前,数字技术正在迅猛发展,数字经济新技术、新产业、新业态、新模式不断推陈出新,推动着全球数据库技术产业变革不断加速。全球数据库正在经历新一轮发展热潮,开源模式正在塑造数据库生态新格局,新一轮数据库技术创新正在孕育中。
邢春晓院长归纳数据库技术的十个发展趋势:产业规模持续扩大:全球数据库产业迈入发展黄金期,市场规模首次突破千亿美元,企业与产品数量不断攀升。云数据库占据主导地位:我国云数据库市场规模占比超过一半,显示云技术在数据库领域的广泛应用和重要性。技术融合与创新加速:数据库技术正围绕技术融合创新发展,云计算、图技术、湖仓一体等新兴技术逐步应用落地。人工智能与数据库双向赋能:AI技术深度融入数据库管理、优化等各个环节,同时数据库也为AI模型提供高效支持。数据密集型行业创新应用:金融、电信等行业为数据库产品应用创新提供广泛空间,传统行业数字化转型持续探索数据库赋能新路径。多目标持续发展:数据库技术将围绕助力用户降本增效、护航数据要素安全流通和赋能新兴业务场景三个目标持续发展。交易分析一体化:数据库将支撑多类业务,实现交易与分析的一体化处理,提高业务效率。软硬协同与系统性能提升:软硬协同一体化将成为提升数据库系统性能的重要方向。隐私计算与区块链技术:隐私计算保障密态数据安全流通,区块链技术赋能数据资产高度可信,增强数据安全性与可信度。新应用与新价值释放:AI大模型催生向量数据库新应用,图分析技术洞察数据连接新价值,时空数据库释放时空数据新潜能,开拓数据库技术的新应用领域。
清华科蓝先进智能数据库研究院以高质量发展为首要任务,加快关键核心技术攻关,优化底层技术布局,争夺数据库系统底层科技的制高点,在全内存分布式数据库优化技术与系统、人工智能技术使能的分布式数据库的基础理论与技术、基于新硬件的数据库优化方法、基于区块链的数据库安全关键技术、面向大模型的智能数据库研发、“关基”产业国产数据库替代应用、面向数字经济的数据库标准规范、和基于数据要素的数据库基础架构等多个关键方向,通过产学研深度融合、跨学科团队联合攻关,共同打造中国品牌数据库华鼎+SUNDB。
先进智能数据库关键技术
邢春晓院长表示先进智能数据库面临的十大挑战可以归纳如下:
数据量与复杂性的管理:随着大数据时代的到来,数据库需要处理的数据量呈爆炸性增长,且数据类型日益复杂,包括结构化、半结构化和非结构化数据。如何高效存储、检索和管理这些数据成为一大挑战。
数据质量与准确性:数据质量直接影响智能数据库的性能和决策的准确性。数据中的错误、不一致性和噪声等问题需要得到有效解决,以确保数据库中的数据准确、完整和一致。
数据安全与隐私保护:随着数据泄露事件的频发,数据安全和隐私保护成为数据库技术的重要关注点。智能数据库需要采用高级加密技术、匿名化处理方法和严格的数据访问控制机制,确保数据在收集、存储和处理过程中的安全。
系统可扩展性与性能优化:随着业务需求的增长,数据库系统需要具备高度的可扩展性,以支持更多的用户和更复杂的应用场景。同时,数据库性能的优化也是一大挑战,需要采用先进的存储结构、查询处理机制和资源管理策略。
算法复杂性与透明度:智能数据库中的算法越来越复杂,如何提高算法的透明度和解释性,使用户和监管机构能够理解算法的决策依据和过程,成为一大挑战。这有助于增强算法的公平性和可信度。
与现有系统集成:将智能数据库技术与现有系统集成可能具有挑战性,尤其是在系统设计时未考虑人工智能的情况下。这可能需要对现有基础架构进行重大更改,并对员工进行再培训。
非静态、非平衡及成本敏感数据的处理:智能数据库需要能够处理非静态、非平衡及成本敏感的数据,这些数据可能具有不同的分布特性和处理需求,对数据库的处理能力提出了更高的要求。
多模数据融合与处理:随着多源异构数据的增加,智能数据库需要具备多模数据融合与处理的能力,将来自不同数据源和结构的数据进行有效整合和利用。
高可用性与容错性:智能数据库需要确保在高并发、高负载的情况下仍然能够提供稳定的服务。这要求数据库系统具备高可用性和容错性,能够在出现故障时迅速恢复服务。
法律法规与伦理问题:随着智能数据库技术的广泛应用,其所引发的法律和伦理问题日益突出。如何确保技术的发展与应用不违反法律法规,不损害用户权益,并且遵循伦理标准,成为技术发展中不能回避的问题。
数据库的研究热点从传统的性能优化和云计算集成,逐渐转向了先进化、智能化、安全性、可扩展的数据库系统。邢春晓院长针对上述挑战归纳了先进智能数据库系统的十大技术如下:
云数据库技术:云原生、分布式计算与存储分离,提升数据库弹性与运维效率。
多模处理技术:实现一库多用,支持多样化数据结构与处理需求, HTAP行列混存技术:融合在线事务与实时分析处理,支持水平伸缩和强一致性的多副本数据安全。
数据湖仓一体化技术:融合数据湖与数据仓库,降低存储与计算成本,提升数据处理性能。
AI与数据库融合技术:AI优化数据库管理与性能,数据库支持AI模型高效运行。
隐私计算与区块链技术:保障数据流通安全与可信度,增强数据隐私保护。
向量数据库技术:高效检索非结构化数据,支持AI大模型等新应用。
图数据库与图分析技术:洞悉数据关联价值,打破图数据孤岛,释放数据连接新价值。
时空数据库技术:处理时空数据,支持空天信息等新兴业务场景。
软硬协同一体化技术:提升数据库系统整体性能,全内存优化资源利用。
数据库自治与智能运维技术:实现数据库的自我管理与智能运维,降低操作门槛。
清华大学和科蓝软件双方紧密合作,基于自主知识产权的SUNDB数据库和华鼎4.0提出了面向大模型的智能数据库系统架构,探索了向量数据库系统,包括向量索引、向量存储、向量生成方法、分布式向量处理系统;研究了面向大模型的数据库准备系统,包括数据治理、大模型自动训练系统,设计了大模型的智能数据分析系统,包括基于大模型的NL2SQL、RAG 技术,智能数据分析、数据智能调优、知识图谱管理。
先进智能数据库核心产品
用户选择数据库核心产品的标准,邢春晓院长提到共有五个核心点,销售量、技术创新能力、用户认可度、生态开发者数量、技术领先性。总结归纳了国内外十款产品的技术先进性和智能化特征,包括MySQL,PostgreSQL,Oracle Database,Microsoft SQL Server,MongoDB,Amazon Aurora,Google Spanner,IBM Db2,Azure SQL Database,Cassandra,Databricks,Zilliz和国内的SUNDB、达梦数据库、PolarDB、TDSQL、HighGo DB、GBASE、SeaboxSQL、人大金仓、Vastbase、万里数据库、优炫数据库、OceanBase、GaussDB/ openGauss 、GoldenDB、AntDB、TiDB等国内数据库核心产品在先进性和智能性的创新和特色。SUNDB作为新型举国体制下中国真正能够从源头和底层掌控的安全可靠、技术先进的数据库,更是中国自主品牌数据库。
邢春晓院长强调,面向通用和垂直领域大模型的先进智能数据库既是国家关键信息基础设施的核心技术,也是网络信息安全的重要组成部分。同时指出,清华大学和科蓝软件将持续投入先进智能数据库技术研发与产业落地,既发挥好产学研用深度融合的优势,又用好在关键基础产业实践中积累的行业经验,形成对行业的广覆盖、深助力、高效能和强监管,共同推动智能数据库产业的高质量发展。
先进智能数据库典型应用场景
智能数据库在国内党政体系中的应用具有重要的战略意义,涵盖了多个关键领域和应用场景,金融领域中的应用也涉及多个关键方面,如数据分析、风险管理、客户服务等,具有显著的效率提升和决策支持作用。邢春晓表示,先进智能数据库还广泛应用于政府机构、交通运输、物流仓储、科学研究等领域,智能数据库的高效管理和智能化分析能力为各个行业的数字化转型和创新发展提供了强有力的支持。
SUNDB数据库产品规划清晰,战略布局专注服务于银行、保险、证券、电信、政府、军工、能源、交通等国家关键信息基础设施的核心业务系统。经过数年的行业应用,SUNDB数据库的成熟度、性能、稳定性、安全性以及技术服务能力得到了用户和市场的广泛认可。
总结和展望
对于未来,邢春晓院长表示,数据是大模型的基础,数据库也是大模型不可或缺的助力,大模型对数据库提出了新的需求,也带来了新的机遇,大模型+数据库会实现1+1>2的效果。先进智能数据库技术、系统和产品将围绕赋能数据要素x确权交易流通,驱动用户提质降本增效和融合创新人工智能大模型新兴业务场景三个目标持续发展。
当前,我国正站在新一轮科技革命和产业变革的关键节点。SUNDB数据库充分发挥金融科技行业的自身优势,又结合清华学科交叉的前沿技术,原创性、颠覆性科技创新成果竞相涌现,不断塑造发展新领域新动能,对金融、电信、政府、军工、能源、交通等众多国家关键信息基础设施领域的核心业务系统都起到了重要推动作用。
![](http://n.sinaimg.cn/spider20240826/33/w500h333/20240826/d1df-dcfab514ad431f455f7996fd3b06d4bc.png)
未来,科蓝SUNDB数据库将继续坚持自主研发路线,与清华携手打造先进智能数据库,发挥协同效应共建华鼎+SUNDB先进智能数据库全域生态体系,推进产学研结合,持续研发创新,解决“卡脖子”技术问题,为新时期知识产权强国建设奠定坚实基础。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)