Hitachi Vantara可持续之道:应对混合云与AI的数据挑战

Hitachi Vantara可持续之道:应对混合云与AI的数据挑战
2024年06月18日 10:56 中关村在线

生成式AI的热潮席卷了千行百业,动辄千亿参数的大模型层出不穷,对IT基础设施提出了更高的要求,计算、存储、网络的能力不断挑战性能和容量的极限,与AI技术的融合也为突破物理学瓶颈和处理海量数据带来了新的选择。今年4月,Hitachi Vantara宣布完成战略重组,新组织架构包括Hitachi Vantara与日立IT平台产品管理部的战略整合,此举将推动混合云和生成式AI技术的发展,加强应对市场机遇的能力。显然,这一举措可以更快速、更及时地满足企业在混合云和AI时代的新需求,尽快把新的产品和技术推向市场。

未来三年,日立集团将在AI领域投资37亿美元,包括建立新一代日立生成式AI卓越中心。在产品端,Hitachi Vantara分别面向混合云和AI推出了Virtual Storage Platform One(VSP One)和Hitachi iQ,希望借此来应对基础架构现代化的挑战。其中,VSP One是统一的混合云平台,包括Virtual Storage Platform One SDS块存储、Virtual Storage Platform One SDS云存储、Virtual Storage Platform One文件存储,简化了任务关键型应用程序的基础架构,重点关注提高数据可用性,同时实施强大的数据弹性和可靠性策略,包括降低停机时间、减少生产力损失和抵御安全威胁。Hitachi iQ则是解决方案组合,可以通过在其AI解决方案堆栈上分层部署特定行业功能,推动产出具有针对性的AI成果,使成果更明确,与企业业务更具相关性。

VSP One的目标是简化存储管理,包括块存储、文件存储、对象存储,打通数据孤岛,并对这些数据进行可视化的智能管理。根据TDWI公布的数据管理成熟度评估报告,尽管71%的IT专家都表示其所在企业高度重视数据,但仅有19%的人认为其所在企业制定了坚实的数据管理战略。另外,随着网络攻击事件频发,还有68%的IT领导者对其企业数据基础架构的弹性持有顾虑。显然,确保数据安全的首要方式是了解数据位于何处,以及哪些人可以在何时获取这些数据。

Hitachi Vantara可以确保客户对数据拥有高度的可见性,充分掌握数据资产并据此制定清晰的策略。例如,Hitachi Vantara的VSP系列会承诺100%的数据可用性,保证客户在任何时候都能访问自己的数据,存储管理软件Hitachi Ops Center的重要组件Hitachi Ops Center Protector,可以协调所有的数据保护解决方案,包括备份、快照副本、远程复制等,对象存储HCP(Hitachi Content Platform)可以向客户提供不可篡改的数据,即使在遭受到勒索软件攻击后,也能将数据恢复到未被篡改的版本。

VSP One的服务对象除了有大型企业和机构,还包括大量的中小企业,后者在数据安全基础架构上更缺乏防护经验,更容易受到黑客攻击,遭到破坏的数据也往往难以被完全恢复。VSP One平台可以管理的数据类型包括结构化数据、非结构化数据、块数据、文件数据、对象数据、大型机数据、第三方存储数据等等,通过统一的数据平面、管理平面、控制平面,可以使用同一套工具管理所有类型和来源的数据,并利用数据经纬(Data Fabric)技术覆盖所有数据类型。

“在数据安全和数据保护方面,VSP One不仅是Hitachi Vantara打造的一个平台,还涉及到围绕这个平台与整个生态系统的紧密合作,包括备份和数据安全解决方案供应商,如Commvault、VMware、Veeam等。这些合作伙伴基于VSP One平台,与我们共同打造基于他们各自技术的解决方案,来帮助客户应对各种各样的安全威胁。”Hitachi Vantara亚太区首席技术官Matthew Hardman在接受采访时表示。

通常,企业遭受勒索软件攻击后会被锁住所有虚拟机,导致系统运行中断和宕机,企业在应对时要耗费大量时间进行攻击判断和环境重建。通过与合作伙伴的紧密协作,Hitachi Vantara在一小时内就能完成环境的重建和恢复,让业务正常运行,把损失降到最小。同时,统一的数据能力能带来更高级别的保护措施,例如,黑客在入侵块数据的数据库时,还会攻击备份,而Hitachi Vantara与其合作伙伴可以在对块数据的数据库进行备份时,把备份存储到对象存储。对象存储中的数据是不可逆的,无法删除或更改、重写、覆盖,即使黑客加密了企业的数据库和所有的块数据,Hitachi Vantara仍然能从对象存储中恢复数据。

目前,VSP One SDS云存储已上线AWS Marketplace,通过在AWS上原生运行,Hitachi Vantara的存储解决方案组合可以无缝扩展至公有云。使用者可以利用Github上提供的Ansible Playbooks,从启动之时起便自动化部署VSP One SDS块存储和云存储。

根据标普全球市场财智(S&P Global Market Intelligence)的一份报告,IT基础架构在AI工作负载的资源需求下处于紧张状态,只有32%的受访者表示,其所在企业始终能够支持内部的AI工作负载需求。这正是Hitachi iQ要解决的问题。基于NVIDIA最新的AI技术,结合Hitachi Vantara的下一代存储平台,Hitachi iQ解决方案组合会通过创建AI功能来满足市场需求。Hitachi iQ解决方案组合的首款产品会基于最新一代计算能力的NVIDIA AI Enterprise端到端软件平台,于日立2024财年第一季度推出。此外,Hitachi Vantara将利用高性能并行文件系统HCSF(Hitachi Content Software for File)的存储技术,发布全新的第5代加速存储节点,为复杂的AI工作负载提供快速存储解决方案。同时,Hitachi Vantara还会发布基于PCI-E的GPU产品,包括NVIDIA H20和L20GPU。

虽然AI的热度居高不下,但多数企业对AI技术的采用仍处于早期阶段,并没有理清要把AI用在何处和如何使用;如果是在本地部署整套AI基础架构,那么成本会非常高昂,而上云也会面临数据安全和合规的问题。对于这种类型的企业,Hitachi iQ的出现可谓恰逢其时。Hitachi Vantara会与客户共同探索,形成早期概念并进行验证,之后再由客户考虑是否要大规模投资。这一过程中,Hitachi Vantara不仅会提供Hitachi iQ,还融合了其在各行各业的实践经验、研发和实验室资源,帮助客户找到AI适合的场景。

Hitachi iQ是由一系列技术和服务组合而成的解决方案,旨在解决各种各样的与GPU驱动的工作负载相关的问题和需求。Hitachi iQ拥有不同规模和配置的系统选项,提供从高端、中级和入门级系统的多种选择,像HGX系统更适合部署在数据中心,如果是使用DGX后发现数据训练速度不够快,那么可以借助HCSF,提升数据进入系统后对系统进行训练的速度。如果企业的数据量过大,Hitachi Vantara则会建议客户使用VSP One通过对象存储的工具,把一部分数据“卸载”到更经济适用的解决方案中,降低成本。当然,这些系统也可以以组件的形式单独提供,调用具体的产品或技术支持现有的业务部署,无需让客户改变IT环境。

可以说,Hitachi iQ结合了日立集团和Hitachi Vantara的优势,通过各种硬件和软件的组合,实现基于GPU工作负载的加速,且其支持的GPU平台或GPU工作负载,不仅限于AI领域。某制造型企业拥有一个大型的Hadoop环境,包含20多个计算节点,需要处理大量数据。部署Hitachi iQ之后,能够将原本需要20多个节点处理的数据缩减至1个计算节点+两颗GPU,处理时间从过去平均所需的263分钟缩短至1分钟,软件许可费用从750万美元降至150万美元。

“我想强调的是,日立与其他技术供应商相比,处于一个非常独特的位置。我们不仅是技术的提供者,也是深度参与行业的合作伙伴,拥有超过110年的历史。我们的行业覆盖广泛,包括交通运输、制造、电力和消费电子等等。”Matthew Hardman谈到,日立可以把技术创新与行业经验相结合,帮助客户构建行业AI大模型。对于采购硬件设备意愿较低的企业,Hitachi Vantara也可以提供软件定义的解决方案。

更重要的是,Hitachi Vantara还在推动人工智能的可持续发展,把低碳环保落实到从生产制造到供应链、再到运营的各个环节,例如环保型存储产品VSP系列就采用了二氧化碳减排技术,还可以利用智能数据生命周期管理系统来优化供应链的绿色化。能源之星(Energy Star)计划致力于推动以更低的能耗交付更优的性能,是衡量产品能耗、环保成果的重要标准。VSP One已通过能源之星认证,确保每一代的VSP存储解决方案都能降低30%-40%的碳排放量。借助数据缩减和虚拟化技术,也能帮助企业提高存储利用率。Hitachi Vantara承诺,到2030年实现公司内部业务运营的碳中和,到2050年实现整个价值链的碳中和。

此外,Hitachi Vantara的存储阵列可以对负载和能耗进行智能化的动态管理,即工作负载较重的时候会增加存储性能来处理,工作负载较轻时会自动调低对电量的消耗。在数据保护方面,VSP One块存储具有动态磁盘保护(Dynamic Drive Protection,DDP)功能,可以对存储资产进行最高级别的保护,并显著加快重建速度,较过去的阵列部署提升5-6倍的重建速度。借助DDP,企业在数据存储需求增加时,不用再一次性采购大量的磁盘,而是可以以单个磁盘的方式灵活弹性地扩展存储资产。

“我们的创新不仅局限于硬件层面,还有很多软件创新,VSP One是一个平台化的产品,将通过不断的创新来帮助客户更好地解决数据管理中的挑战。”Matthew Hardman表示,“我们的创新还包括实现可持续发展,推动实现业务运营的碳中和目标,以及利用创新技术设计和开发能耗更低、碳排放量更低的存储产品,或是借助增强的数据缩减技术、存储虚拟化技术和数据就地升级技术,帮助客户在现有的系统中存储更多的数据,提高产品和运营的效率及可持续性。”

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片