云原生数据分析 云计算智能平台在大批量数据分析 云计算实时分析方面的表现如何?

12月17日,由 IT168、ITPUB举办的”2021年技术卓越奖“评选结果正式揭晓。滴普科技云原生数据智能平台FastData,以新一代流批一体、湖仓一体的技术能力获得“技术卓越奖”。

同日,由数字产业创新研究中心、锦囊专家、首席数字官举办的“2021中国数字化转型与创新评选”榜单也出炉,FastData获得“年度大数据创新产品”奖项。

“技术卓越奖”评选已走过17年,由行业知名专家、CIO/CTO及IT媒体三方联合评选;“2021中国数字化转型与创新评选”榜单由20多家CIO组织机构、行业协会共同发起。此次FastData获得两大奖项,证明了各界权威机构对滴普科技的认可。

  FastData:一站式云原生数据智能平台

随着大数据技术的不断发展,企业对于数据应用的场景以及要求均进入新的阶段。作为专业的数据智能服务商,滴普科技围绕数据智能技术,构建了新一代云原生数据智能平台FastData,服务于企业建立流批一体和湖仓一体的数据存储计算平台和数据科学分析平台。

具体来看,流批一体主要针对离线和实时数据的需求,通过Kappa Plus实现大数据流计算和批计算的统一,可以满足企业秒级延时的即席查询、高性能实时数据分析业务需求;湖仓一体,则同时吸收了数据仓库和数据湖的优势,可以解决多模数据管理复杂的问题,实现快速分析应用与数据价值深度的发掘,加速业务价值创新。

同时,基于高性能分布式对象存储基础设施,FastData采用云原生、存算分离架构,为企业提供了三大引擎产品:DataSense(数据科学分析平台)、DataFacts(一站式数据智能服务平台)以及DLink (流批一体数据分析引擎)。

以DLink为例,整体的核心理念就是“统一”,基于 Iceberg、Flink和 Trino技术栈,实现了多种数据类型的统一存储能力,支持流批一体数据处理、数据分析、数据科学等多工作负载,并支持EB级多模数据存储与处理,无缝连接大数据生态,提供一站式数据探索与数据开发能力。

三大优势,滴普科技助力企业数据产生业务价值

通过一站式数据智能服务能力,FastData解决了企业数字化转型中遇到的数据烟囱、架构陈旧、管理低效、维护困难以及高成本等问题。

相较于传统的数仓和数据湖产品,FastData具备三大优势:

低成本:FastData可以为企业降低底层大数据平台的建设和运维成本,减轻企业对于整个技术体系的依赖程度,相比原经典的大数据平台而言,可以节省40%—50%的成本。

高性能:FastData在满足低成本的同时,仍具备处理EB级结构化、半结构化以及非结构化的数据,在实时流计算的场景可以实现秒级的同步和计算,可以满足大型企业实时或准实时的数据处理要求。

易使用:FastData打造了一个IT工程师、数据工程师和数据科学家能够一体化操作的数据智能平台,进行数据的智能化运营。

这样的产品优势,已经运用到商业流通、政务、精益制造、金融等领域,成功服务100余家大型知名企业。譬如,商业领域中的某连锁品牌鞋店,需要实时监测新鞋的销售情况,并在合适时机触发补货机制。

基于FastData提供的能力,将该企业多家门店场景中的计算分为实时和离线两部分:离线部分负责每天凌晨统计所有门店过去3个月的销售情况,并将结果写入离线计算的分析数据库中;实时计算部分负责实时监测当天门店内各个尺码鞋子的库存,将每个销售事件推送到在线处理层。同时,在线处理层负责接收实时计算层的事件,并读取离线计算的分析数据库来判断是否需要触发补货机制。

通过滴普科技的技术赋能,相较于其他数据平台,应用FastData云原生数据智能平台后,数据处理的时间缩短到几小时,各个门店的管理人员在上班时就能看到昨天全天的经营数据分析。

如今,随着国内技术和产品的发展,国产化替代逐渐成为趋势。目前,滴普科技的技术能力已获得多方权威机构认可,拥有软件著作权184项,申报核心专利37项。面向未来,滴普科将以数据智能技术为核心,深入到不同的业务场景中,以不同的格式存储和组织数据提高分析速度,帮助企业释放数据资产价值,提升业务价值。

}

日前,亚马逊云科技与深圳市融聚汇信息科技有限公司(下称“融聚汇”)联合打造的云原生一站式金融信息数据平台(下称“行情云”)正式上线,该解决方案能够有效助力券商的业务出海中金融信息数据应用方面的数字化转型。

近期,融聚汇与亚马逊云科技合作,正式启动了行情云的项目开发,仅用3周就完成整体服务架构的云上开发及部署。

该行情云不仅能够提供来自境内外多家主流交易所(例如:纳斯达克、港交所、伦交所)、经纪商、指数公司所提供的行情、资讯、数据 F10 等内容,同时还可以获得定制化的数据开发增值服务。

与传统模式下客户直接从数据提供商获得经过简单加工得到原始的行情资讯服务不同,该产品具备云原生、安全性、合规性、易用性等方面的独特优势,通过 SDK、组件、页面等嵌入式方式赋能金融机构,不仅能够与客户内部各类系统对接,也可以让客户快速构建自有终端/APP 等,充分满足金融机构业务中所需的灵活、弹性、扩展、定制等个性化需求,从而大大降低客户数据应用开发及运维的整体周期、难度及成本。

“基于亚马逊云科技遍布全球的基础设施构建的行情云能够为广大的 B 端客户提供更为便捷灵活的接入方式,同时还避免了基础设施的重复建设,能够有效节约开发运维时间和人力成本。使券商能够更加专注于产品的开发、优化及迭代,从而为 C 端用户带来的更好的使用体验。此外,我们也期冀通过亚马逊云科技全球强大的金融生态网络,进行有效的资源整合,进而不断为机构客户提供更为先进全面的服务。

——融聚汇 CEO 黄守香”

行情云推动国内券商加速业务出海及国际化

2020年以来,已有多家券商增资境外子公司或拟对境外分支机构进行增资,内资券商加码布局境外业务。2021年初,券商境外设立子公司条件也获得大幅“松绑”,证监会取消了60亿元净资产的财务门槛,流程亦由审批制改为备案制。此次净资产硬性门槛降低,对近三分之一的券商来说是重大利好消息。根据相关财经媒体报道,目前已有35家证券经营机构在境外设立子公司,其中34家机构在香港设立子公司。

随着机构全球化管理需求及接入投资市场越来越多,金融机构业务需要接入的交易所越来越多,对于行情服务的要求也越来越高。金融机构急需通过弹性的业务能力来应对和满足市场变化带来的服务弹性需求,这种需求不仅包括物理基础设施上的弹性,更包括在交易所行情数据、资讯上也能享受弹性服务,从而和本地的数据中心的应用形成能力相互补充,实现资源最大利用和投资回报率最大化,积极拥抱数字化转型的浪潮。

这也是为何业内的金融机构普遍对于行情数字化应用的需求越来越迫切的重要原因之一。然而在传统的业务模式下,要实现上述需求,金融机构需要巨大的人员、时间、设备成本,且此前业内也没有非常成熟化的标准解决方案。

在此行业大背景下,融聚汇凭借其独特的产品开发及亚马逊云科技赋能,汇集境内外多家主流交易所的基础行情数据服务,通过亚马逊云科技在全球不同区域的基础设施来服务当地市场,在满足数据驻留、合规性要求的同时,也能够让用户以更低的网络延迟获取行情数据。融聚汇此次与亚马逊云科技合作在云上直接构建境内外实时行情资讯为主的旗舰服务弹性能力,为境内外众多主流金融机构、互联网公司提供端到端的一站式云原生金融信息数据服务。

根据行业研究机构 IDC 于2021年5月14日发布的《全球半年度公有云服务跟踪报告》,及 Gartner 于2022年4月15日发布的2021年全球云计算 IaaS 市场份额数据显示,亚马逊云科技位居全球首位,远远领先其余竞争对手,这也是融聚汇选择与亚马逊云科技构建深入合作的重要原因之一。

行情云基础架构助力券商应对

业务出海中的数据安全合规挑战

各国不断发展的监管要求、各地域监管要求间的差异、高度变化的安全潜在风险、繁重的报告及文档要求以及有限的安全领域专家及合规资源,都给内资券商的出海业务带来了巨大挑战。目前全球各主要国家都已出台了相应的数据安全法律,比如在美洲主流的包括加利福尼亚消费者隐私法案(CCPA)、加南大数据隐私法(PIPEDA),在欧洲包括数据保护行为准备(CISPE)、欧盟通用数据保护条例(GDPR)、欧盟-美国隐私护盾,在亚太地区包括中国网络安全法、中国香港《个人资料(隐私)条例》、日本数据隐私法、澳洲数据隐私法等等。

有鉴于此,行情云服务的基础架构提供方亚马逊云科技在充分考量全球各地的安全合规法律要求前提下,持续与全球监管机构展开对话及合作,向客户分享相应的合规方法及工具;同时评估及解决相关政策,根据不同国家进行影响评估,针对具体区域和国家的合规指南,以记录关键的政策变化和如何应对,为客户提供了解合规要求的所需环境和反馈渠道,从而更有信息的进行业务创新。

亚马逊云科技合作伙伴网络(APN)

伴随券商业务出海随之而来的会是对于行情云服务内容的不断新增需求及挑战,而亚马逊云科技的合作伙伴网络(APN)能够为行情云提供持续的助力和赋能。亚马逊云科技合作伙伴网络覆盖来自全球150多个国家/地区的逾10万家合作伙伴,其中在金融服务领域就包括 Nasdaq

据公开数据显示,目前《财富》500强中的大多数企业和《财富》100强中90%的企业都在使用亚马逊云科技合作伙伴的解决方案和服务。亚马逊云科技合作伙伴网络不仅能够满足券商业务出海中现有上云应用场景的各类解决方案需求,同时还能根据业务的发展不断寻找到更多适合的应用服务来满足业务发展需求。

如果以当前主流的开源代码作为比喻,那么亚马逊云科技面向客户及合作伙伴开放的更像是一整套可生产使用的服务及整合流程,这样的服务逻辑能够让用户专注于其核心业务逻辑及运行,从而大幅提升整体业务运行效率并有效地控制及优化其整体业务成本。

券商财富管理业务借助数字化转型实现突围

自2018年中证协首次将证券公司信息系统建设的投入情况纳入年度经营业绩考评以来,证券行业对信息科技的投入持续攀升。根据中证协统计,券商2018年全行业 IT 投入金额为130.67亿元,同比增长16.89%;2019年投入金额216.69亿元,同比大增65.84%;2020年投入金额262.87亿元,同比提高21.31%。

推进金融科技的应用与数字化转型,以金融科技驱动证券行业发展已是大势所趋。伴随着云计算、人工智能、大数据、区块链、知识图谱等技术的进一步发展,深度融入到了证券行业的全流程中,不仅提升了用户体验,同时提高了行业的整体运营效率。对于整个券商行业而言,数字化转型正在加速成为行业创新产品和服务模式、提升运营效率、增强盈利能力、提高风控合规效能的有力抓手。

中国证券业协会对证券行业数字化转型情况进行了调研,并于2020年8月发布了《关于推进证券行业数字化转型发展的研究报告》(下称《报告》)。《报告》认为,近年来,随着金融供给侧结构性改革的深入推进,证券行业发展质量持续提升,资本实力不断增厚,为行业数字化转型奠定了坚实基础。推进行业数字化转型将有助于证券公司持续降本增效,提升核心竞争力。此外,疫情防控催生线上服务爆发式增长,数字化转型既是提升证券服务质量的助推器,也是引领公司高质量发展的新赛道。

面对证券行业新一轮数字化转型浪潮,融聚汇携手亚马逊云科技搭建了基于服务全球市场数据的一体化行情资讯服务平台,为客户提供稳定可靠、安全可信、可持续创新的行情资讯服务,赋能数据应用,实现技术共生的数字化云生态体系。

深圳市融聚汇信息科技有限公司成立于2013年,为证券公司、互联网金融机构、财经媒体以及投资公司等众多金融机构提供全球金融信息资讯服务。融聚汇的解决方案涵盖股票行情、全球指数、衍生品行情、外汇行情、 历史及实时行情的 FIU 多源行情系统、FIU 上市公司资料库、FIU 上市公司公告库等产品,为近100 家金融机构、财经网站、资讯商提供品种齐全的金融数据信息产品服务。

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。

}
1. 规模化数据智能时代到来,企业数据平台的建设将成为数据价值呈现的关键因素。

2. 滴普科技自主研发了新一代云原生数据智能平台FastData。

3. FastData核心设计理念是低成本、高性能、易使用,且具备八大关键特性。

本文共计1700字,阅读需要3分钟。
未来企业业务都是智能化的,且都是基于数据的。根据IDC白皮书《数据时代2025》预测,2025年全球的数据总量将会升至175ZB,且超过25%的数据将成为实时数据,规模化数据智能时代即将到来。
企业数据平台的建设将成为数据价值呈现的关键因素,从而推动全行业探索新一代实时数据智能平台,并基于云原生技术的中立性大幅度提升企业一线部门的数据应用效能。
滴普科技自主研发的FastData核心愿景是打造低成本、高性能、易使用的一站式云原生数据平台底座,帮助企业从BI到AI实现数据驱动业务的数字化转型。
本文是关于新一代云原生数据智能平台FastData的开篇,接下来,我们会推出多个专题详细介绍FastData的相关能力,帮助大家进一步了解FastData的细节和场景。
FastData核心设计理念:低成本、高性能、易使用
FastData通过一站式数据智能服务能力,解决企业技术架构和数据架构固有的成本问题和复杂问题,加强业务与技术团队更高效的协作和创新。
即便忽略人工智能规模化应用的挑战,大数据平台的建设也是企业的一件大事情:数据处理过程中将部署大规模数量的机器,与此同时,使用Hadoop等技术组件的选型对企业技术人员的能力要求都是巨大的挑战。
回归本质,企业要想更好地使用数据,应该聚焦在快速的数据融合与分析预测上,而不是把精力浪费在数据技术的选择及大规模机器的部署维护。
一家企业要想拥有大量繁多而有深度的技术专家:诸如OLAP数据库专家、分布式系统专家、多语言开发工程师,XXX-SQL工程师……这也是不可想象的。出于这样的目的,FastData提供的一站式数据智能平台,就能够方便企业低门槛且便捷地使用数据。
如果把时间拉长到3至5年之后,大数据和人工智能必定会紧密配合,它们之间的协同能力将对企业的智能应用起到决定性作用。在“Hidden Technical Debt in Machine Learning Systems”(机器学习系统中隐藏的技术债务)论文中,Google认为:在任何人工智能系统应用过程中,绝大多数不是算法的聪明与否,而是围绕这些算法的“管道”,即数据收集、清洗、验证等基础设施的到位程度,这样才能有效支撑你想做到的任何机器学习。
在AI/ML场景中,更多的数据将比更智能的算法对企业更有价值,尤其对于顶级的互联网公司来看,大数据处理的基础设施已经是核心部分,AI/ML带来价值只是时间问题。
相比传统的Lambda架构,FastData采用的Kappa Plus架构可实现一套架构同时满足流和批的处理,尤其面向未来,大多数BI或数据分析场景都是需要实时性的。因此,统一的架构一方面简化了企业的数据基础设施,更有效地利用资源;另一方面,也消除了原来Lambda架构下对企业人员技能要求过多的问题。
2.  支持多模数据的存储与分析
对企业来说,未来更多智能业务将基于计算机视觉、语音和文本挖掘的ML/AI,FastData可用于存储、优化、分析和访问多种新数据应用所需的数据类型。FastData提供端到端的数据能力,使得包括数据科学、机器学习以及SQL分析在内的多种差距很大的应用,采用统一的数据存储和调度执行方案。
FastData SQL 对多维度数据的支持,更进一步屏蔽了许多繁琐的非结构化数据处理过程,极大提升数据处理的体验。
面对企业上云的需求,FastData坚持云中立的理念,采用云原生的技术架构,对于不同公有云厂商和私有云环境,提供无差别的PaaS服务,保证企业投资的有效性和延续性。
企业内许多数据的处理过程通常会并发读写数据,对ACID事务的支持确保了多方并发读写数据的一致性问题。
5.  数据治理和执行的工具箱
FastData提供一站式的数据采集、加工、开发、管理服务,支持完整数据治理和演进模式,支持DW模式架构,同时能对数据完整性和血缘关系等进行推理分析,并执行安全稳健的审计机制。
在实际部署中,FastData采用独立的存储和计算集群,它们都能独立扩展支持更大的用户并发和数据量,资源按需使用进一步降低成本。
FastData支持的存储格式是开放式和标准化的,并提供API让各种工具和上层计算引擎有效地直接使用数据,包括机器学习的Python库。
FastData支持直接在源数据上对接各种ABI工具,降低传统的数仓场景下多个数据副本的成本。
FastData是为解决规模化机器学习和深度学习场景下带来的海量数据挑战问题,而研发的新一代PB级实时数据平台,并采用云原生的架构实现低成本、高性能的设计理念。FastData的目标是成为企业快速构建其数据分析和数据科学相关的各种智能应用的一站式数据平台底座。

关注滴普科技官方知乎账号,

点击下方阅读原文,解锁官网更多精彩

}

我要回帖

更多关于 数据分析 云计算 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信