Flink未来将与Pulsar集成提供大规模的弹性数据处理【斗牛游戏】

本文摘要:问题概要什么是Pulsar?

斗牛游戏

问题概要什么是Pulsar? 2.Pulsar有什么概念? 3.Pulsar有什么特点? 4.Flink未来如何与Pulsar集成? ApacheFlink和ApachePulsar开源数据技术框架可以用不同的方法构建,以实现大规模灵活的数据处理。本文详细介绍了Pulsar与其他消息传递系统之间的差异化因素,并介绍了Pulsar与Flink如何合作,为大规模灵活的数据处理提供无缝的开发人员体验。

Pulsar概述ApachePulsar是由ApacheSoftwareFoundation管理的开源分布式pub-sub消息系统。Pulsar包括用作从服务器到服务器的消息传递的多租户、高性能解决方案、Pulsar实例中对多个群集的本地反对、跨越群集的消息的无缝geo-replication、非常在此,讨论Pulsar和其他pub-sub消息传递框架的主要区别吧,因为使用了分层结构,Pulsar完全恢复了即时故障,实现了独立国家的扩展性和不平衡的集群部署。Pulsar的体系结构遵循与其他pub-sub系统类似的型号。

框架在主题中组织为主要数据实体,因此生产者向主体发送数据,消费者从主题(topic )接收数据。如下图右图所示。Topic是Pulsar的核心概念,响应“channel”,Producer加载数据,Consumer消耗数据(Kafka、RocketMQ都是如此)。

斗牛游戏

Topic名称的URL是{ Persistent|non-Persistent }://Tenant/Namespace/ToPIC Persistent }://Tenant/Namespace/ToPIC 与方面系列相关的Topic在一个租户中可以有多个NamespacePulsar的第二个区别在于,这个框架是从一开始就考虑到多租户而构建的。这意味着每个Pulsar主题都有一个分层的管理结构,使资源分配和团队之间的资源管理和协商变得更有效和更容易。利用Pulsar的多租户结构,数据平台确保人员能够无摩擦地再次加入新的团队。

因为Pulsar在属性(租户)、命名空间或主题级别获得资源隔离,同时在群集中共享数据,便于协作和协商。右图中的Property是租户,每个租户可以有多个Namespace,每个Namespace可以有多个Topic。Namespace是Pulsar的操作单元,Topic除了安装在Namespace级别外,还包括多域拷贝,消息到期策略等都安装在Namespace中。

最后,Pulsar灵活的消息传递框架集成了流和队列数据消费模型,获得了更大的灵活性。如下图右图所示,Pulsar保留了主题数据,多个团队可以根据其工作阻抗和数据消耗模式在独立的国家使用数据。Pulsar获得了灵活的消息模型,反对三种订阅者类型: Exclusivesubscription :排队, 每个不能有一个Consumer的Consumer都有一条Topic消息(Shared模型没有确保消息的顺序,Consumer的数量可以增加到分区的数量) failover subscripte 在MasterConsumer中,后展开替代(数据量少,看起来仅限于解决问题单点故障的场景) Pulsar对数据的观点:分割数据流ApacheFlink是流优先计算框架,批量处理
假设Flink对数据流的观点区分有界和无界数据流之间的批处理和流处理,对于批处理的动作阻抗,数据流受到限制,具备开始和结束。对于数据层,ApachePulsar接近ApacheFlink的视点。

该框架还用于流作为所有数据的统一视图,其分层架构是传统的pub-sub消息在流操作阻抗和倒数数据处理或段东流Pulsar中使用ApacheBookkeeper作为分段存储。如下图右图所示,允许处理段数据。

这使传统的pub-sub消息传递和分布式并行计算可以在一个框架内分组。Flink Pulsar集成ApacheFlink和ApachePulsar已经通过多种方法构建。下一节介绍了框架之间潜在的未来构建,并分享了可以在框架中一起使用的现有方法的示例。

本文关键词:斗牛游戏

本文来源:斗牛游戏-www.tsheringzangmo.com

相关文章

网站地图xml地图