Mobabel

Just One Pure ITer

Tagged: Kafka

[转]Twitter的Kafka迁移历程有哪些经验可以借鉴 0

Kafka Practice

[转]Twitter的Kafka迁移历程有哪些经验可以借鉴

Twitter 的实时性特点为 Twitter 的工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻，向用户提供相关广告，并解决很多其他实时性问题。Twitter 的 Pub/Sub 系统为 Twitter 团队提供了处理这些工作负载的基础设施。Twitter 的 Messaging 团队过去几年一直在运行一个内部 Pub/Sub 系统，叫作 EventBus（建立在 Apache DistributedLog 之上），但我们最近决定转向 Apache Kafka，不仅针对已有的用例，还包括新增的用例。在这篇文章中，我们将介绍为什么我们选择采用 Kafka 作为 Twitter 的 Pub/Sub 系统，以及我们在迁移过程中遇到的各种挑战。

[转]比拼Kafka，大数据分析新秀Pulsar到底好在哪 0

MQ in distributed Architecture

[转]比拼Kafka，大数据分析新秀Pulsar到底好在哪

AI 前线导读： 一年一度由世界知名科技媒体 InfoWorld 评选的 Bossie Awards 于 9 月 26 日公布，本次 Bossie Awards 评选出了最佳数据库与数据分析平台奖、最佳软件开发工具奖、最佳机器学习项目奖等多个奖项。在 最佳开源数据库与数据分析平台奖 中，之前曾连续两年入选的 Kafka 意外滑铁卢落选，取而代之的是新兴项目 Pulsar。 Bossie Awards 中对 Pulsar 点评如下：“Pulsar 旨在取代 Apache Kafka 多年的主宰地位。Pulsar 在很多情况下提供了比 Kafka 更快的吞吐量和更低的延迟，并为开发人员提供了一组兼容的 API，让他们可以很轻松地从 Kafka 切换到 Pulsar。Pulsar 的最大优点在于它提供了比 Apache Kafka...

[转]Kafka如何做到1秒处理1500万条消息？ 0

Kafka Zookeeper Cluster

[转]Kafka如何做到1秒处理1500万条消息？

一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。 Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 1500 万条消息，而且其数据聚合率接近 1Tbps。 可见，Kafka 大幅简化了对于数据流的处理，因此它也获得了众多应用开发人员和数据管理专家的青睐。

0

System Monitor

[转]FreeWheel日均10亿日志场景下的高可用实践

1. 写在前面 近几年互联网服务安全事故的频发，使得越来越多的企业及开发者意识到数据备份、灾备等重要性，高可用性、高容灾性及高可扩展性的系统和架构建设工作也被更多地置于重心。 在这个过程中，基于公有云提供的基础设施实现高可用已成为多数技术团队的选择。

[转]Kafka实践：到底该不该把不同类型的消息放在同一个主题中？ 0

Kafka Basic Theory

[转]Kafka实践：到底该不该把不同类型的消息放在同一个主题中？

Kafka 主题最重要的一个功能是可以让消费者指定它们想要消费的消息子集。在极端情况下，将所有数据放在同一个主题中可能不是一个好主意，因为这样消费者就无法选择它们感兴趣的事件——它们需要消费所有的消息。另一种极端情况，拥有数百万个不同的主题也不是一个好主意，因为 Kafka 的每个主题都是有成本的，拥有大量主题会损害性能。 实际上，从性能的角度来看，分区数量才是关键因素。在 Kafka 中，每个主题至少对应一个分区，如果你有 n 个主题，至少会有 n 个分区。不久之前，Jun Rao 写了一篇博文，解释了拥有多个分区的成本（端到端延迟、文件描述符、内存开销、发生故障后的恢复时间）。根据经验，如果你关心延迟，那么每个节点分配几百个分区就可以了。如果每个节点的分区数量超过成千上万个，就会造成较大的延迟。

0

System Monitor

[转]苏宁穆加如何实现监与控的结合

  1. 一、背景 在当今互联网时代，企业大都采用分布式系统设计和微服务化，内部关系错综复杂，各产品分散，集成度不高。虽有众多日志监控工具，但没有全链路监控，定位问题及根因分析耗时长。同时由于缺乏决策并自动控制（自愈）机制，基本靠人工来排查处理，面对大规模高并发的场景时，对数据中心的性能、安全、稳定性影响缺乏量化，合理性规划时也很难兼顾性能与稳定性、可用性。 此前苏宁已有穆加服务端性能监控（以下简称 Baymax）、穆加调用链监控（以下简称 HIRO）等产品，但这仅仅是在“监”的层面上去主动发现系统出现的一些问题，而没有对解决这些问题做出“控”的动作。基于此，我们研发了穆加决策分析平台（以下简称 ZEUS），它将打通苏宁内部所有的监控渠道，真正意义上使得监控系统具备“控”的能力，通过与运维系统联动，达到系统问题自愈的效果，实现“监”与“控”完美结合。

0

Kafka Basic Theory

[转]Kafka不只是个消息系统

Confluent 联合创始人兼 CEO Jay Kreps 发表了一篇博文，给出了 Kafka 的真正定位——它不只是个消息系统，它还是个存储系统，而它的终极目标是要让流式处理成为现代企业的主流开发范式。

0

Exeperience

[转]同程旅游实时计算的演进

同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台，提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线，如：国内国际酒店，机票，火车票，会员，商业智能，分析等等都使用实时计算平台来构建实时类系统。 本文以时间为线索来介绍我们在实时计算平台建设过程中做过的工作，遇到的问题，希望能给需要实时计算的公司和同学提供参考。

0

Theory & Solution

[总结]ELK日志系统之使用Rsyslog快速方便的收集Nginx日志

常规的日志收集方案中 Client 端都需要额外安装一个 Agent 来收集日志，例如 logstash、filebeat 等，额外的程序也就意味着环境的复杂，资源的占用，有没有一种方式是不需要额外安装程序就能实现日志收集呢？Rsyslog 就是你要找的答案！ 关于 Rsyslog Rsyslog 是高速的日志收集处理服务，它具有高性能、安全可靠和模块化设计的特点，能够接收来自各种来源的日志输入（例如：file，tcp，udp，uxsock 等），并通过处理后将结果输出的不同的目的地（例如：mysql，mongodb，elasticsearch，kafka 等），每秒处理日志量能够超过百万条。 Rsyslog 作为 syslog 的增强升级版本已经在各 linux 发行版默认安装了，无需额外安装。