Mobabel

Just One Pure ITer

Category: Big Data

[转]分布式之elk日志架构的演进 0

Theory & Solution

[转]分布式之elk日志架构的演进

1. 日志系统的必要性? 最早定位生产问题，就是连上一台机器，然后用使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。如果发现不在这台机器上，就去另一台机器上查日志。有经历过上述步骤的童鞋们，请握个抓！ 然而，当你的生产上是一个有几千台机器的集群呢？你要如何定位生产问题呢？又或者，你哪天有这么一个需求，你需要收集某个时间段内的应用日志，你应该如何做？ 为了解决上述问题，我们就需要将日志集中化管理。这样做，可以提高我们的诊断效率。同时也有利于我们全面理解系统。

[转]滴滴Elasticsearch多集群架构实践 0

Elasticsearch

[转]滴滴Elasticsearch多集群架构实践

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。

[转]Hadoop 生态组件 0

Architecture

[转]Hadoop 生态组件

虽然流计算对于大数据处理来说越来越重要，但不支持流计算却不会成为 Hadoop 的致命伤。虽然 Hadoop 自身不提供流计算服务，不过主要的流计算组件，如 Storm、Spark Streaming 以及 Flink 本身就属于 Hadoop 生态系统的一部分，因此并不构成太大的问题。 曾有开发者向 AI 前线表示，Hadoop 主要是被 MapReduce 拖累了，其实 HDFS 和 YARN 都还不错。堵俊平则认为 MapReduce 拖累 Hadoop 的说法并不准确，首先 MapReduce 还是有应用场景，只是越来越窄，它仍然适合某些超大规模数据处理的批量任务，且任务运行非常稳定；其次，Hadoop 社区对于 MapReduce 的定位就是进入维护模式， 并不追求任何新的功能或性能演进，这样可以让资源投入到更新的计算框架，比如 Spark、Tez，促进其成熟。

[汇总]爬虫资源 0

Web Crawler

[汇总]爬虫资源

github上7000+ Star的Python常用代码合集 https://github.com/geekcomputers/Python   每秒几十万的大规模网络爬虫是如何炼成的？  

0

Architecture

[转]Flink靠什么征服阿里工程师?

时下，谈及大数据，不得不提到热门的下一代大数据计算引擎 Apache Flink（以下简称 Flink）。 本文将结合 Flink 的前世今生，从业务角度出发，向大家娓娓道来：为什么阿里选择了 Flink？ 1. 为什么阿里选择了 Flink 随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。 在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。 但是，用户用于批处理和流处理的两套计算引擎是不同的。因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。 阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题，所以阿里就在想，我们能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。 这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持，这就是阿里选择 Flink 的背景和初衷。 目前开源大数据计算引擎有很多选择，流计算如 Storm、Samza、Flink、Kafka Stream 等，批处理如 Spark、Hive、Pig、Flink 等。 而同时支持流处理和批处理的计算引擎，只有两种选择： Apache Spark。 Apache Flink。 从技术，生态等各方面的综合考虑。首先，Spark 的技术理念是基于批来模拟流的计算。而 Flink 则完全相反，它采用的是基于流计算来模拟批计算。 从技术发展方向看，用批来模拟流有一定的技术局限性，并且这个局限性可能很难突破。...

0

Big Data Practice

[转]Python 数据可视化

1. 前言 在之前的一篇文章《Python 数据可视化利器》中，我写了 Bokeh、pyecharts 的用法，但是有一个挺强大的库 Plotly 没写，主要是我看到它的教程都是在 Jupyter Notebooks 中使用，说来也奇怪，硬是找不到如何本地使用（就是本地输出 HTML 文件），所以不敢写出来。现在已经找到方法了，这里我就在原文的基础上增加了 Plotly 的部分教程。 数据可视化的第三方库挺多的，这里我主要推荐两个，分别是 Bokeh、pyecharts。

[转]大规模数据处理的演化 0

Theory & Solution

[转]大规模数据处理的演化

本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。

[转]比Hive快800倍！大数据实时分析领域黑马开源ClickHouse 0

Theory & Solution

[转]比Hive快800倍！大数据实时分析领域黑马开源ClickHouse

ClickHouse 是俄罗斯最大的搜索公司 Yandex 推出的大数据存储和开源组件，在 2017 年易观 OLAP 大赛获得黑马冠军之后，得到了大量的媒体曝光和开发者的认同，大家戏称这是俄罗斯送来的“喀秋莎数据库”。本文将深入浅出的讲解 ClickHouse 数据引擎的基本原理和使用场景，是一篇非常好的 ClickHouse 入门之作。

[转]Flink靠什么征服饿了么工程师 0

Architecture

[转]Flink靠什么征服饿了么工程师

本文将为大家展示饿了么大数据平台在实时计算方面所做的工作，以及计算引擎的演变之路，你可以借此了解 Storm、Spark、Flink 的优缺点。如何选择一个合适的实时计算引擎？Flink 凭借何种优势成为饿了么首选？本文将带你一一解开谜题。