Mobabel

Just One Pure ITer

Tagged: Big Data

0

Architecture

[转]Flink靠什么征服阿里工程师?

时下，谈及大数据，不得不提到热门的下一代大数据计算引擎 Apache Flink（以下简称 Flink）。 本文将结合 Flink 的前世今生，从业务角度出发，向大家娓娓道来：为什么阿里选择了 Flink？ 1. 为什么阿里选择了 Flink 随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。 在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。 但是，用户用于批处理和流处理的两套计算引擎是不同的。因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。 阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题，所以阿里就在想，我们能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。 这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持，这就是阿里选择 Flink 的背景和初衷。 目前开源大数据计算引擎有很多选择，流计算如 Storm、Samza、Flink、Kafka Stream 等，批处理如 Spark、Hive、Pig、Flink 等。 而同时支持流处理和批处理的计算引擎，只有两种选择： Apache Spark。 Apache Flink。 从技术，生态等各方面的综合考虑。首先，Spark 的技术理念是基于批来模拟流的计算。而 Flink 则完全相反，它采用的是基于流计算来模拟批计算。 从技术发展方向看，用批来模拟流有一定的技术局限性，并且这个局限性可能很难突破。...

[转]Flink靠什么征服饿了么工程师 0

Architecture

[转]Flink靠什么征服饿了么工程师

本文将为大家展示饿了么大数据平台在实时计算方面所做的工作，以及计算引擎的演变之路，你可以借此了解 Storm、Spark、Flink 的优缺点。如何选择一个合适的实时计算引擎？Flink 凭借何种优势成为饿了么首选？本文将带你一一解开谜题。

0

Theory & Solution

[转]阿里的程序员们如何解决复杂数据的查询优化问题

数据分布的问题在大数据处理领域由来已久。很不幸，如今流行的大数据处理系统仍然没有很好地解决这个问题。在MaxCompute 2.0全新的优化器中，我们引入了复杂数据分布，添加了分区剪枝、分布上拉、下推以及分布对齐等优化措施。 本文将从数据分布的历史和原理开始，介绍我们的思路和解决办法。

0

Theory & Solution

[转]Uber开源数据流分析平台AthenaX，日均处理1万亿次数据

Uber公司通过传播各类实时来源数据以实现更加无缝化且令人愉悦的用户体验。具体而言，Uber需要交付 UberEATS 订单的预估交付时间（简称 ETD）、结合即时交通条件得出的指导配送路线以及其间各项重要影响指标。来自Uber的几位优秀的工程师为我们带来这项技术的详细解析。

0

Theory & Solution

[转]利用大数据探索工具快速启动大数据分析

现在大数据已经成为企业信息化热点方向之一，很多企业都已经开始或者准备利用大数据大干一场，降低成本、提升数据价值，从而实现智能决策，但是从以 Hadoop 为代表的大数据技术面世以来，将近 10 年的时间，除了几家大型互联网公司以外，企业能够用好大数据的案例远远没有期望的那么多。据国外一家咨询公司 2015 年统计，只有 27% 的公司认为他们的大数据计划是成功的，而只有 8% 的认为是非常成功的。即便是在 POC 阶段，很多企业的平均成功率才只有 38%。

0

Exeperience

[转]同程旅游实时计算的演进

同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台，提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线，如：国内国际酒店，机票，火车票，会员，商业智能，分析等等都使用实时计算平台来构建实时类系统。 本文以时间为线索来介绍我们在实时计算平台建设过程中做过的工作，遇到的问题，希望能给需要实时计算的公司和同学提供参考。

0

Exeperience

[转]携程实时用户数据采集与分析系统

一、携程实时用户数据采集系统设计实践   随着移动互联网的兴起，特别是近年来，智能手机、pad 等移动设备凭借便捷、高效的特点风靡全球，同时各类 APP 的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统 PC 转移至移动终端上。但传统的基于 PC 网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于 Java NIO 网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。