Mobabel

Just One Pure ITer

Mobabel Blog

0

Theory & Solution

[转]Uber开源数据流分析平台AthenaX，日均处理1万亿次数据

Uber公司通过传播各类实时来源数据以实现更加无缝化且令人愉悦的用户体验。具体而言，Uber需要交付 UberEATS 订单的预估交付时间（简称 ETD）、结合即时交通条件得出的指导配送路线以及其间各项重要影响指标。来自Uber的几位优秀的工程师为我们带来这项技术的详细解析。

[汇总]敏捷实施经验 0

Agile

[汇总]敏捷实施经验

1. 失败 放心吧，敏捷开发搞不起来！ 从零实施敏捷开发 敏捷中国十八年目睹之怪现状 敏捷走到头了！ 被捧上天的Scrum敏捷管理为何不受大厂欢迎了？ 敏捷开发将走向消亡，我们该如何应对 “敏捷”适用于汽车软件开发吗？ 敏捷软件开发，需要消亡 https://timdenning.com/agile-software-development/ 敏捷思维（知）+ 把敏捷的思维应用到实践（行），和把敏捷不加选择地、机械地用到各个地方是两码事，尤其是老板把敏捷的各类工具固化为监督员工劳动率的工具的时候更可怕。 同意，敏捷开发严重制约创造力和深入理解的能力. 敏捷化开发不是一堆规则，而是一种思想，一种思考和做事的方式。假如仅仅是停留在敏捷开发的各种规则的使用上，那只能说这个理解太过肤浅了 敏捷开发就是个渣渣，是一群没啥技术能力的人想出来的控制有技术能力的人的办法，就像项目管理里面的人不再是人，而且一种资源，毫无人性！ 大多数斥责敏捷的人无非是把自己定位为工具人，别人让干什么就干什么，然后把自己的状态甩锅到“敏捷”身上！ 公司为了敏捷而犯下的十大错误 第十、从上而下地实施敏捷 第九、“实施”变革 第八、聚焦输出 第七、忽视客户和用户 第六、敏捷仅面向 IT 第五、敏捷只限于团队层面 第四、敏捷只为更快的交付 第三、用瀑布式管理实施敏捷 第二、应用不变的流程及工具 第一、想要变得敏捷   汽车软件转型的困惑与痛点 杨修文的新书《智能汽车电子与软件：开发方法、系统集成、流程体系与项目管理》 本文节选自此书的第九章《转型软件的痛点与困惑》，这不就是我们当下正在面临的痛点么？且看段落标题： 互相低不下的头颅...

0

Theory & Solution

[转]利用大数据探索工具快速启动大数据分析

现在大数据已经成为企业信息化热点方向之一，很多企业都已经开始或者准备利用大数据大干一场，降低成本、提升数据价值，从而实现智能决策，但是从以 Hadoop 为代表的大数据技术面世以来，将近 10 年的时间，除了几家大型互联网公司以外，企业能够用好大数据的案例远远没有期望的那么多。据国外一家咨询公司 2015 年统计，只有 27% 的公司认为他们的大数据计划是成功的，而只有 8% 的认为是非常成功的。即便是在 POC 阶段，很多企业的平均成功率才只有 38%。

0

Algorithms

[转]她用算法买到了房子

我最近买了个房子。加州湾区的房市自然不能跟国内京沪相比，但抢房也是很凶狠的。每一套房子在市场上平均时间大概 4-5 天，可以收到 20 几个 offer 竞价，一般价高者得。 经常看到一个房子，还在犹豫是不是合适：会不会有其他地板更好一点的？会不会有多一个卫生间的？会不会有离地铁站更近的？会不会有更便宜的？（毕竟是百万刀的决定啊）和马克还没商量完，房子就已经没了。

0

Exeperience

[转]同程旅游实时计算的演进

同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台，提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线，如：国内国际酒店，机票，火车票，会员，商业智能，分析等等都使用实时计算平台来构建实时类系统。 本文以时间为线索来介绍我们在实时计算平台建设过程中做过的工作，遇到的问题，希望能给需要实时计算的公司和同学提供参考。

HttpCache 0

Protocol Theory

[转]HTTP缓存原理介绍

There are only two hard things in Computer Science: cache invalidation and naming things. — Phil Karlton 通过Internet获取资源既缓慢，成本又高。为此，Http协议里包含了控制缓存的部分，以使Http客户端可以缓存和重用以前获取的资源，从而优化性能，提升体验。虽然Http中关于缓存控制的部分，随着协议演进，有一些变化。但我觉着，作为后端程序员，在开发Web服务时，只需要关注请求头If-None-Match、响应头ETag、响应头Cache-Control就足够了。因为这三个Http头就可以满足你的需求，并且，当今绝大多数的浏览器，都支持这三个Http头。我们所要做的就是，确保每个服务器响应都提供正确的 HTTP 头指令，以指导浏览器何时可以缓存响应以及可以缓存多久。

image.png 0

Big Data Practice

[转]根据天猫胸罩销售数据分析中国女性胸部大小分布

 本文实现一个非常有趣的项目，这个项目是关于胸罩销售数据分析的。是网络爬虫和数据分析的综合应用项目。本项目会从天猫抓取胸罩销售数据，并将这些数据保存到SQLite数据库中，然后对数据进行清洗，最后通过SQL语句、Pandas和Matplotlib对数据进行数据可视化分析。我们从分析结果中可以得出很多有的结果，例如，中国女性胸部标准尺寸是多少；胸罩上胸围的销售比例；哪个颜色的胸罩最受女性欢迎。

0

Web Crawler

[转]谈爬虫反爬虫套路

  爬虫与反爬虫，是一个很不阳光的行业。 这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或者反爬虫理念不同，也很可能互不认可，影响自己的求职之路。本来程序员就有“文人相轻”的倾向，何况理念真的大不同。

0

Exeperience

[转]携程实时用户数据采集与分析系统

一、携程实时用户数据采集系统设计实践   随着移动互联网的兴起，特别是近年来，智能手机、pad 等移动设备凭借便捷、高效的特点风靡全球，同时各类 APP 的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统 PC 转移至移动终端上。但传统的基于 PC 网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于 Java NIO 网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。