Mobabel

Just One Pure ITer

Mobabel Blog

0

Theory & Solution

[转]利用大数据探索工具快速启动大数据分析

现在大数据已经成为企业信息化热点方向之一，很多企业都已经开始或者准备利用大数据大干一场，降低成本、提升数据价值，从而实现智能决策，但是从以 Hadoop 为代表的大数据技术面世以来，将近 10 年的时间，除了几家大型互联网公司以外，企业能够用好大数据的案例远远没有期望的那么多。据国外一家咨询公司 2015 年统计，只有 27% 的公司认为他们的大数据计划是成功的，而只有 8% 的认为是非常成功的。即便是在 POC 阶段，很多企业的平均成功率才只有 38%。

0

Algorithms

[转]她用算法买到了房子

我最近买了个房子。加州湾区的房市自然不能跟国内京沪相比，但抢房也是很凶狠的。每一套房子在市场上平均时间大概 4-5 天，可以收到 20 几个 offer 竞价，一般价高者得。 经常看到一个房子，还在犹豫是不是合适：会不会有其他地板更好一点的？会不会有多一个卫生间的？会不会有离地铁站更近的？会不会有更便宜的？（毕竟是百万刀的决定啊）和马克还没商量完，房子就已经没了。

0

Exeperience

[转]同程旅游实时计算的演进

同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台，提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线，如：国内国际酒店，机票，火车票，会员，商业智能，分析等等都使用实时计算平台来构建实时类系统。 本文以时间为线索来介绍我们在实时计算平台建设过程中做过的工作，遇到的问题，希望能给需要实时计算的公司和同学提供参考。

HttpCache 0

Protocol Theory

[转]HTTP缓存原理介绍

There are only two hard things in Computer Science: cache invalidation and naming things. — Phil Karlton 通过Internet获取资源既缓慢，成本又高。为此，Http协议里包含了控制缓存的部分，以使Http客户端可以缓存和重用以前获取的资源，从而优化性能，提升体验。虽然Http中关于缓存控制的部分，随着协议演进，有一些变化。但我觉着，作为后端程序员，在开发Web服务时，只需要关注请求头If-None-Match、响应头ETag、响应头Cache-Control就足够了。因为这三个Http头就可以满足你的需求，并且，当今绝大多数的浏览器，都支持这三个Http头。我们所要做的就是，确保每个服务器响应都提供正确的 HTTP 头指令，以指导浏览器何时可以缓存响应以及可以缓存多久。

image.png 0

Big Data Practice

[转]根据天猫胸罩销售数据分析中国女性胸部大小分布

 本文实现一个非常有趣的项目，这个项目是关于胸罩销售数据分析的。是网络爬虫和数据分析的综合应用项目。本项目会从天猫抓取胸罩销售数据，并将这些数据保存到SQLite数据库中，然后对数据进行清洗，最后通过SQL语句、Pandas和Matplotlib对数据进行数据可视化分析。我们从分析结果中可以得出很多有的结果，例如，中国女性胸部标准尺寸是多少；胸罩上胸围的销售比例；哪个颜色的胸罩最受女性欢迎。

0

Web Crawler

[转]谈爬虫反爬虫套路

  爬虫与反爬虫，是一个很不阳光的行业。 这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或者反爬虫理念不同，也很可能互不认可，影响自己的求职之路。本来程序员就有“文人相轻”的倾向，何况理念真的大不同。

0

Exeperience

[转]携程实时用户数据采集与分析系统

一、携程实时用户数据采集系统设计实践   随着移动互联网的兴起，特别是近年来，智能手机、pad 等移动设备凭借便捷、高效的特点风靡全球，同时各类 APP 的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统 PC 转移至移动终端上。但传统的基于 PC 网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于 Java NIO 网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

0

Performance Diagnosing

[转]微博MySQL优化之路

正文 数据库是所有架构中不可缺少的一环，一旦数据库出现性能问题，那对整个系统都回来带灾难性的后果。并且数据库一旦出现问题，由于数据库天生有状态（分主从）带数据（一般还不小），所以出问题之后的恢复时间一般不太可控，所以，对数据库的优化是需要我们花费很多精力去做的。接下来就给大家介绍一下微博数据库这些年的一点经验，希望可以对大家有帮助。

0

Database Theory & Solution

[转]全球最大的支付结算系统：微信每秒50万拆红包数据库是如何支撑运行的？

1. 一、背景 这图是2016年互联网女皇发布的互联网报告里的截图，左图是讲用户每月支付的频率，可以看到微信支付排在最前面的，大概每月支付超过50次，排在第二的是全美借记卡的支付次数。 微信支付单月支付次数大于全美借记卡+信用卡的次数总和，在这数据背后反应出移动支付时代的全面到来，同时也可以看出我们国内的移动支付，无论是产品、用户量、支付频率上，个人认为都是领先全球的。