Mobabel

Just One Pure ITer

Author: leelight

[转]如何使用Redis流和Apache Spark处理实时数据？ 0

Architecture / Redis Theory & Solutions

[转]如何使用Redis流和Apache Spark处理实时数据？

1. 本文要点 Apache Spark 的流框架（Structured Streaming）为数据流带来了 SQL 查询功能，让用户可以实时、可扩展地处理数据。 Redis 流（Redis Stream）是 Redis 5.0 新引入的数据结构，能够以亚毫秒级的延迟高速收集、保存和分发数据。 用户集成 Redis 流和流框架后就能简化连续应用程序（continuous application）的扩展工作。 开源的 Spark-Redis 库将 Apache Spark 与 Redis 连接起来。该库为 Redis 数据结构提供 RDD 和数据帧 API，使用户可以将 Redis 流用作流框架的数据源。 流框架是...

中国程序员在德国究竟在做什么，说什么？ 0

Essay

中国程序员在德国究竟在做什么，说什么？

今年5月27日， 一位据说在德国的中国程序员@将记忆深埋 在微博公布： “半年时间，100多TB数据， 利用1024、91、sex8、PronHub、xvideos 等网站采集的数据对比Facebook、instagram、TikTok 、抖音、微博等社交媒体。我们在全球范围内成功识别了10多万从事不可描述行业的小姐姐。” 热炒之下，这套Deep Learning系统瞬间炸了锅，顺便炸翻了在德国处于懵逼状态的一众平时安安静静老老实实的程序员：我们身边竟然藏着这样一个人？！ 这引起了我对在德中国籍程序员的行业分类以及专业方向等相关数据的好奇。长期以来德国一直面临着劳动力短缺，特别是工程技术方向，尤其是IT专业人才的极度缺乏，以至于德国政府将这些专业的人才获得欧盟蓝卡的最低年薪标准降到了税前41808欧元（2019）。换句话说，软件信息专业的同学毕业后在德国很容易找到工作，并且获得蓝卡工作居留许可。近年来身边来自印度，俄罗斯，中国的程序员也在逐年增加。那么中国程序员在德国到底从事那些行业呢？

[汇总]随笔 0

Life & Else

[汇总]随笔

拼多多的新野心 中国迈向发达国家之路 我们都没想过的中国经济纵深现象 程序员是如何运用增长思维找到女朋友？

[汇总]Docker经验 0

Docker

[汇总]Docker经验

Docker工作原理 Docker夺命连环15问，你能坚持第几问？ Docker镜像优化：从1.16GB到22.4MB

[转]消息中间件–5 消息处理失败&死信队列 0

MQ in distributed Architecture

[转]消息中间件–5 消息处理失败&死信队列

消息中间件消费到的消息处理失败怎么办？ 一般生产环境中，如果你有丰富的架构设计经验，都会在使用MQ的时候设计两个队列：一个是核心业务队列，一个是死信队列。 核心业务队列，就是比如专门用来让订单系统发送订单消息的，然后另外一个死信队列就是用来处理异常情况的。比如说要是第三方物流系统故障了，此时无法请求，那么仓储系统每次消费到一条订单消息，尝试通知发货和配送，都会遇到对方的接口报错。 此时仓储系统就可以把这条消息拒绝访问，或者标志位处理失败！注意，这个步骤很重要。

mybatis 动态参数及其 foreach collection使用 0

Tips

mybatis 动态参数及其 foreach collection使用

Mybatis里传参数入Mapper一般基于基本类型，Integer、String、List、Hashtable，然后以此构架foreach迭代动态sql。