本文谈谈Kafka和RocketMQ读取数据的差别。
Paper阅读:Kafka: a Distributed Messaging System for Log Processing
这篇论文是LinkedIn与2011年发表的关于Kafka的论文,从中可以窥探Kafka最源头的设计理念。
Redis Cluster & HDFS & ClustrixDB Reshard/Rebalance
对于分布式存储,在新增或删除节点时,必将存在某些节点的数据“过多”,某些节点的数据“过少”。对节点上的数据进行重新整理使各节点的数据趋于相近的过程,就叫rebalance或reshard。本文简单介绍Redis Cluster、HDFS和ClustrixDB是如何对数据进行重分片的。
使用JMC+JFR+JProfile检测Java程序异常
本文记录使用JMC(Java Mission Controll)、JFR(Java Flight Record)以及JProfile诊断Java应用不可用(OutOfMemroy)的过程。
Too many open files in java
Linux平台下,每个进程能打开的文件描述符是有上限的,这个参数可以通过ulimit
命令查看和在运行时设置,但若想持久化该配置,需配置到sysctl.conf
,具体如何
配置请自行百度。本文记录Java进程「too many open files」的错误,其原因便是打开的文件描述符超过了OS的上限。
多对一autossh隧道管理
笔者的云端主机开放了两个端口,一个为SSH端口(假定为62638),一个为应用程序TCP端口(假定为62639,长连接),现有多个客户端连接到应用程序TCP端口进行数据通信,但假如我想通过云主机远程到某一个客户进行调试,该如何实现呢?
记录一次华为云主机被入侵
华为工作人员打电话给我,说扫描到我的6379端口呈开放状态,6379端口开放到公网有被攻击的风险。于是,我登录华为云主机,打算检查下我的iptables。可是,使用ssh竟然登录不上……