作者：京东物流 纪卓志 目前市面上充斥着大量关于跳跃表结构与Redis的源码解析，但是经过长期观察后发现大都只是在停留在代码的表面，而没有系统性地介绍跳跃表的由来以及各种常量的由来。作为一种概率数据结构，理解各种常量的由来可以更好地进行变化并应用到高性能功能开发中。本文没有重复地以对现有优秀实现进行代码分析，而是通过对跳跃表进行了系统性地介绍与形式化分析，并给出了在特定场景下的跳跃表扩展方式，方便读者更好地理解跳跃表数据结构。 跳跃表[1,2,3]是一种用于在大多数应用程序中取代平衡树的概率数据结构。跳跃表拥有与平…
一、Nifi配置 1) nifi基本配置 1. jdk配置：nifi新版本要求jdk版本必须1.8以上 目录：bin/nifi.env.sh export JAVA_HOME=/usr/java/jdk1.8 忽略此项配置，nifi将使用系统默认Java环境启动。 2. nifi运行内存配置 目录：conf/bootstarp.conf java.arg.2=-Xms2048m java.arg.3=-Xmx4096m 根据服务器性能合理设置nifi内存 3. n…
Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理 1引子 大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据 ... 面对如此庞大的数据，如何存储、如何有效利用大规模的服务器集群处理计算才是大数据技术的核心。 2HDFS 分布式文件存储架构 我们知道，Goo…
1、数据发布与订阅（配置中心） 数据发布/订阅系统，即配置中心。需要发布者将数据发布到Zookeeper的节点上，供订阅者进行数据订阅，进而达到动态获取数据的目的，实现配置信息的集中式管理和数据的动态更新（可以把我们知道RPC的注册中心看成是此场景的应用）。 发布/订阅一般有两种设计模式：推模式和拉模式，服务端主动将数据更新发送给所有订阅的客户端称为推模式；客户端主动请求获取最新数据称为拉模式，Zookeeper采用了推拉相结合的模式，客户端向服务端注册自己需要关注的节点，一旦该节点数据发生变更，那么服务端就会向相…
Paxos算法产生的背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。 我自己的理解是：不要把这个Paxos算法达到的目的和分布式事务联系起来，而是针对Zookeeper这样的master-slave集群对某个决议达成一致，也就是副本之间写或者leader选举达成一致。我觉得这个算法和狭义的分布式事务不是一样的。 在常见的分布式系统中，总会发生诸如机器宕机或网络异常（包括消息的延迟、丢失、重…
作者: 舟柒、楼台 1. 业务背景与挑战 1.1 实时计算集群现状 关于热点机器处理一直是阿里云 Flink 集群运维的一大痛点，不管在日常还是大促都已经是比较严重的问题，同时这也是分布式系统的老大难问题。而在今年整个阿里云成本控制的背景下，随着集群水位的逐步抬升，热点问题愈发严重。日均有上千次的热点机器出现，并且在晚上业务高峰期，整个热点持续时间会超过 60min，对于业务以及对于平台影响是比较大的。 这里的影响是体现在稳定，成本，效率三方面的，首先热点会导致作业的部分节点延时，高 SLA 要求任务的性能得不到保…
1.Windows 7 64位 如何删除桌面IE图标 注册表：Win+R+Regedit HKEY_LOCAL_MACHINESOFTWAREMicrosoftWindowsCurrentVersionExplorerDesktopNameSpace{00000000-0000-0000-0000-100000000001} 注意是删除{00000000-0000-0000-0000-100000000001}不是里面的子项 ———————————————————————————————————————————— …