Gakkiyomi 👋🏼

KIP-500 在Kafka2.8之前，Kafka一直使用Zookeeper1来存储和管理Partition3和Broker4的元数据。以及选举一个Broker作为Kafka控制器 Kafka与Zookeeper5 Kafka移除Zookeeper1的动机 提高元数据管理的鲁棒性和可扩展性 支持更多分区 减少部署和配置难度 架构 当前，一个 Kafka 集群包含多个 broker 节点和一个外部的 ZooKeeper 仲裁节点。我们在这个图中描绘了 4 个 broker 节点和 3 个 ZooKeeper 节点，这是一个小型集群的典型规模。Kafka控制器（用橙色表示）在选举后从 ZooKeeper 仲裁节点加载其状态。控制器向其他 broker 节点推送更新，例如 LeaderAndIsr 和 UpdateMetadata 消息。 请注意，这个图有些误导。除了控制器，其他 broker 也会与 ZooKeeper 通信。因此，实际上应该从每个 broker 到 ZK 画线。然而，画这么多线会使图表难以阅读。另一个问题是，这个图省略了外部命令行工具和实用程序可以在没有控制器参....

简介 Raft 算法实际上是 Multi-Paxos的一个变种，通过新增两个约束： 追加日志约束 ：Raft 中追加节点的日志必须是串行连续的，而 Multi-Paxos 中则可以并发追加日志（实际上 Multi-Paxos 的并发也只是针对日志追加，最后应用到内部 State Machine 的时候还是必须保证顺序）。 选主的限制：Raft 中只有那些拥有最新、最全日志的节点才能当选 Leader 节点，而 Multi-Paxos 由于允许并发写日志，因此无法确定一个拥有最新、最全日志的节点，因此可以选择任意一个节点作为 Leader，但是选主之后必须要把 Leader 节点的日志补全。 基于这两个限制，Raft 算法的实现比 Multi-Paxos 更加简单易懂，不过由于 Multi-Paxos 的并发度更高，因此从理论上来说 Multi-Paxos 的性能会更好一些，但是到现在为止业界也没有一份权威的测试报告来支撑这一观点。 对比一下 Multi-Paxos 和 Raft 下集群中可能存在的日志顺序： 可以看出，Raft 中永远满足这样一个约束：follower log 一.......

Index Lifecycle Management（ILM）策略 Elasticsearch可以通过 Index Lifecycle Management (ILM) 策略自动创建每日滚动索引。以下是一个创建每日滚动索引的示例，配合ILM策略可以让索引根据数据增长自动创建新的每日索引，并在数据老化时移动到温或冷存储中。 配置ILM策略 首先，创建一个ILM策略来定义索引的生命周期，策略包括热（hot）、温（warm）和冷（cold）阶段。 PUT_ilm/policy/daily-log-policy { "policy":{ "phases":{ "hot":{# 热存储阶段，用于写入新数据 "actions":{ "rollover":{# 数据超过条件时，自动创建新的索引 "max_age":"1d",# 索引1天后滚动 "max_size":"50gb"# 或者当索引达到50GB时滚动 } } }, "warm":{# 温存储阶段，用于较少访问的数据 "min_age":"3d",# 数据进入温存储的最小年龄为3天 "actions":{ ....

在去年元旦的时候，因为没有出去玩无聊，给摸鱼派写了一个python客户端，那时候不会python，所以写的很烂。https://fishpi.cn/article/1641135630423 这周末由于周六爬山累到了，一天都在休息，于是想重构一下之前的屎山。并且加了一些功能。 于是 fishpi-pyclient 2.0.0 来了。 2.0.0版本最大的特点就是支持账号多开，一键切换账号。 安装方式 MacOS版本 下载连接 执行如下命令 chmod a+x ./fishpi-pyclient ./fishpi-pyclient 然后需要在偏好设置这里,如下图: 使用pip安装 pip install fishpi-pyclient 分身账号添加 通过配置文件 可通过#change username 来切换。 具体功能大家可以下载尝试 问题 由于本人没有windows机器，所以暂未在windows上测试 由于本人python并不是很熟悉，也在逐渐学习当中，如果大家对python很了解或者很感兴趣，也可以在github源码或者本帖留言提意见让我学习....

导言 Redis和Hazelcast是构建内存数据库的两个常见选择，但对于您的需求来说哪个更好呢？在本文中，我们将讨论如何在Redis和Hazelcast之间做出正确选择。 Redis是什么？ Redis是一个开源的内存键值数据结构存储库，可以用于实现数据库、缓存和消息代理。Redis软件使用C语言编写，并支持字符串、列表、映射和集合等高级数据类型。许多开发者喜欢Redis的轻量级占用空间、良好的性能和高可用性。 Hazelcast是什么？ Hazelcast是一个用Java编程语言编写的开源内存数据网格平台，常用于实现缓存。Hazelcast的基本单元是节点和集群。集群中的每个节点负责管理部分数据。这种分布式系统使得I/O和处理更加高效。 Redis和Hazelcast之间的三个主要区别 线程模型 虽然Redis是单线程的，但它使用高性能核心和非常低的内存占用。这个优势使您可以在单台机器上轻松运行多个Redis实例，充分利用所有的CPU核心。 "脑裂"问题是一种网络问题，当节点之间失去通信，每个节点都认为自己是主节点，这可能导致数据损坏，因为多个节点访问同一个文件或磁盘。Redis的....

前瞻 我们公司的项目是使用Java语言Springboot框架开发的，由于项目诞生较早没经过设计所以一直是以最简单的 Controller,Service,Repository,Entity的架构跑到了如今，恰逢美国对中国的技术封锁日益加剧，国家推出了中国信创产业发展白皮书,所以一些技术需要进行国产化，国内也涌出众多国产化的产品，如: TongWeb, OpenGauss,kingBase,Oceanbase 等。这篇文章不对这些国产化产品进行评价。只是由于信创的要求，大量客户要求我们厂家也需要支持国产化的组件。而一个优秀的软件架构可以省下非常多的工作量。 当前的形势 没错，对于老代码的屎山，高耦合就是唯一的特点。底层使用的postgresql数据库。以前我也发过一篇文章 信创兼容kingBase数据库,kingBase是基于postgres9.6开发的所以没什么难度，但是这次我们要兼容Oceanbase，这个数据库是基于Mysql开发的，由于mysql和postgres在语法层面的不同和不同的支持类型，同时兼容几乎是不可能的。所以我们需要改变我们目前的软件的设计架构，也就是六边形架构....

一位 new Date()大法好的老顽固的真香之旅。 new Date()大法和new SimpleDateFormat()等API是从我2018年学习Java开始就一直在使用的处理日期和格式化日期的神器，直到几个月前我还是喜欢用他们，但是突然遇到一个比较复杂并且涉及用户分布在全球的报表需求时，我开始退坑了。。。 我开始使用java.time包下的API，真香～～～ 在 Java 8 之前，java.util.Date 和 java.util.Calendar是用于表示日期和时间的类。但是这两个工具类 存在很多问题，例如： Date 和Calender是可变的，这意味着它不是线程安全的。 java.util.Date 的时间表示只能精确到毫秒，不能精确到更小的时间单位。 API 设计相对复杂且容易出错。 Calender使用了许多常量和魔法值，不够直观。例如，月份从 0 开始计数，这与我们通常的习惯不同，容易导致错误。 Date 存储的时间是从 1970-01-01T00:00:00Z（即格林威治时间）开始经过的时间，但是它的 API 设计存在很多问题，例如 getYear()....

在学习蚂蚁金服实现的Raft算法实现sofa-jraft项目中第一次接触到这个锁。jraft使用StampedLock来实现对于raft group 的路由信息的线程安全。 StampedLock是Java 8中引入的新的锁机制，它支持三种模式的访问控制，分别是读模式、写模式和乐观读模式，它可以在高并发的情况下提供更好的性能和吞吐量。 在StampedLock中，每个线程都需要获取一个戳（stamp）来进行读或写操作，这个戳是一个64位的数字，其中高16位代表一个版本号，低48位代表一个序号。线程可以使用tryOptimisticRead()方法来获取一个乐观读锁，这种方式不会阻塞线程，只是获取一个戳，如果获取到的戳发生了变化，就意味着有其他线程已经修改了共享资源，这时候需要重新获取锁。 StampedLock还支持读锁和写锁。读锁是共享锁，多个线程可以同时持有读锁，并发地读取共享资源，而写锁是独占锁，只有一个线程可以持有写锁，其他线程需要等待写锁释放才能继续执行。 StampedLock的优势在于，对于读多写少的场景，使用乐观读锁可以避免大量线程阻塞，提高系统的吞吐量；对于写操作比....

Semaphore是一种经典的同步工具，用于控制并发线程数，它可以保证在同一时间内只有一定数量的线程能够访问某个资源，从而避免线程间的竞争和冲突。 Semaphore有两个核心概念： 许可证（Permit）：表示可用的访问权限数量，Semaphore内部维护了一个许可证池，初始时可以设置许可证的数量。 信号量（Semaphore）：表示一个计数器，当线程想要访问某个资源时，必须先从Semaphore中获取一个许可证，然后才能访问资源；当线程使用完资源后，必须释放许可证，以便其他线程可以访问资源。 Semaphore的使用方式如下： 创建Semaphore对象，指定许可证数量。 在需要访问共享资源的线程中，调用acquire()方法获取许可证。 线程使用共享资源。 在共享资源使用完毕后，调用release()方法释放许可证。 听起来有点像操作系统里面信号量的概念，其实本质是一样的，不过操作系统层面的信号量是作用于进程与进程之间的同步，java里面的信号量是线程与线程之间的同步。 下面是一个简单的示例代码，使用Semaphore控制了同时执行的线程数目： import java.....

CyclicBarrier也是Java中的一个同步工具类，它允许一组线程等待彼此达到一个共同的屏障点，直到所有线程都到达屏障点后才能继续执行。CyclicBarrier可以被认为是一个可重用的计数器，每当一个线程到达屏障点时，计数器减1，当计数器减为0时，表示所有线程都已到达屏障点，等待的线程可以继续执行。 API CyclicBarrier的常用方法有两个： int await()：表示一个线程已经到达屏障点，等待其他线程，如果所有线程都到达屏障点，则计数器重置，并且所有线程都继续执行； int await(long timeout, TimeUnit unit)：表示一个线程已经到达屏障点，等待其他线程，如果所有线程都到达屏障点，则计数器重置，并且所有线程都继续执行；如果超时则抛出TimeoutException异常。 以下是一个使用CyclicBarrier进行线程同步的示例代码： import java.util.concurrent.BrokenBarrierException; import java.util.concurrent.CyclicBarrier; p....

继续 Java标准库API系列文章，今天要讲的是一个同步利器。CountDownLatch是Java中的一个同步工具类，它允许一个或多个线程等待一组事件的发生，直到所有事件都发生后才能继续执行。CountDownLatch通过一个计数器来实现，初始化一个正整数，每当一个事件发生时，计数器减1，当计数器为0时，表示所有事件都已发生，等待的线程可以继续执行。 在没有CountDownLatch之前，我们想让线程等待其他线程执行完之前等待话，需要使用到Thread类的join方法 就像之前 Java 标准库API系列之Exchanger的例子里的一样。 有了CountDownLatch之后等待其他多个线程执行完成的需求就可以使用更佳方便的API了。 CountDownLatch的常用方法有两个： void countDown()：表示一个事件已经发生，将计数器减1； void await()：等待所有事件发生，如果计数器不为0，则一直等待。 以下是一个使用CountDownLatch进行线程同步的示例代码： import java.util.concurrent.CountDownLa....

作为一名java程序员，熟练掌握java提供的标准库是非常必要的，所以有了Java 标准库API系列文章来介绍java标准库里的一些常用的工具类，了解这些标准库可以从中学习到大神贡献给java的优良的代码和理解一些操作系统的原理，例如并发等等。。。 本文会介绍juc包下的Exchanger类。 java.util.concurrent 包是 Java 5.0 提供的并发工具包(简称 JUC)包, 主要有原子操作 CAS，锁机制 AQS（可重入锁，闭锁，屏障锁等）， 并发集合（Map，Queue 等），线程池（线程池执行器，调度线程池执行器和执行器），Exchanger是Java中的一个同步工具类，它提供了一个同步点，允许两个线程在这个同步点交换数据。Exchanger实现了一种简单的交换数据模型，可以用于解决线程间通信和同步的问题。 Exchanger的常用方法有两个： exchange(V x)：交换数据，当前线程将数据x交换给另一个线程，同时等待另一个线程返回的数据； exchange(V x, long timeout, TimeUnit unit)：在指定时间内交换数据....

关于java字节码的处理，有很多工具，如bcel，asm。不过这些都需要直接跟虚拟机指令打交道。如果你不想了解虚拟机指令，可以采用javassist。javassist是jboss的一个子项目，其主要的优点，在于简单，而且快速。直接使用java编码的形式，而不需要了解虚拟机指令，就能动态改变类的结构，或者动态生成类。 ‍ 生成类 ClassPool pool = ClassPool.getDefault(); CtClass fangcongC = pool.makeClass("fangcong"); fangcongC.addField(CtField.make("public String name;",fangcongC)); fangcongC.addMethod(CtMethod.make("public String getName(){return this.name;}", fangcongC)); fangcongC.addMethod(CtMethod.make("public void setName(String name){this.name = ....

为了解决AOF文件体积膨胀的问题，Redis提供了AOF文件重写功能，新生成一个AOF文件来替代现有的AOF文件，新旧两个文件所保存的数据库状态相同，但新文件不会包含任何冗余命令,所以新AOF文件的体积会比旧的文件小。 redis的重写aof算法非常的聪明。 直接读取key的值，获取最新的key当前的值,然后用一条命令就可以做为这个key的当前状态。 def aof_rewrite(new_aof_file_name): # 创建新的AOF文件 f = create_file(new_aof_file_name) # 遍历数据库 for db in redisServer.db: # 忽略空数据库 if db.is_empty(): continue # 显示指定数据库 f.write_command("SELECT "+ db.id) for key in db: # 忽略已过期的key if key.is_expired(): continue # 根据key的类型对key进行重新 switch(key.type): case String: r....

Fastjson 重复引用对象的问题 出现相同的对象时，fastjson默认开启引用检测将相同的对象写成引用的形式 引用是通过"$ref"来表示的 引用 描述 "$ref":".." 上一级 "$ref":"@" 当前对象，也就是自引用 "ref":"" 根对象 "ref":".children.0" 基于路径的引用，相当于 root.getChildren().get(0) 复现 public static void main(String[] args) { final JSONObject src = new JSONObject(); src.put("a", "b"); src.put("c", "d"); src.put("e", "f"); final JSONObject object = new JSONObject(); object.put("src", src); object.put("target", src); System.out.println(object.toJSONString()); } ....

使用@RestControllerAdvice,@Pattern,@Valid实现统一表单参数校验返回 表单校验有很多种方法，最直接明了的就是直接在代码里面明编码。 这样子写既不美观也不专业，所以直入正题。 使用@RestControllerAdvice,@ExceptionHandler,@Pattern,@Valid实现统一表单参数校验返回 @RestControllerAdvice和@ExceptionHandler一起使用可以捕获controller层抛出的异常,然后我们就可以对期异常返回进行改造。 @Pattern 带有此注解的属性必须与起指定的正则表达式所匹配。 @Valid 带有此注解的对象会对自己的属性检查，如果带有了@Pattern,就进行校验。 结合这四个注解，我们就可以进行表单参数的校验返回了。 @RestControllerAdvice public class CmdbExceptionHandler{ public CmdbExceptionHandler() { } @ExceptionHandler({MethodArgumentNotVal....

一个Java对象的一生非常悲情，在需要时产生，在无用时消亡。当一个Java对象被可达性分析算法指明GC Roots到这个对象不可达时就宣告了这个对象即将面临被消亡的处境。 那么死亡是注定的吗？幸运的是它有一次“自救”的机会。当对象进行可达性分析后发现没有与GC Roots相连的引用链，那么它将被标记一次，然后进行一次筛选，条件是此对象是否有必要执行finalize方法，假设它这个对象没有重写finalize方法或者说这个方法已经调用过了，那么虚拟机就认为没有必要执行了。 当然如果被判定为有必要执行，那么虚拟机会将这些需要执行的对象放置在一个名为F-Queue的队列当中，然后一条由虚拟机建立的优先级低的线程去执行他们的finalize方法，但不保证一定会等待他们执行结束。原因是如果某个对象的finalize方法执行缓慢，或者更加极端的发生了死循环，将导致整个系统崩溃。 finalize方法是这些被即将消亡的对象唯一生存下来的机会，稍后收集器会对这个F-Queue中的对象进行第二次的标记，如果成功自救，那么在这次标记时它将被移出“即将回收”的集合，如果没有成功自救，那就在劫难逃，真的要被回....

概述 不管在开发还是生活中，遇到不同的问题都要用不同的方法来解决。例如我们进行应用程序开发时常常需要面对的三个问题： 解耦：将一个大的业务拆成多个模块，当主业务完成后，发送多个mq消息给其他模块，消费完成后即可实现业务，降低了业务的耦合性。 异步： 主业务执行结束发送消息通知从属业务通过MQ异步执行，明显降低响应时间，提高用户体验。 削峰： 高并发情况下，只允许一部分请求进入消息队列进行业务消费，将绝大部分的请求拦截在业务外面避免系统业务瘫痪。 这三个问题我们通通都可以使用消息队列来进行解决。 顾名思义，消息队列是一种队列(Go实现队列)，不过里面存的是用来交互的消息。 JMS VS AMQP java程序员可能都知道activeMQ,这是基于JMS实现的一个消息队列。那什么是JMS呢？通常来说JMS（Java MessageService）实际上是指JMS API。是Sun公司早期提出的一个消息标准，目的是为java应用提供统一的消息操作，包括create、send、receive。 但我们今天不会深入了解JMS，我们只需要知道JMS和AMQP的不同即可。 JMS AMQ....

堆 想实现堆排序，必须了解数据结构 ---堆。 那么什么是堆呢？ 在我看来堆就是一颗完全二叉树的数组形式。 根据其节点的大小，又分为 大顶堆和小顶堆。 堆虽然是树但是不用存子节点的指针，所以内存占用较小。堆主要用来排序，用来搜索性能较低。 他们的数组索引 就是树的层次遍历次序。 也可以得到获取其左右子节点的公式如下: 大顶堆：arr[i] >= arr[2i+1] && arr[i] >= arr[2i+2] 小顶堆：arr[i] <= arr[2i+1] && arr[i] <= arr[2i+2] 根据这个公式 我们可以先用代码实现下堆的特性： Heap struct { Items []int } func (hp *Heap) GetLeftIndex(parentIndex int) int { return 2*parentIndex + 1 } func (hp *Heap) GetRightIndex(parentIndex int) int { return 2*parentIndex + 2 } ....