【收藏】 Kafka监控组件大全

本文使用Burrow和Telegraf搭建Kafka的监控体系。然后,简单介绍一下其他的,比如Kafka Manager,Kafka Eagle,Confluent Control Center等。如果你对kafka比较陌生,请参考:Kafka基础知识索引Burrow依赖路径使用Burrow拉取kafka的监控信息,然后通过telegraf进行收集,最后写入到influxdb中。使用grafana

开源一个kafka增强:okmq-1.0.0

本工具的核心思想就是:赌。只有两个基础组件同时死亡,才会受到严重影响。哦,断电除外。mq是个好东西,我们都在用。这也决定了mq应该是高高高可用的。某团就因为这个组件,出了好几次生产事故,呵呵。大部分业务系统,要求的消息语义都是at least once,即都会有重复消息,但保证不会丢。即使这样,依然有很多问题:一、mq可用性无法保证。 mq的意外死亡,造成生产端发送失败。很多消息要通过扒取日志进行

[jaeger] 四、微服务之调用链(Feign+SpringCloud)

终于到了我们的重点,微服务了。与使用OkHttp3来实现的客户端类似,Feign接口本来也就是一个Http调用,依然可以使用Http头传值的方式,将Trace往下传。本文更多的是关于SpringCloud的一些知识,你需要了解一些基本的Spring相关的知识。更多系列,请关注公众号小姐姐味道,本文相关代码的github地址,见:https://github.com/sayhiai/example-

【教程】如何做apm客户端(关键字:Zipkin、Jaeger、SkyWalking、OpenTracing)

随着微服务架构的流行,一次请求往往需要涉及到多个服务,因此服务性能监控和排查就变得更复杂。APM因此而生。目前,市面上的APM服务端已经有了非常多的实现。比如Zipkin、Jaeger、SkyWalking、Elastic APM等(Pinpoint并不支持OpenTracing,所以我们不介绍)。本教程仅提供一些开发思路,对技术要求较高,因为大部分需要涉及到对相应组件源码的理解。全部源码都可以在

[jaeger] 三、实现一个分布式调用(OkHttp+SpringBoot)

很多情况,trace是分布在不同的应用中的,最常用的远程调用方式就是Http。在这种情况下,我们通常通过增加额外的Http Header传递Trace信息,然后将其组织起来。本部分通过构建一个目前最火的SpringBoot服务端,然后通过OkHttp3进行调用,来展示分布式调用链的组织方式。更多连载关注小姐姐味道,本文相关代码见:https://github.com/sayhiai/example

[jaeger] 二、客户端使用 (Java版本)

友情提示,jaeger的standalone部署方式,可以快速开启试用。本文通过两个简单的示例,说明如何使用java的api构建一个简单的调用链。更多连载请关注《小姐姐味道》。相关代码见github。https://github.com/sayhiai/example-jaeger-opentracing-tutorial-001-002由于jaeger是基于OpenTracing的,所以只要你的

【小而美】打造小而美的基础支撑系统

全部采用开源组件,不重复制造轮子。着重开发后台管理功能,方便使用。第一部【基础设施】一、资产管理,跳板机【基础设施】二、监控系统,可视化【基础设施】三、DNS体系【基础设施】四、VPN搭建【基础设施】五、Ansible第二部【基础服务】一、MySQL高可用【基础服务】二、Redis高可用【基础服务】三、Kafka高可用【基础服务】四、ElasticSearch高可用【基础服务】五、配置中心第三部【

[jaeger] 一、安装和部署

基本介绍支持OpenTracing的server端有很多,我们总要选一个。在这里,选用jaeger。jaeger的开发较为活跃,支持的客户端实现也较多。由于采用了golang开发,发行包也比较简洁。jaeger的官网是 https://www.jaegertracing.io/特点 jaeger的开发语言是`golang` jaeger支持OpenTracing协议,同属于CNCF基金会 jae

使用多线程增加kafka消费能力

前提:本例适合那些没有顺序要求的消息主题。kafka通过一系列优化,写入和读取速度能够达到数万条/秒。通过增加分区数量,能够通过部署多个消费者增加并行消费能力。但还是有很多情况下,某些业务的执行速度实在是太慢,这个时候我们就要用到多线程去消费,提高应用机器的利用率,而不是一味的给kafka增加压力。使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的Shutdow

Kafka消息系统基础知识索引

我们在《360度测试:KAFKA会丢数据么?其高可用是否满足需求?》这篇文章中,详细说明了KAFKA是否适合用在业务系统中。但有些朋友,还不知道KAFKA为何物,以及它为何存在。这在工作和面试中是比较吃亏的,因为不知道什么时候起,KAFKA似乎成了一种工程师的必备技能。一些观念的修正从 0.9 版本开始,Kafka 的标语已经从“一个高吞吐量,分布式的消息系统”改为"一个分布式流平台"。Kafka

360度测试:KAFKA会丢数据么?其高可用是否满足需求?

请仔细了解这张图,尤其注意有标志的几个关注点。我们会不止一次回到这张图上背景Kafka到底能够应用在高可用的业务上?官方给出的答案是肯定的,最新版,已经支持消息队列的事务,但我们对其性能是有疑问的。Kafka根据配置的ACK级别,其性能表现将特别大,为了找到其适用场景,特做此测试,以便应用kafka时能够灵活应对。测试过程还探讨了许多丢消息的场景。相对于大多数仅仅针对kafka集群本身的测试,本测

最新文章

最近回复

  • lycying: 用不了这么多吧。见http://sayhiai.com/inde...
  • Sean: 单机一百万? 那么这个机器起码要装 1TB的内存啊?
  • lycying: 默认就是开放的
  • lycying: 已修改
  • lycying: 是的
  • Taxz: 请问在master选举时,为什么 需要Thread.sleep(...
  • hesl: 正文宽度太窄了
  • donald: 什么时候开放rss
  • 宜城有少年: 我试了下好像还是不需要注解都行。。。
  • 宜城有少年: 意思是说如果我把这个去掉就是实现了注解方式的对吗
  • lycying: 见文中,SpringBoot启动会自动读取 src/main/r...
  • 宜城有少年: 博主,我想问下,为什么只要我引入了JAR包,不需要注解都可以使用。。。
  • lycying: 是的,而且不能是private
  • 宜城有少年: 博主请问下引用的注解是放在微服务被调用的里面吗方法里面吗
  • 宜城有少年: 这个是将整个springboot项目打成JAR包吗?
  • lycying: 女人养的狗
  • vbyzc: 女人吗??
  • anshingy: 支持
  • anshingy: 很好,支持
  • 忠实粉丝: 6666666

分类

标签

归档

其它