8月 26

kafka介绍 & 环境搭建

介绍

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?

首先让我们看几个基本的消息系统术语:

  • Kafka将消息以topic为单位进行归纳。
  • 将向Kafka topic发布消息的程序称为producers.
  • 将预订topics并消费消息的程序称为consumer.
  • Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.

继续阅读

8月 06

mysql主从配置、原理以及性能

最近各种的性能测试,其中有一项是mysql的性能测试,目的是测试一主多从的配比下,主库插入速度到达多少时,从库就会出现延时,这样来评估一些强依赖db写的接口的性能(其实最快的还是操作缓存,其实目前也有些公司的系统已经不直接操作db,全部用缓存,然后缓存在后台慢慢和db交互)。

分析mysql的binlog得到全部的insert语句,然后使用jmeter进行压测,得到的结论有下面几条:

  1. 线上的真机mysql服务器,内存60G,ssd硬盘,insert速度可以达到8000条/秒。
  2. 拓展从库几乎不影响主库的插入速度,平均插入时间为1毫秒
  3. 拓展从库,主库机器的网卡流量会增加,cpu、负载会上升,但不是很明显。
  4. 当插入速度在3800左右时,主从开始出现延时。

继续阅读