兰洋的博客 | Lany Blog

垃圾收集器与内存分配策略(二)

垃圾收集算法以及Hotspot算法实现

垃圾收集器与内存分配策略(二) Java与C++之间有一堵由内存动态分配和垃圾收集技术所围成的“高墙”，墙外面的人想进去，墙里面的人想出来。垃圾收集算法由于垃圾收集算法的实现涉及大量的程序细节，而且各个平台的虚拟机操作内存的方法又各不相同，所以在此只介绍几种算法的思想及其发展过程。标记-清除算法最基础的算法是“标记-清除”（Mark-Sweep）算法，如同它的名字一...

Posted by LANY on March 7, 2019

PivotalCloudFoundry(一)

Deploy App To CloudFoundry

PivotalCloudFoundry-Deploy APP 先决条件安装Cloud Foundry Command Line Interface 部署过程上传并存储应用程序文件检查并存储应用程序元数据为应用程序创建”droplet”(CloudFoundry执行单元) PCF选择合适的Diege Cell运行所创建的”droplet” 开始运行...

Posted by LANY on March 6, 2019

垃圾收集器与内存分配策略(一)

对象存活判断算法、回收过程

垃圾收集器与内存分配策略(一) Java与C++之间有一堵由内存动态分配和垃圾收集技术所围成的“高墙”，墙外面的人想进去，墙里面的人想出来。概述经过半个多世纪的发展，目前内存的动态分配与内存回收技术已经相当成熟，一切看起来已经都进入了“自动化”的时代，那为什么我们还需要去了解GC和内存分配呢？答案很简单：当需要排查各种内存溢出、内存泄漏的问题时，当垃圾收集称为系统达到更高并...

Posted by LANY on February 24, 2019

Kafka设计及其原理

初识Kafka

Kafka设计及其原理 Kafka简介 Apache Kafka是一个分布式的基于push-subscribe的流平台。一个流平台有3个关键的功能: 发布和订阅流记录，类似于消息队列或者企业级消息系统以容错的持久方式记录流处理刚发生的流记录 Kafka通常被用于两大类应用：构建可以在系统和应用程序之间可靠的获取实时的流数据管道构建对流记录进行转...

Posted by LANY on February 23, 2019

Kafka设计及其原理(二)

Kafka核心特性以及相关设计

Kafka核心特性压缩 Kafka支持以集合为单位发送信息，在此基础上，Kafka还支持对消息集合进行压缩，Producer端可以通过GZIP或Snappy格式对消息集合进行压缩。Producer端进行压缩后，在Consumer端需对消息进行解压，压缩的好处就是减少传输的数据量，并减少网络传输的压力，在大数据处理上，瓶颈往往体现在网络上而不是CPU（压缩和解压会消耗部分CPU资源）。 ...

Posted by LANY on February 23, 2019

Greenplum表的种类、原理以及如何选择

Greenplum行存、列存、AO表的原理介绍和选择

Greenplum行存、列存、AO表的原理和选择行存和列存的原理行存以行为形式组织存储，一行是一个tuple，存在一起。当需要读取某列时，需要将这列前面的所有列都进行deform，所以访问第一列和访问最后一列的成本实际上是不一样的。优势：数据顺序写入block中，持续写入的情况下，一条记录命中在一个块中，IO开销相对较小，速度较快。查...

Posted by LANY on February 22, 2019

Java IO流认识

Java中输入输出流的种类以及介绍

JavaIO流流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在设备间的传输称为流，流的本质是数据传输，根据数据传输的特性将流抽象为各种类，方便更直观的进行数据操作。 IO流的分类根据处理数据类型的不同分为：字符流和字节流根据数据流向不同分为：输入流和输出流字符流和字节流字符流的由来：因为数据编码的不同，而有了对字符进行高效操作的流对...

Posted by LANY on February 21, 2019

Kafka性能调优（不定期更新）

Kafka问题以及解决办法汇总

Kafka问题以及解决办法汇总记录本人在日常工作中，所碰到的有关Kafka性能的问题。 Kafka各节点主机cpu飙升利用top命令查看Kafka各节点，发现kafka的进程占用cpu资源超过200%，严重的达到300%。原因当数据发送到Kafka的topic之后，数据首先会存放在Kafka集群的leader中，然后每个follower会从leader中拉取...

Posted by LANY on February 20, 2019

如何解读Greenplum执行计划

Greenplum执行计划的介绍以及解读

什么是Greenplum执行计划 Greenplum执行计划是指所执行的SQL在数据库中的执行的先后步骤。通过检查性能不佳的查询的查询计划，以确定可能的性能调优的机会。 Greenplum Database为每个查询设计查询计划。选择正确的查询计划以匹配查询和数据结构是获得良好性能所必需的。查询计划定义了Greenplum数据库如何在并行执行环境中运行查询。查询优化器使用数据...

Posted by LANY on February 19, 2019

GreenplumCommandCenter安装

GreenplumCCWeb的介绍以及安装步骤

Greenplum CommandCenter是什么? Greenplum CommandCenter是Pivotal Greenplum Database大数据平台的一个网页版管理工具。 Greenplum CommandCenter监控其平台的性能指标，分析其集群的健康状况并且使数据库管理员能够在Greenplum数据库环境中执行管理任务。 Greenplum CommandCen...

Posted by LANY on February 18, 2019

Lany Blog