兰洋的博客 | Lany Blog

Kerberos问题记录

kerberos避坑指南

kerberos相关问题记录主要本人在工作中碰到的一些kerberos问题，防止下次继续踩坑。 [toc] org.apache.hadoop.ipc.RemoteException(java.io.IOException): Delegation Token can be issued only with kerberos or web authentication 具体报错如下...

Posted by LANY on December 25, 2020

Kubeflow-Pipeline

pipeline概念、架构、提交流程

pipeline是什么？它是一个工作流平台，能够编译部署机器学习的工作流，可以定义复杂的数据dag流程，并提供可视化的流程展示和结果展示。 pipeline是kubeflow里面非常重要的一个组件，用来将整个机器学习任务给串联起来。 pipelines平台组成一个用来跟踪和管理job以及运行的web ui界面一个用来调度多个ml工作流程步骤的引擎用来定义和操作pi...

Posted by LANY on November 10, 2020

Kubeflow安装

安装、避坑指南

Kubeflow是Google推出的基于kubernetes环境下的机器学习组件，通过Kubeflow可以实现对TFJob等资源类型定义，可以像部署应用一样完成在TFJob分布式训练模型的过程。最初的设计是将Kubernetes和Tensorflow结合实现对Tensorflow分布式训练的支持。但是仅仅实现对Tensorflow的支持还是远远不够的，Kubeflow社区又陆续对各种深度学习...

Posted by LANY on November 10, 2020

数据仓库（二）

数据模型对比

数据仓库-数据模型对比范式建模该方法主要由Inmon所提倡，主要利用关系型数据库进行数据仓库的建设，且模型的建设方法和业务系统的数据模型比较类似。经典范式理论中，一个符合第三范式的关系必须具有以下三个条件： 1NF 每个属性值维一且不可拆分，不具有多义性。比如说一张表里面存在如下字段: 姓名地址 ...

Posted by LANY on January 6, 2020

数据仓库（一）

基本概念

数据仓库-基础概念什么是OLTP&OLAP 1.区别联机事物处理：OLTP 侧重于事物事物ACID特性原子性（atomicity）一致性（consistency）孤立性（isolation）持续性（durability）联机分析处理：OLAP 侧重于分析维度(Dimension) 度量(Meas...

Posted by LANY on January 4, 2020

Linux速查笔记

shell以及常用命令

Linux shell笔记 [toc] if…else case case "$variable" in abc) echo "\$variable = abc" ;; xyc) echo "\$variable = xyz" ;; *) echo "other word." ...

Posted by LANY on January 1, 2020

构建Docker镜像

构建Docker镜像的4种方式

构建Docker镜像的4种方式（一）通过Dockerfile对项目的fat jar进行构建创建一个spring-boot项目为了方便，你可以clone现有的项目来进行练习： git clone https://github.com/spring-guides/gs-spring-boot-docker.git cd gs-spring-boot-docker/initi...

Posted by LANY on December 12, 2019

Java多线程笔记（三）

线程队列的原理解析以及介绍

线程池队列线程池队列是指当线程池中核心线程满了之后，用于存放任务的工作队列，线程池中的队列有如下7种： ArrayBlockingQueue DelayQueue LinkedBlockingDeque LinkedBlockingQueue LinkedTransferQueue PriorityBlockingQueue SynchronousQueu...

Posted by LANY on November 19, 2019

Java多线程笔记（二）

线程池`ThreadPoolExecutor`的介绍以及使用

背景在我们日常开发中总会利用多线程去并发的处理请求，又或者用多线程处理文件的并发写入等等，但是这样会碰到一个问题：如果在并发量很大的情况下，每一个请求都开启一个新线程，那么系统就要花费很大的资源和时间去为请求创建线程和销毁，而且有时候线程的创建和销毁会比线程真正执行的时间还长，这样系统肯定是受不了的。那么在这种情况下，我们通常会用线程池来下列问题：减少每个线程创建和销毁的性能开...

Posted by LANY on November 9, 2019

Java多线程笔记（一）

synchronized(this)、synchronized(Object)、synchronized(*.class)以及synchronized应用在静态方法上的区别

背景我们都知道在多线程的情况下，在代码中使用synchronized可以实现同步功能，但是仔细留意下，会发现synchronized括号内的值有this，也有*.class，还有的会将synchronized应用在方法上，我们今天来针对这几种类型的同步方法来研究下到底有什么不同。 synchronized(this)或者synchronized应用在非静态方法上时当我们使用以上两种...

Posted by LANY on November 5, 2019

ABOUT ME

Lany Blog