Lany Blog

Talk is cheap,shwo me the code.

Kerberos问题记录

kerberos避坑指南

kerberos相关问题记录 主要本人在工作中碰到的一些kerberos问题,防止下次继续踩坑。 [toc] org.apache.hadoop.ipc.RemoteException(java.io.IOException): Delegation Token can be issued only with kerberos or web authentication 具体报错如下...

Kubeflow-Pipeline

pipeline概念、架构、提交流程

pipeline是什么? 它是一个工作流平台,能够编译部署机器学习的工作流,可以定义复杂的数据dag流程,并提供可视化的流程展示和结果展示。 pipeline是kubeflow里面非常重要的一个组件,用来将整个机器学习任务给串联起来。 pipelines平台组成 一个用来跟踪和管理job以及运行的web ui界面 一个用来调度多个ml工作流程步骤的引擎 用来定义和操作pi...

Kubeflow安装

安装、避坑指南

Kubeflow是Google推出的基于kubernetes环境下的机器学习组件,通过Kubeflow可以实现对TFJob等资源类型定义,可以像部署应用一样完成在TFJob分布式训练模型的过程。最初的设计是将Kubernetes和Tensorflow结合实现对Tensorflow分布式训练的支持。但是仅仅实现对Tensorflow的支持还是远远不够的,Kubeflow社区又陆续对各种深度学习...

数据仓库(二)

数据模型对比

数据仓库-数据模型对比 范式建模 该方法主要由Inmon所提倡,主要利用关系型数据库进行数据仓库的建设,且模型的建设方法和业务系统的数据模型比较类似。 经典范式理论中,一个符合第三范式的关系必须具有以下三个条件: 1NF 每个属性值维一且不可拆分,不具有多义性。 比如说一张表里面存在如下字段: 姓名 地址 ...

数据仓库(一)

基本概念

数据仓库-基础概念 什么是OLTP&OLAP 1.区别 联机事物处理:OLTP 侧重于事物 事物ACID特性 原子性(atomicity) 一致性(consistency) 孤立性(isolation) 持续性(durability) 联机分析处理:OLAP 侧重于分析 维度(Dimension) 度量(Meas...

Linux速查笔记

shell以及常用命令

Linux shell笔记 [toc] if…else case case "$variable" in abc) echo "\$variable = abc" ;; xyc) echo "\$variable = xyz" ;; *) echo "other word." ...

构建Docker镜像

构建Docker镜像的4种方式

构建Docker镜像的4种方式 (一)通过Dockerfile对项目的fat jar进行构建 创建一个spring-boot项目 为了方便,你可以clone现有的项目来进行练习: git clone https://github.com/spring-guides/gs-spring-boot-docker.git cd gs-spring-boot-docker/initi...

Java多线程笔记(三)

线程队列的原理解析以及介绍

线程池队列 线程池队列是指当线程池中核心线程满了之后,用于存放任务的工作队列,线程池中的队列有如下7种: ArrayBlockingQueue DelayQueue LinkedBlockingDeque LinkedBlockingQueue LinkedTransferQueue PriorityBlockingQueue SynchronousQueu...

Java多线程笔记(二)

线程池`ThreadPoolExecutor`的介绍以及使用

背景 在我们日常开发中总会利用多线程去并发的处理请求,又或者用多线程处理文件的并发写入等等,但是这样会碰到一个问题:如果在并发量很大的情况下,每一个请求都开启一个新线程,那么系统就要花费很大的资源和时间去为请求创建线程和销毁,而且有时候线程的创建和销毁会比线程真正执行的时间还长,这样系统肯定是受不了的。那么在这种情况下,我们通常会用线程池来下列问题: 减少每个线程创建和销毁的性能开...

Java多线程笔记(一)

synchronized(this)、synchronized(Object)、synchronized(*.class)以及synchronized应用在静态方法上的区别

背景 我们都知道在多线程的情况下,在代码中使用synchronized可以实现同步功能,但是仔细留意下,会发现synchronized括号内的值有this,也有*.class,还有的会将synchronized应用在方法上,我们今天来针对这几种类型的同步方法来研究下到底有什么不同。 synchronized(this)或者synchronized应用在非静态方法上时 当我们使用以上两种...