李玉坤

个人博客

[Scala]02 Scala学习笔记

Scala模式匹配[最基础的模式匹配、加条件进行匹配、Array 模式匹配、List 模式匹配、类型匹配、异常处理、case class模式匹配、Some None模式匹配]、Scala函数高级操作[匿名函数与currying函数、高阶函数、偏函数]、隐式转换[隐式转换实战、隐式转换切面封装、隐式参数、隐式类]

Scala模式匹配模式匹配 Java： 对一个值进行条件判断，返回针对不同的条件进行不同的处理 Scala：比java的功能强很多变量 match { case value1 => 代码1 case value2 => 代码2 ….. case _ => 代码N} 最基础的模式匹配12345678910111213141516171819202......

Posted by 李玉坤 on 2018-03-16

Scala

[Scala]01 Scala学习笔记

scala 的下载安装、scala初体验[编译运行]、Scala入门[Scala 数据类型、lazy在Scala中的使用]、函数的定义和使用[条件表达式、循环表达式]、Scala对象[类的定义和使用、主构造器和附属构造器以及继承、抽象类、伴生类和伴生对象、cass class、Trait]、Scala 集合[数组、List、Map、Option&Some&None、Tuple]

scala 的下载安装前置条件需要安装JDK8 1234[hadoop@hadoop app]$ java -versionjava version "1.8.0_231"Java(TM) SE Runtime Environment (build 1.8.0_231-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.231-......

Posted by 李玉坤 on 2018-03-10

Scala

[Linux]06 使用shell脚本发送邮件

前置条件、使用脚本发送普通邮件、带表格告警的邮件

前置条件要使用脚本发送邮件，必须设置发送邮箱开启IMAP/SMTP服务。否则将会报错。 同时脚本所在服务器需要有sendEmail命令 1234567891011121314#下载安装包wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz#创建目录mkdir -p /usr/local/b......

Posted by 李玉坤 on 2018-03-09

Linux

[Linux]05 shell 脚本语法

入门、sed命令  替换、awk命令 取数、分割、循环、if判断、数组、传递参数、变量、shell的debug

入门 shell脚本默认的【大家约定的并不是百分百】是.sh结尾的 而且脚本需要有执行权限+x 我们也可以通过sh [文件名] 来执行本文件；也是用sh命令来执行这个脚本 123456789101112131415161718192021222324252627[hadoop@hadoop data]$ sh --helpGNU bash, version 4.2.46(2)-releas......

Posted by 李玉坤 on 2018-03-04

Linux

[Linux]04 大数据常用命令 四

调度|执行|软连接

调度工具crontab比如一个可执行文件test.sh文件内容 123#!/bin/bash （解释器）date 执行这个shell脚本需要x执行权限执行命令 12./test.shsh ./test.sh 后缀 .sh 和 第一行#!/bin/bash 没有，sh命令去执行也可以执行成功 12[root@hadoop ~]# crontab -l* * * * * /root/te......

Posted by 李玉坤 on 2018-02-28

Linux

[Linux]03 大数据常用命令 三

用户权限以及性能相关命令

/etc/passwd文件123456789101112131415161718[root@hadoop k]# cat /etc/passwd其中有一行：k:x:1001:1002::/home/k:/bin/bash当/bin/bash是/bin/false或者/sbin/nologin[root@hadoop k]# su - k 命令是切换用户切不过去的在安装CDH的时候/etc/p......

Posted by 李玉坤 on 2018-02-24

Linux

[Linux]02 大数据常用命令 二

文件、用户组等内容命令

查看文件内容123456789101112131415161718192021222324252627282930313233343536373839404142434445464748cat 文件内容一下子全部显示more 文件内容一页一页的往下翻，按空格键往下，回退不了，按q退出less 文件内容 往下 往上 按上下箭头的按键 按q键退出对于配置文件、内容较少的文件 建议使用 cat ......

Posted by 李玉坤 on 2018-02-19

Linux

[Linux]01 大数据常用命令 一

基本操作命令

[hadoop@hadoop ~]$12[hadoop@hadoop ~]$ 含义：登录的用户@机器名称 家目录 查看当前光标所在的目录 pwd123[hadoop@hadoop ~]$ pwd/home/hadoop[hadoop@hadoop ~]$ 切换目录 cd12345678910111213141516171819202122[hadoop@hadoop ~]$ cd /......

Posted by 李玉坤 on 2018-02-15

Linux

[Kettle]09 九、kettle统计-映射-脚本控件

kettle统计-映射-脚本控件

统计控件统计是转换里面的第十三个分类。 统计是提供数据的采样和统计功能。 分组分组是按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并。 注意：分组之前数据应该进行排序！ 从Excel读取数据，按照group进行分组统计，把结果保存到Excel 输入：Excel输入统计：分组输出：Microsoft Excel输出 映射控件映射是转换里面的第十八个分类。 映射是用来定义子转......

Posted by 李玉坤 on 2018-02-08

Kettle

[Kettle]08 八、kettle连接控件

kettle连接控件

连接是转换里面的第八个分类。连接是结果集通过关键字进行连接。 合并记录合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源：新数据来源的步骤 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。 “identical” – 旧数......

Posted by 李玉坤 on 2018-02-04

Kettle

FEATURED TAGS
大数据 computer language 面试题 SpringBoot Kafka ZooKeeper HBase Phoenix HDFS Hadoop MapReduce YARN Hive 数据仓库 Kerberos Kettle Linux Scala Spark 数据平台 Ranger Azkaban Presto Hue Java Json
ABOUT ME

Stay hungry,Stay foolish

RECENT POSTS
ARCHIVES