李玉坤

[Hive] Hive之复杂类型

Hive复杂数据类型(array、MAP、struct)、练习

Hive复杂数据类型arrayarray_contains(column, ‘value’) hive_array.txt 12pk beijing,shanghai,tianjin,hangzhoujepson changchu,chengdu,wuhan,beijing 12345678910111213141516create table hive_array(name string,......

Posted by 李玉坤 on 2017-10-24

Hive

[Hive] Hive之UDF函数

自定义UDF、自定义临时函数和永久函数

UDF：普通的用户自定义函数。接受单行输入，并产生单行输出。如转换字符串大小写，获取字符串长度等。UDAF：用户定义聚集函数（User-defined aggregate function）。接受多行输入，并产生单行输出。比如MAX，COUNT函数。比如sum/minUDTF：用户定义表生成函数（User-defined table-generating function）。接受单行输入，并......

Posted by 李玉坤 on 2017-10-23

Hive

[Hive] Hive的元数据

VERSION、DBS、TBLS、SDS、COLUMNS_V2、PARTITIONS

1234<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.232.8:3306/hadoop?createDatabaseIfNotExist=true&autoReconnect=true&amp......

Posted by 李玉坤 on 2017-10-20

Hive

[HBase]09 Phoenix二级索引九

覆盖索引、函数索引、可变索引与不可变索引、同步索引与异步索引

覆盖索引语法： 12345创建索引CREATE INDEX my_index ON my_schema.my_table(sex,date) INCLUDE(col4);删除索引DROP INDEX my_index ON my_schema.my_table; 本质:原始列的数据也存在index table。这样查询索引数据时不需要去原始表查询，直接获取结果，节省开销。好处：空间换时......

Posted by 李玉坤 on 2017-10-17

HBase Phoenix

[HBase]08 Phoenix二级索引八

全局索引、本地索引

Phoenix二级索引官网：http://phoenix.apache.org/secondary_indexing.html 建表和建索引 12345678910111213141516171819202122232425建表：0: jdbc:phoenix:> select * from my_schema.my_table;+-----+---------------------......

Posted by 李玉坤 on 2017-10-15

HBase Phoenix

[HBase]07 Phoenix工具与盐表七

Phoenix如何和HBase namespace映射、dbeaver的安装配置、盐表简述

Phoenix的schema与HBase的namespace官网介绍：http://phoenix.apache.org/namspace_mapping.html 默认情况下在Phoenix中create schema 默认不会映射到namespace；需要在服务端和客户端都开启phoenix.schema.isNamespaceMappingEnabled 服务端:hbase-site.......

Posted by 李玉坤 on 2017-10-08

HBase Phoenix

[HBase]06 Phoenix入门六

Phoenix简介、Phoenix安装、Phoenix使用

Phoenix简介构建在Apache HBase之上的一个SQL中间层可以在Apache HBase上执行SQL查询,性能强劲较完善的查询支持,支持二级索引,查询效率较高 OLTP and operational analytics for Apache Hadoop 小知识插入：OLTP 联机事务处理比如关系型数据库 Oracle MySQLOLAP 联机分析处理比如hiv......

Posted by 李玉坤 on 2017-10-05

HBase Phoenix

[HBase]05 HBase容灾与监控五

Hbase备份与恢复、CopyTable、Export/Import、Snapshot、Replication、DistCp 迁移、如何监控HBase集群、Ambari监控、Hadoop JMX监控

Hbase备份与恢复四种方案：◆Export / Import ◆CopyTable ●Replication ●Snapshot CopyTable 支持时间区间、row区间,改变表名称, 改变列族名称,指定是否 Copy已经被删除的数据等功能, CopyTable工具采用scan查询, 写入新表时采用put和delete API, 全是基于hbase的client Api进行读......

Posted by 李玉坤 on 2017-10-02

HBase

[HBase]04 深入了解HBase架构四

Hbase架构大全，包含组件、读写、底层原理

HBase体系结构组件在物理上，HBase由三种服务器组成，属于主从架构。regionserver为读写提供数据。在访问数据时，客户端直接与HBase regionserver通信。region分配、DDL(创建、删除表)操作由HBase主进程处理。Zookeeper是HDFS的一部分，它的作用是维护集群的状态。 Hadoop DataNode存储Region Server的数据。所有HBa......

Posted by 李玉坤 on 2017-09-28

HBase

[HBase]03 HBASE进阶三

Hbase数据存储过程优化、Hbase服务端常用读写优化策略、HBase协处理器

什么导致hbase性能下降？ jvm内存分配与gc回收策略与hbase运行机制相关的部分配置不合理表结构设计及用户使用方式不合理Hbase概念Hbase数据存储过程· Hbase写入时当memstore达到一定的大小会flush到磁盘保存成 HFile, 当hfile小文件太多会执行compact操作进行合并。（当一个hstore里只包含一个hfile时；查询效率才是最大化。因为hfi......

Posted by 李玉坤 on 2017-09-23

HBase

[Hive] Hive之复杂类型

Hive复杂数据类型(array、MAP、struct)、练习

[Hive] Hive之UDF函数

自定义UDF、自定义临时函数和永久函数

[Hive] Hive的元数据

VERSION、DBS、TBLS、SDS、COLUMNS_V2、PARTITIONS

[HBase]09 Phoenix二级索引九

覆盖索引、函数索引、可变索引与不可变索引、同步索引与异步索引

[HBase]08 Phoenix二级索引八

全局索引、本地索引

[HBase]07 Phoenix工具与盐表七

Phoenix如何和HBase namespace映射、dbeaver的安装配置、盐表简述

[HBase]06 Phoenix入门六

Phoenix简介、Phoenix安装、Phoenix使用

[HBase]05 HBase容灾与监控五

Hbase备份与恢复、CopyTable、Export/Import、Snapshot、Replication、DistCp 迁移、如何监控HBase集群、Ambari监控、Hadoop JMX监控

[HBase]04 深入了解HBase架构四

Hbase架构大全，包含组件、读写、底层原理

[HBase]03 HBASE进阶三

Hbase数据存储过程优化、Hbase服务端常用读写优化策略、HBase协处理器

FEATURED TAGS

ABOUT ME

RECENT POSTS

ARCHIVES

[Hive] Hive之复杂类型

Hive复杂数据类型(array、MAP、struct)、练习

[Hive] Hive之UDF函数

自定义UDF、自定义临时函数和永久函数

[Hive] Hive的元数据

VERSION、DBS、TBLS、SDS、COLUMNS_V2、PARTITIONS

[HBase]09 Phoenix二级索引 九

覆盖索引、函数索引、可变索引与不可变索引、同步索引与异步索引

[HBase]08 Phoenix二级索引 八

全局索引、本地索引

[HBase]07 Phoenix工具与盐表 七

Phoenix如何和HBase namespace映射、dbeaver的安装配置、盐表简述

[HBase]06 Phoenix入门 六

Phoenix简介、Phoenix安装、Phoenix使用

[HBase]05 HBase容灾与监控 五

Hbase备份与恢复、CopyTable、Export/Import、Snapshot、Replication、DistCp 迁移、如何监控HBase集群、Ambari监控、Hadoop JMX监控

[HBase]04 深入了解HBase架构 四

Hbase架构大全，包含组件、读写、底层原理

[HBase]03 HBASE进阶 三

Hbase数据存储过程优化、Hbase服务端 常用 读写 优化策略、HBase协处理器

FEATURED TAGS

ABOUT ME

RECENT POSTS

ARCHIVES

[HBase]09 Phoenix二级索引九

[HBase]08 Phoenix二级索引八

[HBase]07 Phoenix工具与盐表七

[HBase]06 Phoenix入门六

[HBase]05 HBase容灾与监控五

[HBase]04 深入了解HBase架构四

[HBase]03 HBASE进阶三

Hbase数据存储过程优化、Hbase服务端常用读写优化策略、HBase协处理器