纵有疾风起
人生不言弃

kettle学习笔记(七)——kettle流程步骤与应用步骤

一、概述

  流程主要用来控制数据流程与数据流向

  应用则是提供一些工具类

二、流程步骤

  1.ETL元数据注入

    类似Java中的反射,在设计时不知道文件名、文件位置等,在真正执行时才知道具体的一些配置等信息

    具体介绍后续补充,官方Wikia:https://wiki.pentaho.com/display/EAI/ETL+Metadata+Injection

  2.数据过滤

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图

    这里说一下Java代码过滤,主要是Java的一些方法,例如indexOf(),matchs()等:

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图1

  3.处理不确定的数据行数

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图2

    检测空流用来检测前面过来的流是否是空流;阻塞数据只要最后一行

  4.多来源数据合并

    使用的是UNION进行合并(列数、列名、列类型需要相同),而不是JOIN:

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图3

  5.数据流终点

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图4

    空操作基本上就是用于自然合并与垃圾箱;

    中止可以设置中止的条数,例如设置有10条记录到这里就报错

    复制记录到结果可以暂存内存,供以后的转换使用

    设置变量注意也是设置的变量只能以后的转换使用

  6.其它

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图5

  单线程流程,暂不展开

三、应用

  1.Null值处理

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图6

  2.启动其它程序

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图7

    // 注意运行SSH务必提前设置免密登陆!

  3.日志功能

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图8

   写日志就相当于Java代码里的log.info(…)了,用于自定义记录日志

   4.文件处理功能

    kettle学习笔记(七)——kettle流程步骤与应用步骤插图9

  5.发送邮件

    用空格区分多个收件人(可以使用变量)

文章转载于:https://www.cnblogs.com/lm970585581/p/9219773.html

原著是一个有趣的人,若有侵权,请通知删除

未经允许不得转载:起风网 » kettle学习笔记(七)——kettle流程步骤与应用步骤
分享到: 生成海报

评论 抢沙发

评论前必须登录!

立即登录