博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oozie应用
阅读量:6230 次
发布时间:2019-06-21

本文共 450 字,大约阅读时间需要 1 分钟。

  hot3.png

大数据平台每日都要将源系统数据,加载到平台里。这项工作,必须自动化。 目前看下来,比较适合的工具就是Oozie.

Oozie的全称是Apache Oozie Workflow Scheduler for Hadoop 。所以它既是一个工作流工具,还是一个计划调度工具。

从文件系统加载数据到hive表,然后转换成parquet格式,这是两个动作的组合,算是一种工作流;

发现特定目录下有文件进入,然后启动任务,这算是一种调度触发。

Oozie对上述两项任务都支持。

运行Oozie,可以使用以下命令 :

oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

Hive2 任务如何完成:

只要看了oozie自带的example中的workflow.xml,就知道了。

转载于:https://my.oschina.net/pearma/blog/823018

你可能感兴趣的文章
有关于认证和加密
查看>>
深入浅出Git教程(转载)
查看>>
[转载]MySQL5.6 PERFORMANCE_SCHEMA 说明
查看>>
max_allowed_packet引起同步报错处理
查看>>
006 复杂的数据类型&函数(方法)
查看>>
javascript:getElementsByName td name
查看>>
ASP.NET连接SQL、Access、Excel数据库(二)——连接实例
查看>>
FreeRTOS 特性简介
查看>>
Linux--前后端分离部署
查看>>
java阶段学习目标
查看>>
Azure IoT 技术研究系列2
查看>>
day24-3-2子类继承构造方法
查看>>
我们一起学习WCF 第五篇数据协定和消息协定
查看>>
Linux 与 Windows 文件互传(VMWare)
查看>>
Python学习笔记八 面向对象高级编程(一)
查看>>
Oracle内置函数
查看>>
UVA 1645 Count
查看>>
贪吃蛇程序
查看>>
poj 1419 Graph Coloring
查看>>
node的安装及其运用及相关配置
查看>>