DataWorks:调度依赖解析

  • 时间:
  • 浏览:2

亲戚亲戚朋友通过上游节点的本节点输出作为下游节点的本节点输入,根据中间自动解析的原理可知,我在sql中查询了xc_demo_partition你这一表你这一,日后自动解析的日后那末通过你这一表找到上游节点,说明那末一有两个 节点将你这一表xc_demo_partition作为本节点输出。

处置方案:

删除输出的影响:本节点往某张表写入数据,日后该节点那末将你这一表作为本节点输出,那下游去取该表数据日后自动解析将你这一表作为上游了,他提交会报错(如本案例中的错),那是日后自动解析的日后通过该表那末找到产出该表数据的上游节点。影响自动解析的效果。

select 一张表会将自动解析作为本节点依赖的上游。

查看上游的数据写入和读取的分区是都有本节点不用的,须要在运维中心的周期实例看上游节点和本节点的调度参数替换的请况以及sql中间参数替换的请况。

后期详述上述场景。

问題:依赖的上游那末解析到父节点id,提交报错。

问題说明该报错并都有指该表不处在,却说 在说明该表都有某个节点的本节点输出,无法通过你这一表去找到产出你这一表数据的节点,从而与你这一节点挂上依赖。

上游节点的本节点输出作为下游节点的本节点输入。

删除输入的影响:若你本节点依赖了一张表的数据,日后你这一表并那末作为本节点的上游 在那末做依赖的请况下日后原困本节点去拿上游表数据的日后上游表数据还没产出,原困本节点取数再次出显问題。

 

在DataWorks使用上,亲戚亲戚朋友通过代码自动解析+设置节点依赖关系配置节点依赖,通过上下游关系正常及节点运行请况来保障业务数据的顺序产出。

请注意:删除输入后请重新保存再自动解析输入输出。

为保证代码血缘的准确性,请减少使用自定义依赖的次数。

日后那末不清楚那个节点中间有操作你这一表,亲戚亲戚朋友也能使用代码搜索功能通过关键字进行模糊查找。

  

         

设置节点依赖关系的目的在于,检测亲戚亲戚朋友sql中间所查询的表的数据是几点产出的,亲戚亲戚朋友通过节点的请况成功默认上游数据数据顺利产出。

insert一张表,该表会自动解析作为本节点的输出。

本文所说的是依赖同周期任务的请况

一、找到产出该表的节点任务,查看该节点任务的本节点输出是那些。

二、日后是本地上传的表数据日后不须要依赖该节点也能选泽在代码区右键-删除输入。

 

(日后须要依赖上游节点上一周期请选泽依赖上一周期。