基于MaxCompute InformationSchema进行冷门表热门表访问分析

  • 时间:
  • 浏览:0

一、需求场景分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望也能利用元数据的分析来更好地掌握不同数据表的使用状况,从而优化数据模型。

另有一个 MaxCompute项目中无缘无故使用的表简称为热门表,使用次数较少可能性很长时间不使用的表简称为冷门表,本文将介绍怎么才能 才能 去通过MaxCompute元数据信息去分析热门表和冷门表。

二、方案设计思路MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及蕴含访问表的作业明细数据tasks_history,通过汇总各个表被作业访问的次数可需要获知不同表被作业使用的频度。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;可能性您发现本社区蕴含涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

删改步骤如下:1、热门数据通过获取tasks_history表里的input_tables字段的删改信息,然