风雨无阻:提着昨日重重千辛万苦,向明天换少量美满和幸福。
前言:
乱糟糟的,急躁又不安分的心里总是思绪乱飞;是工作太忙吗?虽说看不见头的工作,可是也没有被逼迫着今天肯定要完成什么样的进度。不是生活充实着自己,而是自己充实着生活。
就梳理一下工作进度吧,希望能让自己的脑子清醒一下,也想看看自己的脑子里一下子可以负载多少进程。
关于离线分析和报告系统的进度和时间安排说明:
一、离线分析
? ? 1、有关数据分析这块儿,hiveSQL执行脚本(按日统计)已基本完成,目前正在利使用crontab定时跑(已完成);
? ? 2、按月统计的已写好脚本,还没打包上传;这块儿需要根据两种方式来统计月报数据,最后比照两种数据的精确性,以此决定采取哪种统计方式(未完成);
? ? 3、用Sqoop工具将分析好的数据从hive导入mysql里。目前脚步已写好,只是不稳固,有的表导出成功,有的没有。从日志里看是MapReduce的Job出了问题,这块儿还需要大神来协助完成,最后测试(未完成);
时间安排:以上工作希望这周能顺利完成,截止2018-06-29。周四请假一天,完不成就加班吧!
二、报告系统
? ? 1、因为要把之前项目里的报告这块单独拿出来,所以决定重新起一个项目。目前决定使用SpringBoot来创立新项目(没使用过,练练手)。由于之前项目使用的Elasticsearch的版本较低,哎,也不知道人家要不要更新,所以这儿得考虑到版本兼容的问题;
? ? 2、把原来项目的代码移植过来,在原来代码的基础上,要修改一下数据获取的方式,由于现在数据要从离线分析好的数据库拿。趁此机会,把代码优化一下;
? ? 3、那天项目经理扔给我一份数据整理的思维导图。瞬间我就知道要入坑了。所以,考虑到以后系统的复使用性,还是要其余的数据分析情况要考虑进去的。最起码要适使用于任何数据分析后,都能用本系统来实现导出报表功可以;
? ? 4、目前的离线分析脚步都是手动打包的,包括Sqoop脚步;考虑到以后会有更多的数据分析,要写更多的脚本,所以这里要实现自动化生成脚本的功可以(啊哈哈,想法很美好);
? ? 5、其余;
时间安排:尽量在月底或者下月初的一周内可以够有个大体思路,最好是可以有个文档什么的;希望有个大神可以给指点一下;只需文档有了,其实程序很快会写完的;不可以给自己留太多时间,最晚希望在7月份,让我得报告系统能正常上线用;
后记:
? ? 哎,我还只是个小白程序员呢,为啥脑子里一下子要装这么多东西?今天就当作是写了一篇日记吧!让自己的脑子清醒一下,也让自己的心平静一下;希望自己定的小目标能顺利完成!