aeolous项目推进

现在已经是项目开始的第四周了,前面三周由于缺乏记录导致进展不明确,只能大概说说啦。第一周是熟悉要做的内容以及测试第三方的工具怎么使用,期间我学习了maven项目搭建,git使用,gitlab使用以及这些与eclipse的结合使用。虽然很繁琐,但是也是要花费一番功夫来做的,这一部分需要一个整理的1文档

第二周我的工作就是Curator了,因为zookeeper的客户端比较难用,所以这次我们使用包装过的zookeeper,也就是Curator,我的任务是熟悉这个工具以便将这个整合到项目中来。同时,我还做了一件事情,就是使用jetty,jersey来搭建restful服务,事实上我搭建了一半,并没有算是将这个整合到项目中来。其中搭建restful服务,有一篇文章很好。这一周博后完成了gitbase的代码开发工作,这个代码我看过,写的还不错,这个需要单独写一篇2文档来介绍这个。虽然不难,但是一气呵成的开发完这个组建也是需要学习的。庆超被安排去做metrics了,这一块我没有参与,所以就不知道咋回事了。这周还有一个需要写3文章的,就是整个系统的架构以及这个系统在整个项目中的位置。

第三周我们继续开发,我被安排说把gitbase添加一些代码,然后博后自己搭建queenserver的架构,庆超被安排做queryserver。我的工作很快做完了,于是去帮助庆超写queryserver,但是难度有点大,而且我们对这个具体的架构设计细节也掌握的不是很深刻,所以就导致说开发半天博后也不满意,于是我们被打发走了,庆超被安排干嘛去了不记得了,好像是说那个确认怎么在restful里面的输出格式问题,yaml给人看,json就不管了。我了,被安排去管理pom.xml了,这也是我第一次去搞这个,各种不熟悉啊,怎么去管理这些个文件,以及消除第三方日志(因为我们使用的第三方工具有点多,每次它们都会出来很多日志,但是大多数是正常的运行日志我们根本不需要去看的,所以使用log4j来做这个事情,这个经历已经写了一个文章了)。我觉得在这里我需要搞清楚怎么才能初始化的建立这整个项目,一个总项目下面分成五个,我需要学习。这周博后搭建完成了queenserver以及queryserver,我需要去把这整个架构MVN搞清楚,然后分别形成文档。

第四周,这周博后被拿牌干别的项目啦,所以只有我和庆超来做,我们的任务是将这个queryplan搞好。

25日,今天仔细研究了博后的queen server代码实现,形成文档,理解加深了。很好,晚上继续理解query server的代码。今天的目标在于读懂代码呀!!!!!有时间再把GPS配置完成,任务好重啊。

晚上看了query server的代码,感觉还有很多没有实现啊!!然后去看那个queryplan的代码,我的感觉是说有点意思,也已经形成了文档。然后研究途中搞明白了几个东西:singleton patternjava eventbus的subscriping订阅模式,以及jersey的异步调用函数及反馈方式。凭借这三者我搞明白了博后设计的代码逻辑。还是很有收获的一天嘛。

26日,今天跟庆超讨论明确phase和plan的意思以及olap的使用。经过上午的学习明确两点:olap可以被用来解析mdx查询;query plan很难搞,不清楚query plan怎么由olap的Select node来获取。开始写代码,然后把query controller和query plan链接起来了,也就是说整个query server这边整个系统我可以串起来了。

27日,今天写完了query server里面的一些TODO,包括结构返回以及缺省的一些逻辑。基本上可做的事情不多了。明天写测试吧。

事实上,我们的项目中断了一周,从27号后基本没有进一步的动作了,一直到这一周的周二,也就是四月七号。这期间我的时间花在了论文实验上面。下面写写最近的进展。

4月7号,正常的组会又开始了,原以为这次会主要做query plan,没想到让这周主要任务变成了存储,编码数据!!说白了就是怎么存储cubelet,设计之初采用了字典的方式来压缩空间。后来一步步的修改实验做决策。不想写了。

13日,博后让我去搞mysql处理数据,于是乎又要捡起来那些东西了。废了老大劲了。这里总结一下吧,不然下次又要重头搞了。 A Basic MySQL TutorialInstalling MySQL 5.6Save MySQL query results into a text or CSV file

14日,现在写写存储这部分的代码设计吧。也就是上个周二到今天的工作。

17日,今天按照博后的要求使用monetDB,上午安装完毕(去官网看指导),但是数据始终不能导入进去,郁闷得很啊,最后是通过这个命令:mclient -d voc -u voc -s “COPY INTO diag2013 FROM stdin USING DELIMITERS ‘\\t’,’\\n’,’\”’” — </home/hadoop/diag2013_ 才完成了任务。安装monetDB直接看官网文档就可以了。

之前的已经过去,现在是五月十一日,重新加入到这个cube的开发队伍里面来.怎么修改eclipse的jdk类型,有两种,第一种是从windows-preference-java里面,还有一种是project-properties-java(其实也可以直接在单独的项目上右击,也可以)。那么安装了新版本的jdk,怎么调整使得项目使用这个版本的jdk呢?windows-preference-java-installed JREs,然后search,就可以啦。