How Technologies are connected

技术聚集成往往由同样的开发者使用的相关生态系统。在此图中,我们看到中间用于Web开发的庞大群簇(有JavaScript、HTML和CSS)通过SQL连接到针对微软技术的庞大群簇(有C#、Visual Studio和.NET Core)。在左边,我们看到一群技术将Java、Android和iOS连接到Linux、bash/shell和Python。其他较小的相关群簇包括Scala/Spark、C/C ++以及包括针对特定语言的IDE的其他较次要技术。

Read More

制作带有java监控命令的镜像

在生产环境中,经常有docker容器的CPU消耗太高而导致宿主机的CPU占用率攀升,引起AWS CloudWatch的警报邮件等,另外在批量重启容器的时候,也会经常遇到短暂对宿主机的CPU消耗过高的情况,现阶段准备再原来的容器中新增java的监控命令。具体是在镜像中包含如:jps、jstat和ps等命令的容器。

Read More

致 谢

从论文的选题、资料收集再到撰写的整个过程,在碰到基因测序的疑难问题时,得到了许多老师和同学的热情帮助。

首先,我要感谢的是我的导师邝祝芳老师,当他得知我的毕设课题需要大数据平台与基因测序结合,询问我是否需要高性能计算的服务器,并随后立马帮我申请了湖南大学的天河一号超级计算机的使用账号。在我毕业设计的基因样本数据的准备过程,和基于Hadoop大数据平台的搭建过程中,他对我的研究提出了很多宝贵的意见,这也使我基因测序的研究方向更加清晰了,最后得以顺利开发出系统平台。

Read More

结 论

在本次的论文中,主要对Hadoop大数据框架做了深入了解,并对生物信息学中基因测序领域有了一个全新的认识。在这次基于Hadoop的基因组测序大数据分析平台研究的课题中,构建了针对生物全基因组的测序流程,并将自己所学的大数据领域的知识与全基因组测序流程相结合,利用Hadoop特有的HDFS分布式存储系统的特性,来容错的存储样本数据,并通过MapReduce计算框架将原本串行分析的WGS流程构建成不同的Map任务和Reduce任务,达到对不同的样本流程进行并行分析,提高基因测序的时效性和高扩展性。

Read More

5 系统的测试与扩展

5.1 MRUnit测试类编写

MRUnit是一个MapReduce的测试库,它能将已知的输入通过函数的形式直接传递给Map()函数,然后该函数直接被调用运行,或者检查Reduce()函数的输出和测试的指定输出匹配,看是否符合预期输出。MRUnit与标准的测试执行框架(如:JUnit)一起使用[1],因此可以在正常的开发环境中运行MapReduce作业的测试。

Read More