hadoop

• 2014-10-15 Hadoop环境部署

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop的运行模式分为三种：单机模式、伪分布式模式、完全分布式模式。

• 2016-03-31 hadoop集群部署(yarn)

  伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：数据存储、分布式协调、消息、实时计算等。没有找到任何一个框架能够完美解决所有问题，也就应了那句话，开发领域根本就没有银色子弹。所以即使是比较年长的hadoop（2004年到现在已经12年了，年纪也比较大了），也有能够体现其价值的地方。

  最近用了storm，部署topology的时候总是感觉资源使用不平衡，于是想到了yarn能够对hadoop实现资源的协调，那是不是可以扩展一下，对storm也提供资源协调呢。google一下，果然yahho!已经开源了一个storm-yarn组件，于是学习一下，同时也把hadoop的部署复习了一遍。（关于hadoop的单机部署、伪分布式部署可以查看Hadoop环境部署）

• 2017-07-07 使用QJM实现HDFS的HA

  本文是在hadoop集群部署(yarn)基础上增加的配置内容，因为那篇缺少HDFS的HA配置，在生产环境不够完整。

  hadoop官方提供了两种HDFS的HA配置方案，两种方案殊途同归，但是需要的钱、精力和技术不同。

  如果对HDFS架构熟悉的话（如果不熟悉，可以通过HDFS架构了解），就应该知道，NameNode通过FsImage和EditLog两个文件管理DataNode的数据，Secondary NameNode会定期合并EditLog，以减少NameNode启动时的安全检查。EditLog文件存储的是对文件的一条条的操作，也就是说，只要保证有另外一个NameNode的EditLog文件一直与当前正在运行的NameNode的EditLog文件是一样的，那就可以随时使用新的NameNode替换老的NameNode。官方目前给出的两种HA方案也大体是这样：

  • QJM：the Quorum Journal Manager，翻译是法定经济管理人，实在没法想象，所以大家都亲切的称之为QJM。这种方案是通过JournalNode共享EditLog的数据，使用的是Paxos算法（没错，zookeeper就是使用的这种算法），保证活跃的NameNode与备份的NameNode之间EditLog日志一致。
  • NFS：Network File System 或 Conventional Shared Storage，传统共享存储，其实就是在服务器挂载一个网络存储（比如NAS），活跃NameNode将EditLog的变化写到NFS，备份NameNode检查到修改就读取过来，是两个NameNode数据一致。

  客观的说，Secondary NameNode也算是对NameNode的备份，但是使用Secondary NameNode需要手动处理，不如QJM和NFS两种可以自动处理简单，所以没有被列入HA解决方案中。

  但是，这两种方案在部署方式上差别比较大。QJM需要启动几个JournalNode即可，NFS需要挂在一个共享存储。因为条件限制，我只能通过QJM的方式实现HDFS的HA，如果想看NFS方案，可以直接看官方文档。

• 2017-07-11 ResourceManager HA 配置

  陆续的把Hadoop集群部署、HDFS的HA配置完成，把ResourceManager的HA配置好之后，Hadoop集群配置也算是完整了，可以满足小型中型生产环境Hadoop集群搭建的需要。如果真要搭建超大型的Hadoop集群，这些只能算是参考，还需要修改很多其他参数，使性能更好一些。

  ResourceManager（RM）负责跟踪集群中资源使用情况，调度应用程序（比如MapReduce作业）。在Hadoop 2.4之前，ResourceManager存在单点故障，需要通过其他方式实现HA。官方给出的HA方案是Active/Standby两种状态ResourceManager的冗余方式，类似于HDFS的HA方案，也就是通过冗余消除单点故障。

• 2017-07-05 HDFS架构

  前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。所谓书读百遍其义自见，不熟的系统多搭几遍，总会熟悉了，也就是所谓的刻意练习吧。

  先简单的说下。

  Hadoop文件存储的基础是HDFS(Hadoop Distributed File System)，HDFS的实现依赖于NameNode和DataNode，DataNode用来存储具体数据，NameNode用来管理多个DataNode中分别存储的是什么。

  理解起来也不难，因为HDFS是分布式的文件系统，也就是有很多机器用来存储数据，一个大文件可能分布在多个机器上，也可能是一台机器上，具体分布在哪些或哪个机器上，每块数据块的副本在哪，得需要一个总管来管理，这个总管就是NameNode，具体存储机器的就是DataNode。

  简单的说完了，接下来就复杂的说。

• 2017-07-11 YARN架构

  对Hadoop有过了解的都知道，Hadoop经历过很长一段时间的版本号混乱和架构调整，YARN是Hadoop 2.0（或者早期的0.23.x）提出的资源管理、任务调度框架。解决了很多Hadoop 1.0（或者0.21.x、0.22.x）时代的痛点。

  随着发展，YARN不仅仅是Hadoop的资源调度框架，还成为一个通用的资源调度管理器，可以将各种各样的计算框架通过YARN管理起来，比如Strom、Spark等。

  YARN的基本思想是将资源管理和作业调度/监控的功能分为独立的守护进程。分别是一个全局的 ResourceManager（RM） 和每个应用程序的 ApplicationMaster（AM）。应用程序可以是一个job作业或者一组job作业的有向无环图（DAG）。

  ResourceManager负责系统中的所有应用程序的资源分配。NodeManager负责每台机器中容器代理、资源监控（cpu，内存，磁盘，网络），并将这些情况报告给ResourceManager或Scheduler。

  每个应用的ApplicationMaster是一个框架特定的库，从ResourceManager协商资源，并与NodeManager共同执行监听任务。

  从结构上看，YARN是主/从架构，一个ResourceManager，多个NodeManager，共同构成了数据计算框架。

• 2014-10-08 MapReduce实现矩阵乘法

  在海量数据中淘金，已是各大互联网公司的既定目标，亚马逊是数据化运营的成功典范，Google、百度投巨资用于对海量数据进行深度学习研究，阿里把数据与平台、金融并列成为未来三大战略。想在海量数据中淘到金子，强大的挖掘工具是必不可少的，而诸如回归、聚类、主成分分析、决策树等数据挖掘算法常常涉及大规模矩阵运算。这其中，大矩阵乘法具有较大的时间消耗，是算法的瓶颈。所以将矩阵乘法移植到分布式系统中进行运算，可谓是基本需求，所以本文暂且从最基础开始，简单介绍使用MapReduce实现矩阵乘法的方式。