大数据分析相关工具

基础组件

  1. Hadoop = HDFS + YARN + MapReduce;HDFS负责存储,YARN负责资源调度,依然发挥重要作用,MapReduce计算框架
  2. Hbase主要解决实时数据查询问题;Hive和Pig主要解决数据处理和计算问题,分别以SQL形式和脚本形式
  3. 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?