前言 之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的大数据相关操作,由我们自己承担了 。此前对大数据的知识了解的很少，于是晚上回去花时间突击大数据知识，白天就开始上手干，一边学一边做，总算在部门规定的时间，跟系统一起上线了 。后来的维护迭代就交给大数据去了，虽然接触大数据的时间不长，但是对我来说，确是很有意思的一段经历，觉得把当时匆匆学的知识点，再仔细回顾回顾，整理下 。
01 大数据概述 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策.
处理流程:
? 1:获取数据? 2:处理数据? 3:展示结果02 Hadoop介绍 Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题
? 大数据存储问题： HDFS? 大数据计算问题：MapReduce2.1 问题一: 大文件怎么存储?
假设一个文件非常非常大，大小为1PB/a.txt, 大到世界上所有的高级计算机都存储不下, 怎么办?为了保存大文件, 需要把文件放在多个机器上文件要分块 block(128M)不同的块放在不同的 HDFS 节点同时为了对外提供统一的访问, 让外部可以像是访问本机一样访问分布式文件系统有一个统一的 HDFS Master它保存整个系统的文件信息所有的文件元数据的修改都从 Master 开始2. 2 问题二: 大数据怎么计算?
从一个网络日志文件中计算独立 IP, 以及其出现的次数2.3 问题三: 如何将这些计算任务跑在集群中?
如果数据量特别大，我们可以将,整个任务拆开, 划分为比较小的任务, 从而进行计算呢 。
如果能够在不同的节点上并行执行, 更有更大的提升, 如何把这些任务跑在集群中?可以设置一个集群的管理者, 这个地方叫做 Yarn这个集群管理者有一个 Master, 用于接收和分配任务这个集群管理者有多个 Slave, 用于运行任务2.4 Hadoop 的组成Hadoop分布式文件系统(HDFS) 提供对应用程序数据的高吞吐量访问的分布式文件系统Hadoop Common 其他Hadoop模块所需的Java库和实用程序 。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的必要Java文件和脚本Hadoop MapReduce 基于YARN的大型数据集并行处理系统Hadoop YARN 作业调度和集群资源管理的框架2.5 Hadoop前生今世
- Hadoop最早起源于Nutch 。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题 。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案 。
- 凉拌胡萝卜丝的做法 凉拌胡萝卜丝的做法简述
- 飞机的夜间飞行和蝙蝠有什么关系 飞机的夜间飞行和蝙蝠的关系简述
- 怎么除湿气 除湿气方法简述
- 王者上了荣耀有什么用 王者上了荣耀用处简述
- kn95代表什么意思 kn95代表意思简述
- 失业保险缴费比例 失业保险缴费比例简述
- 对方通过搜索微信号添加什么意思 对方通过搜索微信号添加意思简述
- 紫藤萝瀑布的中心句 紫藤萝瀑布的中心句简述
- 锦瑟是什么意思 锦瑟意思简述
- 雁荡山在哪里 雁荡山位置简述