产品文档 前端技术 后端技术 编程语言 数据库 人工智能 大数据云计算 运维技术 操作系统 数据结构与算法 Java C++语言 Python PHP

日志存储,日志存储时间应不少于几个月

首页>>技术文档>>大数据云计算

  大数据依然是火的不要不要的日志存储,作为大数据基础的Hadoop自然也会备受重视,那么Hadoop的使用场景有哪些日志存储?小编给大家介绍下。

日志存储,日志存储时间应不少于几个月

  1,大数据量存储:分布式存储

  2,日志处理:Hadoop擅长这个

  3,海量计算:并行计算

  4,ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

  5,使用HBase做数据分析:用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统

  6,机器学习:比如Apache Mahout项目

  7,搜索引擎:hadoop + lucene实现

  8,数据挖掘:目前比较流行的广告推荐,

日志存储,日志存储时间应不少于几个月

  9,用户细分特征建模

  10,个性化广告推荐,

  11,智能仪器推荐 捎带,小编向大家介绍Hadoop学习方面的一些事项。希望对新手学习Hadoop有所帮助。

  学习hadoop学什么?

  主要学习hadoop的核心组件:hdfs、mapreduce、yarn。它们是hadoop最最核心的部分。在它们的基础上,我们还可以选择性的学习hadoop生态圈中的日志收集工具flume、数据仓库hive、分布式数据库hbase、数据导入导出工具sqoop。

  学习hadoop需要什么基础?

  hadoop需要具备javaSE的基础知识,对于javaEE(jsp/servlet/三大框架)没有要求。需要熟练使用linux系统。大体上,有这些预备知识就够了。也有人说,只需要具备javaSE知识就足够了。 学完hadoop会影响javaEE工作吗? 严格的讲,hadoop与javaEE是两个不同的发展思路,hadoop倾向于底层数据处理部分,javaEE负责系统开发,二者前后相继,没有交叉,相辅相成。 学习hadoop对算法和数据结构要求高吗? 一般海量数据的处理都是自定义存储结构,实现自己的算法,这是业界的通用处理思路。这对普通程序员而言要求还是很高的。hadoop的优点就是进行了封装,写的算法都是偏向于业务的,不需要创造算法。因此大可放心。但是,如果工作的公司不使用hadoop去处理大数据,这时候对算法和数据结构的要求就高了。

  大讲台,学习原本就是混合式自适应的;大讲台助力您更好更快学会开发! 欢迎加入Hadoop学习交流群:361654649。

上一篇: 根证书,根证书怎么删除

下一篇: 网络通信,网络通信协议