欢迎来到无限飞翔,在这里,你会找到许多有趣的技术 : )

标签:大数据

开发者头条

字节跳动 EB 级 HDFS 实践

字节跳动 EB 级 HDFS 实践
本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容,和大家分享团队在基础架构发展和演进过程中的实践经验与教训,与各位技术同学一起交流成长。 作为目前字节...

4周前 (01-02) 60℃ 0喜欢

开发者头条

大数据平台架构设计探究

大数据平台架构设计探究
近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,...

1个月前 (12-29) 69℃ 0喜欢

开发者头条

从 0 开始学大数据:Hive 基础篇

从 0 开始学大数据:Hive 基础篇
Hive起源于Facebook,是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构。它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言(HiveQL)。...

7个月前 (07-15) 305℃ 0喜欢

开发者头条

Uber 大数据平台的演进(2014~2019)

Uber 大数据平台的演进(2014~2019)
也可以到我个人博客阅读(点击下面阅读原文即可) https://www.iteblog.com/archives/2557.html Uber 致力于在全球市场上提供更安全,更可靠的运输服务。为了实现这一目标,Uber 在很大程度上依赖于数据驱动的决策,从预测高...

7个月前 (07-15) 236℃ 0喜欢

开发者头条

海量数据下的舆情分析,该如何搭建?

海量数据下的舆情分析,该如何搭建?
阿里妹导读:互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象,一则信息可以在短短数分钟...

7个月前 (07-15) 268℃ 0喜欢

开发者头条

从 0 开始学大数据:Hive 性能优化篇

从 0 开始学大数据:Hive 性能优化篇
在工作中使用hive比较多,也写了很多HiveQL。这里从三个方面对 Hive 常用的一些性能优化进行了总结。 表设计层面优化 利用分区表优化 分区表 是在某一个或者几个维度上对数据进行分类存储,一个分区对应一个目录。如果筛选条件里有分区...

7个月前 (07-15) 343℃ 0喜欢