欢迎来到无限飞翔,在这里,你会找到许多有趣的技术 : )

标签:大数据

开发者头条

百万级商品数据实时同步,查询结果秒出

百万级商品数据实时同步,查询结果秒出
前阵子老板安排了一个新任务,要建设一个商家商品搜索系统,能够为用户提供快速、准确的搜索能力,在用户输入搜索内容时,要能从商家名称和商品名称两个维度去搜索,搜索出来的结果,按照准确率排序,并按商家所属商品的关联关系,来组合数据结构,同时提供API给业务系统调用。 背景很简单,...

6个月前 (03-21) 441℃ 0喜欢

开发者头条

Azkaban 在一点资讯的实践

Azkaban 在一点资讯的实践
总 第22篇 2020年 第01篇 导读 Azkaban是LinkedIn公司于2012年开源的“工作流调度”引擎, 与之类似的有「Oozie」, 「Airflow」,「DolphinScheduler」等工作流调度系统。 ...

8个月前 (02-02) 960℃ 0喜欢

开发者头条

字节跳动 EB 级 HDFS 实践

字节跳动 EB 级 HDFS 实践
本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容,和大家分享团队在基础架构发展和演进过程中的实践经验与教训,与各位技术同学一起交流成长。 作为目前字节...

9个月前 (01-02) 459℃ 0喜欢

开发者头条

大数据平台架构设计探究

大数据平台架构设计探究
近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,...

9个月前 (12-29) 333℃ 0喜欢

开发者头条

从 0 开始学大数据:Hive 基础篇

从 0 开始学大数据:Hive 基础篇
Hive起源于Facebook,是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构。它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言(HiveQL)。...

1年前 (2019-07-15) 573℃ 0喜欢

开发者头条

Uber 大数据平台的演进(2014~2019)

Uber 大数据平台的演进(2014~2019)
也可以到我个人博客阅读(点击下面阅读原文即可) https://www.iteblog.com/archives/2557.html Uber 致力于在全球市场上提供更安全,更可靠的运输服务。为了实现这一目标,Uber 在很大程度上依赖于数据驱动的决策,从预测高...

1年前 (2019-07-15) 470℃ 0喜欢

开发者头条

海量数据下的舆情分析,该如何搭建?

海量数据下的舆情分析,该如何搭建?
阿里妹导读:互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象,一则信息可以在短短数分钟...

1年前 (2019-07-15) 523℃ 0喜欢