大数据是一种在获取、存储、管理、分析等方面大大超出了传统数据库软件工具能力范围的数据集合。它具有大量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 未来大数据相关人才缺口巨大。

大量优质岗位等你来

薪资待遇随工作年限呈阶梯式上涨

只有想不想学，没有能不能学

理论、实战双向并行，奠定入行扎实基础

一路暖心服务，不怕您货比三家

       大数据培训资料

　　ApacheSpark

　　ApacheSpark是用于分布式计算环境中的实时数据分析的框架。Spark是用Scala编写的，最初是在加利福尼亚大学伯克利分校开发的。它执行内存中计算以提高Map-Reduce上的数据处理速度。

　　通过利用内存计算和其他优化，对于大规模数据处理，它的速度比Hadoop快100倍。因此，它比Map-Reduce需要更高的处理能力。

　　如你所见，Spark附带了高级库，包括对R、SQL、Python、Scala、Java等的支持。这些标准库增加了复杂工作流程中的无缝集成。此外，它还允许各种服务集与其集成，例如MLlib、GraphX、SQL+数据框架，流服务等，以增强其功能。

　　这是每个人心中很普遍的问题：

　　“ApacheSpark：ApacheHadoop的杀手还是救星？”–奥莱利

　　答案：这不是苹果与苹果的比较。ApacheSpark最适合实时处理，而Hadoop旨在存储非结构化数据并对其执行批处理。当我们结合使用ApacheSpark的能力(即高处理速度，高级分析和对Hadoop的商品硬件低成本操作的多重集成支持)时，它可以提供最佳结果。

　　这就是为什么许多公司将Spark和Hadoop一起使用来处理和分析存储在HDFS中的数据的原因。

　　ApacheHBase

　　HBase是一个开源的、非关系的、分布式数据库。换句话说，它是一个NoSQL数据库。它支持所有类型的数据，这就是为什么它能够处理Hadoop生态系统中的任何事物。

　　它以Google的BigTable建模为基础，BigTable是旨在应对大型数据集的分布式存储系统。HBase设计为在HDFS之上运行，并提供类似BigTable的功能。

　　它为我们提供了一种存储稀疏数据的容错方式，这在大多数大数据用例中都很常见。HBase用Java编写，而HBase应用程序可以用REST，Avro和ThriftAPI编写。

　　为了更好地理解，让我们举个例子。你有数十亿客户的电子邮件，并且需要找出在他们的电子邮件中使用“投诉”一词的客户数量。该请求需要快速处理(即实时)。因此，在这里，我们正在处理大量数据集，同时检索少量数据。HBase旨在解决此类问题。

　　ApacheDrill

　　顾名思义，ApacheDrill用于钻取任何类型的数据。这是一个开放源代码应用程序，可与分布式环境一起使用以分析大型数据集。

　　它是GoogleDremel的副本。

　　它支持各种NoSQL数据库和文件系统，包括AzureBlob存储，GoogleCloudStorage、HBase、MongoDB、MapR-DBHDFS、MapR-FS、AmazonS3、Swift、NAS和本地文件。

　　本质上，ApacheDrill背后的主要目标是提供可伸缩性，以便我们可以高效地处理PB级和EB级的数据(或者你可以在几分钟内说出)。

　　ApacheDrill的主要功能在于仅通过单个查询即可组合各种数据存储。

　　ApacheDrill基本上遵循ANSISQL。

　　它具有强大的可伸缩性因素，可支持数百万个用户并在大规模数据上满足其查询请求。

　　ApacheZooKeeper

　　ApacheZooKeeper是任何Hadoop作业的协调者，其中包括Hadoop生态系统中各种服务的组合。ApacheZooKeeper在分布式环境中与各种服务协调。

　　在使用Zookeeper之前，在Hadoop生态系统中的不同服务之间进行协调非常困难且耗时。先前的服务在同步数据时在交互方面存在很多问题，例如通用配置。即使配置了服务，服务配置的更改也会使其变得复杂且难以处理。分组和命名也是一个耗时的因素。

　　由于上述问题，引入了ZooKeeper。通过执行同步，配置维护，分组和命名，可以节省大量时间。尽管它是一项简单的服务，但可用于构建功能强大的解决方案。

　　像Rackspace，Yahoo和eBay这样的大公司在整个数据工作流程中都使用此服务，因此你对ZooKeeper的重要性有所了解。