近实时运算的利器—presto在公司实践

首先给大家推荐一下我老师大神的人工智能教学网站。教学不仅零基础,通俗易懂,而且非常风趣幽默,还时不时有内涵黄段子!点这里可以跳转到网站

1.起因

公司hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询需求,现在主要

借助于hive提供业务人员日常查询。总所周知,hive是一个基于MR的类SQL查询工具,它会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛,

让一般的业务人员也可以直接对大数据进行查询。但一个弊病也是很明显,它的查询速度由于基于MR,会是非常的让人着急。

在Spark,Storm横行的时代,spark由于耗用内存高而很难满足这种改良的需求,Storm由于和hive不是一个套路,本身实时流处理的思路也和我们的需求差距较大,所以,

寻求一个能提供类似SQL查询接口,并且速度比较接近于实时,能利用现有集群硬件的实时SQL查询引擎成为一个现有hive的替代查询引擎。如果有这个引擎,可以利用

datanode,tasktracker上空闲的内存构成一个分布式的“数据加载内存池”,将数据加载到内存后,再进行计算,这样无疑会提高大数据查询的速度。

幸好,创造了hive的facebook,不负众望,创造了这么一款神器—presto。下面我们来看presto能给我们带来什么。

插图:日常各个dn和tt的节点的内存使用情况,白天有比较多的空闲时段

2.presto的介绍

英文出处:Martin Traverso(Facebook)

Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions)。

Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce任务, 一个接着一个地运行。 每一个任务从磁盘上读取输入数据并且将中间结果输出到磁盘上。 然而Presto引擎没有使用MapReduce。它使用了一个定制的查询和执行引擎和响应的操作符来支持SQL的语法。除了改进的调度算法之外, 所有的数据处理都是在内存中进行的。 不同的处理端通过网络组成处理的流水线。 这样会避免不必要的磁盘读写和额外的延迟。 这种流水线式的执行模型会在同一时间运行多个数据处理段, 一旦数据可用的时候就会将数据从一个处理段传入到下一个处理段。 这样的方式会大大的减少各种查询的端到端响应时间。

3.presto部署

首先安装jdk 1.8,下载jdk 1.8后,解压

tar zxf jdk1.8.0_45.tar.gz

设置1.8为默认的jdk

 rm /usr/java/latest ln -s /usr/java/jdk1.8.0_45 /usr/java/latest

在/etc/profile里设置

export JAVA_HOME=/usr/java/default

然后运行:

source /etc/profile

生效设置。

下载presto。

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz

解压presto

tar zxf presto-server-0.100.tar.gz

由于presto有个调度节点和工作节点的区别,所以,我们先配置调度节点。可以在部署后,就用单节点模式,即调度和工作节点为同一台服务器来进行测试。

首先配置etc/catalog/hive.properties

connector.name=hive-hadoop2hive.metastore.uri=thrift://192.168.1.xxx:10001hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

说明:

connector.name是当前集群是hadoop版本,有hadoop1,hadoop2,cdh4,cdh5等可选,详细可以参考plugin目录里支持类型。

hive.metasore.uri是对应hive数据源提供的thrift接口,不然presto怎么有元数据呢?

hive.config.resources是对应hadoop配置。

然后配置:etc/node.properties

node.environment=productionnode.id=ffffffff-ffff-ffff-ffff-ffffffffffffnode-103-15node.data-dir=/opt/presto/data

重要的,每个节点都有自己唯一id,不然不好协同工作了。

所以,node.id一定是一个唯一的id

node.data-dir是本机的一个presto数据文件目录。

最后配置:etc/config.properties

coordinator=true

node-scheduler.include-coordinator=truehttp-server.http.port=1089task.max-memory=1GBdiscovery-server.enabled=truediscovery.uri=http://node-103-15:1089
http-server.http.port指明调度节点的端口,很重要啊,presto集群的机器都得和这个端口通讯。
discovery.uri=http://node-103-15:1089 也很重要,调度节点的地址,端口,好好指定,集群唯一的。

4.遇到问题解决

首先遇到问题就是jdk的兼容,由于presto只兼容1.8以上jdk,以前hadoop的1.6,1.7都不行。

所以要将presto部署好,势必和以前hadoop环境的jdk有冲突。所以,干脆将系统jdk升级到1.8.

然后stop tasktracker,stop datanode,最后又重启datanode,tasktracker.最后启动presto.

./launcher start

最后启动presto cli进行查询

./presto-cli  --server node-103-15:1089 --catalog hive --schema default

注意,presto-cli是将presto-cli-excute.jar进行重命名,并且chmod后而来的。

最后比较尴尬的是,presto对lzo支持不好,特别是分片的lzo,基本就不支持,这个没办法,presto本身就讲明了

不支持。哎,哪位有办法,可以联系下我。

5.presto和hive的性能比较

用同一个SQL做查询,3台服务器presto是:

采用hive查询是:

基本上查询速度快了10倍。

综上所述,presto是一个部署容易,又能较好利用空闲内存的近实时查询引擎。

点这里可以跳转到人工智能网站

发表评论