Fast SQL on Hadoop, really?

Thursday, October 11
2:00 PM - 2:40 PM

How is it that one system can query terabytes of data, yet still provide interactive query support? This talk will discuss two of the underlying technologies that allow Apache Hive to support fast query response, both on-premise in HDFS and in cloud object stores such as S3 and WASB.

LLAP was introduced in Hive 2.6. It provides standing processes that securely cache Hive’s columnar data and can do query processing without ever needing to start tasks in Hadoop. We will cover LLAP’s architecture, intended uses cases, and performance numbers for both on-premise and in the cloud.

The second technology is the integration of Hive with Apache Druid. Druid excels at low-latency, interactive queries over streaming data. Its method of storing data makes it very well suited for OLAP style queries. We will cover how Hive can be integrated with Druid to support real-time streaming of data from Kafka and OLAP queries.


Hortonworks, Inc.
アラン・ゲイツは Hortonworks の創業者であり、Pig を Yahoo!から入手した人物です。Labの研究プロジェクトから Apache オープンソースプロジェクトへ導いたエンジニアリングチームのオリジナルメンバーです。アランは Apache Hive、Pig、その他多くの Apache プロジェクトの PMC メンバーです。Apache のインキュベーター PMC の一環として、彼は多くの Apache コミュニティーに対するメンターを務めてきました。アランは、Oregon State University にて数学の理学士号を、Fuller Theological Seminary にて神学の修士号を取得しています。また、「Programming Pig」(O'Reilly Press 出版) の著者でもあります。Twitterでアランをフォロー: @alanfgates