Ozone and HDFS’s evolution

Wednesday, April 18
11:50 AM - 12:30 PM
Room I

HDFS has several strengths: horizontally scale its IO bandwidth and scale its storage to petabytes of storage. Further it provides very low latency metadata operations and scales to over 60K concurrent clients. One of its limitations is scaling number of files and blocks in the system. We describe a radical change to Hadoop’s storage infrastructure with the upcoming Ozone technology. It allows Hadoop to scale to tens of billions of files and blocks and, in the future, to every larger number of smaller objects. Ozone fundamentally separates the namespace layer and the block layer allowing new namespace layers to be added in the future. Further, the use of RAFT protocol has allowed the storage layer to be self-consistent. It also means that the HA solution for the Metadata server (the Keyspace manager/future NN). We show how this technology helps a Hadoop user and also what it means for evolving HDFS in the future. We will also cover the technical details of Ozone.

Presentation Video


Hortonworks, Inc.
サンジェイは、Hortonworksの設立者、チーフアーキテクトであり、Apache Hadoop コミッタ、およびApache Hadoop PMCのメンバーでもあります。Hortonworks 共同設立に先立ち、サンジェイはYahooのコアHadoopのチーフアーキテクトとしてHadoopの設計に携わりました。Hadoopでは、HDFS、MapReduceスケジューラー、YARNの設計、高可用性、互換性など様々な分野に貢献しています。また、Sun Microsystems と INRIA ではシニアエンジニアの役職を果たし、分散システム、グリッド/ユーティリティ·コンピューティング·インフラストラクチャのためのソフトウェアを開発しました。サンジェイは、カナダの University of Waterloo にてコンピュータ科学の博士号を取得しています。