Ozone and HDFS’s evolution

Wednesday, February 6
2:50 PM - 3:30 PM
Room 101/102

HDFS has several strengths: horizontally scale its IO bandwidth and scale its storage to petabytes of storage. Further, it provides very low latency metadata operations and scales to over 60K concurrent clients. Hadoop 3.0 recently added Erasure Coding. One of HDFS’s limitations is scaling a number of files and blocks in the system. We describe a radical change to Hadoop’s storage infrastructure with the upcoming Ozone technology. It allows Hadoop to scale to tens of billions of files and blocks and, in the future, to every larger number of smaller objects. Ozone fundamentally separates the namespace layer and the block layer allowing new namespace layers to be added in the future. Further, the use of RAFT protocol has allowed the storage layer to be self-consistent. We show how this technology helps a Hadoop user and also what it means for evolving HDFS in the future. We will also cover the technical details of Ozone.

講演者

サンジェイ・ラディア
チーフアーキテクト
創立者
Hortonworks, Inc.
サンジェイは、Hortonworksの設立者、チーフアーキテクトであり、Apache Hadoop コミッタ、およびApache Hadoop PMCのメンバーでもあります。Hortonworks 共同設立に先立ち、サンジェイはYahooのコアHadoopのチーフアーキテクトとしてHadoopの設計に携わりました。Hadoopでは、HDFS、MapReduceスケジューラー、YARNの設計、高可用性、互換性など様々な分野に貢献しています。また、Sun Microsystems と INRIA ではシニアエンジニアの役職を果たし、分散システム、グリッド/ユーティリティ·コンピューティング·インフラストラクチャのためのソフトウェアを開発しました。サンジェイは、カナダの University of Waterloo にてコンピュータ科学の博士号を取得しています。