Apache Hadoop: 一般教書

10月16日火曜日
1:00 PM - 1:45 PM
401号室

Apache Hadoop YARNは、ビッグデータアプリケーションおよびストレージ用HDSF向けの最新分散オペレーティングシステムです。YARNは、Hadoopコンピュートレイヤーを、多種多様なアプリケーションのホストが可能な一般的な資源管理プラットフォームに変身させました。

この講演は、Apache Hadoop YARNが大小規模の展開で現在どのように使用されているのか、その現状から始めます。次の話題は、胸の高鳴るようなYARNの現在と未来について—YARNをエンタープライズ Hadoopを実行するデータセンター向けの、最高級の資源管理プラットフォームとしてさらに強化していくことを取り上げます。次の機能やイニシアチブの現状と未来について議論します: 強力なコンテナ配置、グローバルスケジューリング、GPUおよびFPGAサポートを通した機械学習のサポートおよび深層学習ワークロード、YARN federationの大規模なスケール、YARN上のコンテナ化されたアプリ、長期にわたり実行されているサービス (アプリケーションと一緒に) への変化を加えない自然なサポート、シームレスなアプリケーションのアップグレード、強力なスケジューリング機能、運営向上およびより優れたキュー管理。

講演の第二部は、HDFSの最新の機能拡張に焦点を置きます。HDFSには幾つかの長所があります: IO帯域幅の水平スケール、ペタバイトのストレージにストレージをスケール。さらに、非常に低遅延のメタデータオペレーションを提供し、6万以上の同時接続のクライアントに合わせて調整します。Hadoop 3.0は最近Erasure Codingを導入しました。HDFSの制限の1つは、システム内の複数のファイルやブロックのスケーリングです。近日発表されるOzoneテクノロジーを使用した、Hadoopのストレージ インフラストラクチャの根本的な変更について説明します。これにより、Hadoopは将来、以前よりも多数のより小さなオブジェクトの数十億に及ぶファイルやブロックのスケーリングが可能になります。

講演者

サンジェイ・ラディア
チーフアーキテクト
創立者
Hortonworks, Inc.
サンジェイは、Hortonworksの設立者、チーフアーキテクトであり、Apache Hadoop コミッタ、およびApache Hadoop PMCのメンバーでもあります。Hortonworks 共同設立に先立ち、サンジェイはYahooのコアHadoopのチーフアーキテクトとしてHadoopの設計に携わりました。Hadoopでは、HDFS、MapReduceスケジューラー、YARNの設計、高可用性、互換性など様々な分野に貢献しています。また、Sun Microsystems と INRIA ではシニアエンジニアの役職を果たし、分散システム、グリッド/ユーティリティ·コンピューティング·インフラストラクチャのためのソフトウェアを開発しました。サンジェイは、カナダの University of Waterloo にてコンピュータ科学の博士号を取得しています。