
Javaコミュニティ@九州例会 分散・クラウド勉強会 に参加してきたよ。
- re_shikajiro
- Java
- 2008年12月20日
Table of Contents
]Javaコミュニティ@九州例会 分散・クラウド勉強会 に参加してきたよ。
というわけで報告ブログだよ。
そのまえに、クラウドってなんだよ?
クラウドコンピューティング (cloud computing) とは、インターネットを基本にした新しいコンピュータの利用形態である。ユーザーはコンピュータ処理を、ネットワーク(通常はインターネット)経由で、サービスとして利用できる。
「クラウドコンピューティング」は、人々を混乱させる。IT 業界のほぼ全員が「クラウドコンピューティング」を各所で使いたがっているようだが、その意味を知らなかったり、定義が一致していない。
どうやら、なんかわけわからんことになってるみたいだよ。
ここでは「クラウド」とはAmazonEC2やGoogle App Engineみたいなもんだと定義するよ。
今回はクラウドの中の技術「MapReduceとHadoop」について勉強したよ!
きしださんid:nowokayによるMapReduceとHadoopの概要説明
丸山先生の資料
太田一樹さんのCoceZineHadoop、hBaseで構築する大規模分散データ処理システム
を元にした説明だよ。
MapReduceはGoogleが作った技術だよ。HadoopはMapReduceを論文から再構成した、主にYahooが作っているOSSだよ。
これらはクラウドによる分散処理を効率的に行う技術なんだよ。
九州大学の日下部先生によるQITOの紹介
日本IBMと九州大学大学院システム情報科学研究院にてクラウド環境を構築。
記事
- 九州大学にクラウド現れる
- 九大と日本IBM、クラウド・コンピューティング環境を構築
- 九州大学、Hadoopを用いた分散処理を産学連携で検証
- クラウド・コンピューティングから次世代エンタープライズ・データ・センターへ
「最近の学生に新しいパラダイムの教育ができていない!」ってことで、IBMと共同でクラウド環境構築を行う。
規模は余り大きくなく、仮想化を重視している。
管理画面の使い方の説明。簡単にクラウドにサーバーを追加できる。
IIJ Inovation Institute 藤田さんによるMapReduce実装のお話
MapReduceとP2Pで事業化計画中。
Hadoop プログラミングを実践。その報告。
KikkerをMapReduceで再構築。KikkerMRを作成中。
http://mail.google.com/mail/?ui=2&view=js&name=js&ver=N7C3jMWPFqE&am=x_k6ocT3YCEJBf1qbfrGPQ
実装秘話
スタンドアローンモードで開発できる。
クラウド環境でバグが起きると、どのサーバーで起きたのかよくわからない。
Hadoopのサンプルコード読もう。
オライリーのHadoop本も近々出版。(英語)
鹿がクラウドやMapReduceをよくわかってないから、まとめるのが大変だよ。。。
間違いがあれば指摘をお願いしますだよ。
http://tinyurl.com/7beqy5
Hadoopはリバースエンジニアとかではなく、論文などからの再構成です。