ラベル クラウド map reduce hadoop の投稿を表示しています。 すべての投稿を表示
ラベル クラウド map reduce hadoop の投稿を表示しています。 すべての投稿を表示

2009年10月18日日曜日

Map Reduce ~ クラウド勉強 in ruby business commons

クラウドの技術要素としての並列分散処理システムMap Reduceについて勉強してきました。

内容としてはざっとこんな感じだったと思う↓
http://d.hatena.ne.jp/naoya/20080511/1210506301
rubyで書いてあげれば結構シンプルに書けるのだとか。

基本的には技術屋さん向けの勉強会というわけではなかったにせよ内容をその場ですべて理解することはできませんでした。


今やっていることのバッチ処理が2~4時間くらいかかっています。
それもまだ完全ではなくて、本来やりたいことまでやろうとすると数十倍の処理能力が欲しかったりする。

しょっぽいパソコンたくさん集めてMap Reduceの並列分散処理を組みこんであげればやりたいことの実現ができるんじゃないかなぁなんて。

そんな妄想を感じている今日この頃。