2017/07/10 08:36:20
shiumachi
わかりやすさ優先してかなり端折ったので(それでも結構長くなった)、「なんでアレに言及してないんだ！」と思う人はご自身のブログとかで補完してくれるとうれしいです
2017/07/10 08:43:28
tgk
「MapReduceの時代が終わった、というのが正しい理解です」
2017/07/10 09:23:17
sifue
すごく分かりやすかった。あまりビッグデータ周り触れないからこういうのは助かる。Scalaも今やSparkのストリーム処理で使う言語という認識の人も多いのだろうなぁ。
2017/07/10 09:24:15
mkusunok
分かりやすい解説。世の中にはバッチ処理でさえRDBMSから足を踏み出さない組織もあるんだけどね
2017/07/10 09:45:16
shrkw
学び
2017/07/10 09:45:55
golden_eggg
ガッツリ関わったの2011年辺りまでの古き良き時代だけだったので、この記事の纏めはメッチャ有り難い
2017/07/10 10:07:06
kuniku
データ量が指数関数的に増えることはなく、RDBの延長で使っていく、システムの成長も緩やかというのならば、PostgreSQLを選びバージョンアップに追随していくのも１つの策であると思う
2017/07/10 10:12:56
goodstoriez
“Hadoopの時代が終わった、という言葉は正確ではなく、MapReduceの時代が終わった、というのが正しい理解です。”
2017/07/10 10:16:18
lesamoureuses
歴史だ
2017/07/10 10:17:38
bayashi_net
超わかりやすい
2017/07/10 10:30:18
garage-kid
77: “Hadoopの時代は終わった、という言説を見かけますが、MapReduceの時代が終わった、というのが正しい理解です。”
2017/07/10 10:40:00
kjhdsec
いや、少なくとも日本では終わっているよ/統計処理でなくビッグデータが優位に働く企業(google facebook yahoo)はほぼ無いし/最近はhadoopの記事も事例もめっきり少なくなって技術的にも負債になってきてるんじゃ無かろうか
2017/07/10 10:40:38
kiichi55
読んだ。わかりやすかった。
2017/07/10 10:46:09
estragon
今はいろんな選択肢があるんだな。それにつけても、Amazonさんのスケールメリットはすごいな。今追随してる各社がコスト・品質で敵うわけないもんね
2017/07/10 10:56:06
raimon49
MapReduceとHDFS、それぞれのポジショニング。処理エンジン部分のMapReduceはSQLライクな処理エンジンやSparkの登場で役目を終えつつある。
2017/07/10 10:56:51
sonots
MapReduceがどうこうというより、オンプレで自分たちでビッグデータ基盤を運用する時代が終わった、という意味で言ってる人が多い認識だけどな ... ?
2017/07/10 11:02:01
houyhnhm
ウチの上の会社がせっせとHDFS互換のやつ作ってるなー。分散アーキテクトとしてそこそこ成功しかつパフォーマンスもあるしベンダーロックインもないし。
2017/07/10 11:08:12
kaeuta
サーバスペックが無くても何とか動いてくれるMapReduceは価値があるんだけどね。SPARKはメモリ資源への手当てがめんどさい / インフラを仮想サーバにして性能問題でハマった身としてはHDFSの下をクラウドにするのはな…
2017/07/10 11:14:58
kenchan3
そういえば確かにHadoopはSSDが無い時代のHDD前提のアーキテクチャだったなあ。
2017/07/10 11:25:39
yoyama
“データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが一体となってい
2017/07/10 11:45:39
call_me_nots
“Hadoopの時代は終わった、という言説を見かけますが、MapReduceの時代が終わった、というのが正しい理解です。”
2017/07/10 11:52:57
wata88
わかりやすい解説
2017/07/10 11:55:58
sjn
自力で並列計算しようとするとHDFSやHBASEへのアクセスが結局めんどくなるからクラウドストレージ+並列ライブラリの方がとっつきやすいしオーバーヘッド減らせるという印象
2017/07/10 11:58:50
ssig33
全部読んだうえでやっぱり HDFS 自分で運用しなくていい時代になったんだな、最高！！！！って感想になったし Hadoop の時代は終わったのでは
2017/07/10 12:08:03
maxide65
そうか、MapRが終わったのか…
2017/07/10 12:35:40
t-wada
"Hadoopの時代は終わった、という言説を見かけますが、MapReduceの時代が終わった、というのが正しい理解" "多くの人が未だにHadoopはバッチ処理のためだけの基盤だという誤解をしています"
2017/07/10 12:52:04
zou3dazou
あとで
2017/07/10 13:07:16
lenore
最初に要約を書いてくれているのも図で説明してくれているのも親切で解りやすい。
2017/07/10 13:10:01
yokokaracc
”Hadoopの時代は終わった、という言説を見かけますが、MapReduceの時代が終わった、というのが正しい理解です”
2017/07/10 13:17:02
psfactory
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
2017/07/10 13:21:00
masayuki5160
すごいわかりやすい。Apache Sparkを知ったあたりからのモヤモヤが全てすっきりした。
2017/07/10 13:26:59
sethproton
"Hardbopの時代は終わった"に見えてジャズ好きの私驚愕
2017/07/10 13:44:13
UDONCHAN
はい
2017/07/10 13:46:42
khtno73
理解できるが市場＝'適用して費用対効果でる企業絶対数'が少ないと思う。そこにこそ自社技術・情報格差を金にする意味でClouderaの勝機があるはずだが、IPO段階で黒字化できてないのが苦しい。頑張って欲しい。
2017/07/10 13:50:44
y_uuki
わかりやすい
2017/07/10 14:01:11
nagapad
後で読む
2017/07/10 14:02:52
koyancya
SQL が使えるならなんでもいい
2017/07/10 14:15:19
karikari1255
よくまとまっている。Sparkもメモリに乗り切らなかった分はHDFS使うし、Hadoopのコア技術は今も残ってる。一方で、自前でデータ基盤を運用する流れはなくなり、クラウドに移行しつつあるという話かなと。
2017/07/10 14:46:27
s-wool
HDFSをクラウドストレージに置き換えてジョブ単位でSpark起動しちゃえばyarnすらいらなくなって結果的にHadoopいらんというのも言えなくもない。あくまで環境によるけど。
2017/07/10 15:22:32
yoshikidz
“ハードウェアの進化によるメモリの大容量・低価格化も大きな一因”によるクラウド化かー。おもしろいよね。次はどの領域が進化するか掛け合わせ型で何ができるかかー。根底の技術は生き続けるけれど深いなー
2017/07/10 15:59:27
tengo1985
HDFSのFileSystem APIが重要。この流れだとVerticaとか出してもよかったかも。
2017/07/10 16:13:49
taji_hiro
Hadoop 始めよう思って早8年。 始める前に終わったと。
2017/07/10 16:15:08
takatama
“Hadoopの時代が終わった、という言葉は正確ではなく、MapReduceの時代が終わった、というのが正しい理解です。”
2017/07/10 17:02:30
kabochatori
Hadoopが必要な規模のビッグデータを抱える企業がそんなには多くなかったって気もする。１００万１０００万件程度ではねえ…
2017/07/10 17:16:28
paradisemaker
声に出して読みたい、はどぅーぷ
2017/07/10 17:39:58
yatmsu
タイトルの内容より、hadoopの歴史まとめが素晴らしい。
2017/07/10 17:48:56
mh615033891
“Hadoop MapReduce (以下MapReduce)”
2017/07/10 18:02:37
windish
ちゃんと理解する前に終わってしまたんか…ぐぬぬ
2017/07/10 18:09:29
ya--mada
大胆に整理されてる、とてもシンプルに背景を説明してくれててｺﾞｲｽｰ
2017/07/10 18:24:00
aquarickn
すっごい分かりやすい
2017/07/10 18:40:11
wyukawa
Hadoopのエコシステムが広がってるからなあ
2017/07/10 20:11:36
fubar_foo
全くユースケースがないとは思わないけど、hadoopが最適なユースケースってそこまで多くはなさそうな印象。
2017/07/10 20:42:47
michael-unltd
“処理エンジンに重きを置く人はまずSparkやBigQueryを前提にストレージエンジンを探すでしょうし、ストレージに重きを置く人はまずHDFSやS3というストレージ選定から始めて処理エンジンを探すでしょう。”
2017/07/10 20:53:14
progrhyme
ためになるまとめだった。
2017/07/10 21:04:02
tinsep19
だいたい知ってた
2017/07/10 21:17:45
Nyoho
勉強になりました。これを参考にしながら手を動かしてみようと思います。また、皆様の中に、これを参考にしながら手を動かしてみたという記事を書かれた方は是非教えてください(他力)
2017/07/10 21:17:54
kwhrtsk
HDFSの運用とか頑張るくらいなら代わりにクラウドストレージ使って余った時間を分析寄りのレイヤーとか他に回した方が価値を生み出せる気がする。
2017/07/10 21:21:24
T-miura
hiveとか、pigって最初期からあったと思うのだが、今結構変わってるのだろうか？
2017/07/10 21:25:58
himehi
よい勉強になりました。ありがたや。
2017/07/10 21:41:54
imslotter
単語はわかるようになって嬉しい。けど、まだわかんない。もうちょっと勉強してからまた読む
2017/07/10 21:50:59
abracadabra321
http://www.datasciencecentral.com/profiles/blogs/goodbye-age-of-hadoop-hello-cambrian-explosion-of-deep-learning
2017/07/10 21:51:15
Nilfs
わかりやすかった
2017/07/10 22:23:27
GiveMeChocolate
全然関係ないけど何故か Hiphop だと信じて疑わずにページ開いた
2017/07/10 22:32:31
ebo-c
確か「Hadoopはマシン性能のうちDisk I/Oを使い切る手段」と言ってた人もいた
2017/07/11 00:13:23
mgrstr
データ系素人にもわかりやすい勉強になる
2017/07/11 00:37:29
K2ICE
“Hadoopの時代が終わった、という言葉は正確ではなく、MapReduceの時代が終わった、というのが正しい理解です。”
2017/07/11 01:22:05
uva
わかりやすいなあ
2017/07/11 07:16:14
nilab
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
2017/07/11 08:45:30
baca-aho-doji
ビックデータ基盤をすごくわかりやすく変遷をまとめてくれているいい記事。こうして解説してもらうと時代の流れとともにいろんな進化がることがよくわかる。
2017/07/11 09:09:24
abe_hn
良記事。HDFS押し。
2017/07/11 09:54:48
ota42y
ちょうどこの辺を調べようと思っていたところに良いまとめ記事が！
2017/07/11 10:03:26
teketeke_55
hadoop
2017/07/11 14:59:27
ono_matope
わかりやすい
2017/07/11 15:04:12
mizchi
そもそもHadoopが必要な現場がなかったみたいな認識だった
2017/07/11 16:08:14
aladhi
丁寧に書かれてて良さを感じてる
2017/07/12 00:05:06
mi_hate
「Hadoopの時代は終わった」の意味を正しく理解する
2017/07/12 00:53:20
tmatsuu
正直なかなか触れる機会がない
2017/07/12 02:57:55
Nean
とりあえず。
2017/07/12 09:56:01
hiroponz
分かりやすかった
2017/07/14 04:26:24
vanbraam
もともと_かなり大規模な_分散システムが対象だったはずなのに,猫も杓子もHadoopと騒いでいた時期が過ぎて,適切な使われ方になってきただけではないかとも思う