ビッグデータ解析に重要なメモリアクセスを最適化したMITのプログラミング言語「Milk」がアツい

ビッグデータ解析にはメモリアクセスが重要

ビッグデータ解析ではメモリアクセスが大きなボトルネックとなります。扱うデータが今までに無かった規模なので、既存のプログラミング言語のメモリ管理では限界がありました。その限界を突破し、ビッグデータ解析を新しい次元に押し上げるのがマサチューセッツ工科大学のプログラミング言語「Milk」です。

メモリアクセスを更に高速となるように最適化

Milkではメモリがデータの関連性を見つけることに特化した体系で管理されるようです。これにより、同じアルゴリズムでも既存のプログラミング言語の4倍の速さを実現したと発表しました。

「疎なデータ」へのアクセス

現代のシステムではCPUはまとまりごとにメモリを読み込みます。ビッグデータ解析においてはそのまとまりの中の一つのデータだけが重要ということがあり得るそうで、まとまりで読み込むと言うモデルはリソースの無駄遣いだとMITの研究者は言います。「シリアルを食べる時に、シリアルをスプーンで掬う度に、毎回冷蔵庫から牛乳パックを出して来るようなものだ。」と研究者は例えたそうです。このことに対する対策もMilkには織り込まれているようです。

手直しがなされている

恐ろしいのは、既存のプログラミング言語の4倍という高い効率を発揮したにも関わらず、まだ設計を手直ししているということだそうです。ビッグデータの時代への最適化はまだ始まったばかりで、今後MITは最高のパフォーマンスを世界に提供してくれるでしょう。ビジネスがビッグデータによって変わる時代はもう近いのかもしれません。

Add a Comment

メールアドレスの入力は任意です。(公開されることはありません)