| 出典: ビッグデータ 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年12月6日 (月) 15:30 UTC、URL: https://ja.wikipedia.org/ ビッグデータ（英: big data）とは、組織が非常に大きなデータセットとそれらが保存されている施設を作成、操作、および管理できるようにするすべての技術を指す。一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。組織が非常に大きなデータセットを作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す。ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管、検索、共有、転送、解析、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある。 [概要] データ量の上限 コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学、コネクトミクス、複雑な物理シミュレーション、生物調査および環境調査等がある。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。 ・・・ |
| 出典: Apache Hadoop 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年12月27日 (木) 07:09 UTC、URL: https://ja.wikipedia.org/ Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 [アーキテクチャ] Hadoopは、以下の4つのモジュールによって構成されている。 ● Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 ● Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 ● Hadoop YARN: Hadoopクラスタのリソース管理や、Hadoop上で動作するアプリケーションのスケジューリングを担当する。 ● Hadoop MapReduce: Hadoop上で動作するMapReduceフレームワークの実装。・・・ |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| Apache Hadoop | Apache Spark |
| əpɑ́ʃ hæ̀dú:p | アパッチ スパーク |
| Apache Hadoop 3.0 | big data |
| アゥパチィー ハェドュープ | ビッグ・データ |
| アゥパチィー・ハェドュープ | ビッグ・データ解析 |
| アゥパ́チィー・ハェ̀ドュ́ープ | ビッグ・データ処理ツール |
| アパッチ ハドゥープ | ・ |
| アパッチ・ハドゥープ | EB |
| アパッ́チ・ハ̀ドゥ́ープ | exabyte |
| Hadoop | エクサバイト |
| hæ̀dú:p | 1PBの1000倍 |
| ハェドュープ | 1000PB |
| ハェ̀ドュ́ープ | 1000ペタバイト |
| ハドゥープ | 10^18バイト |
| ハ̀ドゥ́ープ | 100万TB |
| ・ | ・ |
| Hadoop Common | |
| Hadoop Distributed File System | |
| Hadoop MapReduce | |
| HBase | |
| HDFS | |
| MapReduce | |
| 更新日:2023年11月24日 |