| Apache Spark a unified analytics engine for big data processing. |
| 出典: ビッグデータ 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年12月6日 (月) 15:30 UTC、URL: https://ja.wikipedia.org/ ビッグデータ（英: big data）とは、組織が非常に大きなデータセットとそれらが保存されている施設を作成、操作、および管理できるようにするすべての技術を指す。一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。組織が非常に大きなデータセットを作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す。ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管、検索、共有、転送、解析、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある。 [概要] データ量の上限 コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学、コネクトミクス、複雑な物理シミュレーション、生物調査および環境調査等がある。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。 ・・・ |
| Apache Spark a unified analytics engine for large-scale data processing. |
| source of reference: アパッチストーム (The Free Encyclopedia WikipediA) last edited on 6 August 2020, at 12:18 UTC, URL: https://en.wikipedia.org/ Automatic translation Apache Stormは、主にClojureプログラミング言語で記述された分散ストリーム処理計算フレームワークです。もともとNathan Marz とBackTypeのチームによって作成されたこのプロジェクトは、Twitterに買収された後、オープンソースでした。ストリーミングデータのバッチ分散処理を可能にする情報ソースと操作を定義するために、カスタム作成された「スパウト」と「ボルト」を使用します。最初のリリースは2011年9月17日でした。 ・・・ |
| 出典: Apache Hadoop 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年12月27日 (木) 07:09 UTC、URL: https://ja.wikipedia.org/ Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 [アーキテクチャ] Hadoopは、以下の4つのモジュールによって構成されている。 ● Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 ● Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 ● Hadoop YARN: Hadoopクラスタのリソース管理や、Hadoop上で動作するアプリケーションのスケジューリングを担当する。 ● Hadoop MapReduce: Hadoop上で動作するMapReduceフレームワークの実装。・・・ |
| 出典: Apache Spark 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年5月24日 (木) 06:26 UTC、URL: https://ja.wikipedia.org/ Apache Sparkはオープンソースのクラスタコンピューティングフレームワークである。カリフォルニア大学バークレー校のAMPLabで開発されたコードが、管理元のApacheソフトウェア財団に寄贈された。Sparkのインタフェースを使うと、暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。 [概要] フォールトトレラントシステムで管理され、複数マシンのクラスタに分散されたデータ項目の読み取り専用多重集合であるRDD（resilient distributed dataset）と呼ばれるデータ構造を中心とするアプリケーションプログラミングインターフェイスを備えている。 ・・・ Spark Core プロジェクト全体の基盤であり、RDD抽象化を中心とするアプリケーションプログラミングインターフェイス（Java、Python、Scala、R）を介して公開される分散タスクディスパッチ、スケジューリング、および基本I/O機能を実装している。（Java APIは他のJVM言語でも使用でき、Juliaなどの他の非JVM言語でも使用できる。）「ドライバ」プログラムは、関数をSparkに渡すことによってRDD上でmap、 filter 、reduceなどの並列操作を呼び出し、関数の実行をクラスタ上で並列にスケジュールする。 ・・・ |
| source of reference: Apache Storm (The Free Encyclopedia WikipediA) last edited on 6 August 2020, at 12:18 UTC, URL: https://en.wikipedia.org/ Apache Storm is a distributed stream processing computation framework written predominantly in the Clojure programming language. Originally created by Nathan Marz and team at BackType, the project was open sourced after being acquired by Twitter. It uses custom created "spouts" and "bolts" to define information sources and manipulations to allow batch, distributed processing of streaming data. The initial release was on 17 September 2011. ... |
| 出典: ビッグデータ 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年3月6日 (火) 14:15 UTC、URL: https://ja.wikipedia.org/ ビッグデータ（英: big data）とは、一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管、検索、共有、転送、解析、可視化等多岐にわたる。 [概要] データの上限:コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。 ・・・ |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| Apache Hadoop | Apache Spark |
| əpɑ́ʃ hæ̀dú:p | アパッチ スパーク |
| Apache Hadoop 3.0 | big data |
| アゥパチィー ハェドュープ | ビッグ・データ |
| アゥパチィー・ハェドュープ | ビッグ・データ解析 |
| アゥパ́チィー・ハェ̀ドュ́ープ | ビッグ・データ処理ツール |
| アパッチ ハドゥープ | ・ |
| アパッチ・ハドゥープ | EB |
| アパッ́チ・ハ̀ドゥ́ープ | exabyte |
| Hadoop | エクサバイト |
| hæ̀dú:p | 1PBの1000倍 |
| ハェドュープ | 1000PB |
| ハェ̀ドュ́ープ | 1000ペタバイト |
| ハドゥープ | 10^18バイト |
| ハ̀ドゥ́ープ | 100万TB |
| ・ | ・ |
| Hadoop Common | |
| Hadoop Distributed File System | |
| Hadoop MapReduce | |
| HBase | |
| HDFS | |
| MapReduce | |
| 更新日:2023年11月24日 |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| Apache Spark | Hadoop |
| əpɑ́ʃ spɑ́rk | hæ̀dú:p |
| アゥパチィー スパァーク | ハェドュープ |
| アゥパチィー・スパァーク | ハェ̀ドュ́ープ |
| アゥパ́チィー・スパァ́ーク | ハドゥープ |
| アパッチ スパーク | ハ̀ドゥ́ープ |
| アパッチ・スパーク | Apache Hadoop |
| アパッ́チ・スパ́ーク | ・ |
| Spark | Matei Zaharia |
| spɑ́rk | ビッグデータ解析 |
| スパァーク | ・ |
| スパァ́ーク | unified |
| スパーク | júːnifàid |
| スパ́ーク | ユニファイドゥ |
| https://spark.apache.org/ | ユ́ニファ̀イドゥ |
| ユニファイド | |
| ユ́ニファ̀イド | |
| [形容詞] | |
| 一つにした | |
| 統合された | |
| とうごうされた | |
| 統一された | |
| ・ | |
| analytics | |
| æ̀nəlítiks | |
| アェナゥリィデクス | |
| アェ̀ナゥリィ́デクス | |
| アナリティクス | |
| ア̀ナリ́ティクス | |
| [名詞] | |
| 分析論 | |
| 分析性 | |
| 分析学 | |
| 解析 | |
| かいせき | |
| 更新日:2024年 4月12日 |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| Apache Storm | Apache Spark |
| Apache Storm 2.0 | event processor |
| əpɑ́ʃ stɔ́rm | Hadoop |
| アゥパチィー ストーァム | ストリームデータ処理 |
| アゥパチィー・ストーァム | ストリーム処理 |
| アゥパ́チィー・スト́ーァム | ストリーム処理エンジン |
| アパッチ ストーム | ビッグ・データ |
| アパッチ・ストーム | ビッグ・データ解析 |
| アパッ́チ・スト́ーム | ビッグ・データ解析ツール |
| Storm | ビッグ・データ処理 |
| stɔ́rm | |
| ストーァム | |
| スト́ーァム | |
| ストーム | |
| スト́ーム | |
| http://storm.apache.org/ | |
| https://storm.apache.org/ | |
| 更新日:2023年11月28日 |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| BDA | Analytics 3.0 |
| big data analysis | æ̀nəlítiks θríː pɔ́int zíərou |
| bíg déitə ənǽləsis | アェナゥリゥィデクス スゥリー ポイントゥ ジィーロウ |
| ビッグ デイダァー アゥナェラゥシィス | アェ̀ナゥリゥィ́デクス スゥリ́ー ポ́イントゥ ジィーロウ |
| ビッグ・デイダァー・アゥナェラゥシィス | アナリティクス スリー ポイント ゼロ |
| ビッ́グ・デ́イダァー・アゥナェ́ラゥシィス | ア̀ナリ́ティクス スリ́ー ポ́イント ゼロ |
| ビック データー アナリシス | アナリティクス3.0 |
| ビック・データー・アナリシス | データ・アナリティクス3.0 |
| ビッ́ク・デ́ーター・アナ́リシス | ・ |
| ビッグデータ解析 | |
| ビッグデータ分析 | |
| ・ | |
| large-scale data processing | |
| lɑ́rdʒ skéil déitə próusesiŋ | |
| ラゥァージ スケイルゥ デイダァー プロセシィング | 【 以下関連語 】 |
| ラゥァージ・スケイルゥ・デイダァー・プロセシィング | Apache Spark |
| ラゥ́ァージ・スケ́イルゥ・デ́イダァー・プロ́セシィング | Big data |
| ラージ スケール データー プロセシング | big data |
| ラージ・スケール・データー・プロセシング | ビッグ・デイダ |
| ラ́ージ・スケ́ール・デ́ーター・プロ́セシング | ビッグデータ |
| 大規模データー処理 | Data Lake |
| ・ | data lake |
| Analytics 1.0 | データレイク |
| æ̀nəlítiks wʌ́n pɔ́int zíərou | ビッグデータの湖 |
| アェナゥリゥィデクス ウァン ポイントゥ ジィーロウ | Hadoop |
| アェ̀ナゥリゥィ́デクス ウァ́ン ポ́イントゥ ジィーロウ | Microsoft SQLserver |
| アナリティクス ワン ポイント ゼロ | Oracle Oracle10g |
| ア̀ナリ́ティクス ワ́ン ポ́イント ゼロ | データ解析 |
| アナリティクス1.0 | データ分析 |
| データ・アナリティクス1.0 | 巨大デジタル情報 |
| Analytics 2.0 | 非構造化データ |
| æ̀nəlítiks túː pɔ́int zíərou | 膨大なデータ |
| アェナゥリゥィデクス トゥー ポイントゥ ジィーロウ | 膨大なデジタル情報 |
| アェ̀ナゥリゥィ́デクス トゥ́ー ポ́イントゥ ジィーロウ | Data Mart |
| アナリティクス ツー ポイント ゼロ | データマート |
| ア̀ナリ́ティクス ツ́ー ポ́イント ゼロ | エンタープライズ・データハブ |
| データ・アナリティクス2.0 | エンタープライズ・データレイク |
| ・ | ビッグデータ活用 |
| 更新日:2024年 5月11日 |