97超碰碰碰_91热播_91国产免费视频_91视频合集_国产精品白丝jk白祙_国产精品久免费的黄网站

您現(xiàn)在所在的位置:首頁 >學(xué)習(xí)資源 > JAVA入門教材 > 大數(shù)據(jù)基礎(chǔ)架構(gòu)總結(jié)

大數(shù)據(jù)基礎(chǔ)架構(gòu)總結(jié)

來源:奇酷教育 發(fā)表于:

大數(shù)據(jù)出現(xiàn)的原因:大多數(shù)的技術(shù)突破來源于實(shí)際的產(chǎn)品需要,大數(shù)據(jù)最初誕生于谷歌的搜索引擎中。隨著web2 0時(shí)代的發(fā)展,互聯(lián)網(wǎng)上數(shù)據(jù)量呈獻(xiàn)

大數(shù)據(jù)出現(xiàn)的原因:

 

大多數(shù)的技術(shù)突破來源于實(shí)際的產(chǎn)品需要,大數(shù)據(jù)最初誕生于谷歌的搜索引擎中。隨著web2.0時(shí)代的發(fā)展,互聯(lián)網(wǎng)上數(shù)據(jù)量呈獻(xiàn)爆炸式的增長(zhǎng),為了滿足信息搜索的需要,對(duì)大規(guī)模數(shù)據(jù)的存儲(chǔ)提出了非常強(qiáng)勁的需要?;诔杀镜目紤],通過提升硬件來解決大批量數(shù)據(jù)的搜索越來越不切實(shí)際,于是谷歌提出了一種基于軟件的可靠文件存儲(chǔ)體系GFS,使用普通的PC機(jī)來并行支撐大規(guī)模的存儲(chǔ)。存進(jìn)去的數(shù)據(jù)是低價(jià)值的,只有對(duì)數(shù)據(jù)進(jìn)行過加工才能滿足實(shí)際的應(yīng)用需要,于是谷歌又創(chuàng)造了MapReduce這一計(jì)算模型,該模型能夠利用集群的力量將復(fù)雜的運(yùn)算拆分到每一臺(tái)普通PC上,計(jì)算完成后通過匯總得到最終的計(jì)算結(jié)果,這樣就能夠通過直接增加機(jī)器數(shù)量就獲得更好的運(yùn)算能力了。

有了GFS和MapReduce之后,文件的存儲(chǔ)和運(yùn)算得到了解決,這時(shí)候又出現(xiàn)了新的問題。GFS的隨機(jī)讀寫能力很差,而谷歌有需要一種來存放格式化數(shù)據(jù)的數(shù)據(jù)庫,原本通過單機(jī)的數(shù)據(jù)庫就能解決的問題到了谷歌那里就悲劇了,于是神器的谷歌就又開發(fā)了一套BigTable系統(tǒng),利用GFS的文件存儲(chǔ)系統(tǒng)外加一個(gè)分布式的鎖管理系統(tǒng)Chubby就設(shè)計(jì)出來了BigTable這樣一個(gè)列式的數(shù)據(jù)庫系統(tǒng)。

 

在谷歌完成了上述的系統(tǒng)后,就把其中的思想作為論文發(fā)布出來了,基于這些論文,出現(xiàn)了一個(gè)用JAVA寫的類GFS開源項(xiàng)目Hadoop,最開始hadoop的贊助人是yahoo,后來這個(gè)項(xiàng)目成了Apche的頂級(jí)項(xiàng)目。

 

大數(shù)據(jù)的解決方案:

 

谷歌的那一套系統(tǒng)是閉源的,開源的Hadoop于是就廣泛傳播開來了。

和谷歌那套系統(tǒng)類似,Hadoop的最核心的存儲(chǔ)層叫做HDFS,全稱是Hadoop文件存儲(chǔ)系統(tǒng),有了存儲(chǔ)系統(tǒng)還要有分析系統(tǒng),于是就有了開源版本的MapReduce,類似的參照BigTable就有了Hbase。一開源之后整個(gè)系統(tǒng)用的人就多了,于是大家都像要各種各樣的特性。facebook的那些人覺得mapreduce程序太難寫,于是就開發(fā)了Hive,Hive就是一套能把SQL語句轉(zhuǎn)成Mapreduce的工具,有了這套工具只要你會(huì)SQL就可以來Hadoop上寫mapreduce程序分析數(shù)據(jù)了。對(duì)了,參考chubby,我們有了開源的ZooKeeper來作為分布式鎖服務(wù)的提供者。

 

由于Hadoop最開始設(shè)計(jì)是用來跑文件的,對(duì)于數(shù)據(jù)的批處理來說這沒什么問題,有一天突然大家想要一個(gè)實(shí)時(shí)的查詢服務(wù),數(shù)據(jù)這么大,要滿足實(shí)時(shí)查詢首先要拋開的是mapreduce,因?yàn)樗娴暮寐?008年的時(shí)候一家叫Cloudera的公司出現(xiàn)了,他們的目標(biāo)是要做hadoop界的redhat,把各種外圍系統(tǒng)打包進(jìn)去組成一個(gè)完整的生態(tài)系統(tǒng),后來他們開發(fā)出來了impala,impala的速度比mapreduce在實(shí)時(shí)分析上的效率有了幾十倍的提升,后來hadoop的創(chuàng)始人Doug Cutting也加入了cloudera。這時(shí)候?qū)W院派也開始發(fā)力了,加州大學(xué)伯克利分校開發(fā)出來了Spark來做實(shí)時(shí)查詢處理,剛開始Spark的語法好詭異,后來慢慢出現(xiàn)了Shark項(xiàng)目,漸漸的使得Spark向SQL語法靠近。

 

未來的發(fā)展趨勢(shì):

 

時(shí)代的發(fā)展決定了未來幾乎就要變成數(shù)據(jù)的時(shí)代了,在這樣的一個(gè)時(shí)代,大數(shù)據(jù)的需求越來越深,摒棄過去的抽樣調(diào)查,改為全量的統(tǒng)計(jì)分析,從一些原本無意義的數(shù)據(jù)中挖掘價(jià)值。當(dāng)前大數(shù)據(jù)已經(jīng)開始逐漸服務(wù)于我們的生活,搜索、科學(xué)、用戶分析。。。

 

為了進(jìn)一步提供大數(shù)據(jù)的分析能力,內(nèi)存計(jì)算的概念在未來還會(huì)持續(xù)很長(zhǎng)的時(shí)間,通過內(nèi)存計(jì)算,摒棄磁盤IO對(duì)性能的天花板作用,將運(yùn)算的結(jié)果以實(shí)時(shí)的方式呈獻(xiàn)在我們面前。

主站蜘蛛池模板: 亚洲综合激情另类小说区 | 尤物在线观看精品国产福利片 | 最新精品国偷自产在线美女足 | 国产精品久久九九 | 国产亚洲精品看片在线观看 | 日产无人区一线二线三线新版 | 老司机在线永久免费视频观看 | 国产成人一区二区三区影院免费 | 无码人妻精品一区二区 | 日韩夜夜操 | 国产精品免费无遮挡无码永久视频 | 激情婷婷成人亚洲综合 | 欧美日韩色图 | 男女做爰全过程免费视频 | 国产久操视频 | 中文字幕亚洲综合久久菠萝蜜 | 精品亚洲视频在线 | 欧美成人三级网站在线观看 | 2021久久精品永久免费 | 少妇被粗大的猛烈进出69影院一 | 六月丁香婷婷色狠狠久久 | 欧美日韩国产一区二区三区 | 加勒比中文无码久久综合色 | 中文字幕人妻无码专区 | 热久久这里只有精品 | 激情无码人妻又粗又大 | 精品九九九 | 清纯唯美一二区jk | 亚洲成人一区二区 | 国内精品久久久久影院中国 | 久久97久久97精品免视看秋霞 | 久久福利片 | 97se狠狠狠狼鲁亚洲综合网 | 香蕉av久久一区二区三区 | 久久影视网 | 亚洲国产成人久久精品影视 | 欧美不卡二区 | 青娱乐久草 | 国产h肉在线视频免费观看 国产h视频免费观看 | 一级毛片无遮挡免费全部 | 日产亚洲一区二区三区 |