大數(shù)據(jù)

大數(shù)據(jù)（Big Data）是指規(guī)模巨大、類型多樣且處理復(fù)雜的數(shù)據(jù)集合，這些數(shù)據(jù)集合的規(guī)模通常超出了傳統(tǒng)數(shù)據(jù)庫軟件的處理能力范圍。大數(shù)據(jù)具有三個(gè)主要特征：量大、速度快和種類繁多。量大指的是數(shù)據(jù)量級(jí)非常龐大，通常以TB、PB甚至EB計(jì)量；速度快表示數(shù)據(jù)產(chǎn)生、傳輸和處理的速度非常迅速；種類繁多則意味著數(shù)據(jù)的來源多樣，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等。

目錄

• 1 發(fā)展背景
• 2 主要作用
  • 2.1 了解用戶
  • 2.2 鎖定資源
  • 2.3 規(guī)劃生產(chǎn)
  • 2.4 做好運(yùn)營
  • 2.5 開展服務(wù)
• 3 特征
• 4 技術(shù)與工具
• 5 生態(tài)系統(tǒng)
• 6 傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)
  • 6.1 縱向擴(kuò)展
  • 6.2 橫向擴(kuò)展
  • 6.3 資源集中（計(jì)算與存儲(chǔ)）
  • 6.4 分布式（計(jì)算與存儲(chǔ)）
• 7 發(fā)展趨勢
• 8 相關(guān)條目

發(fā)展背景

大數(shù)據(jù)概念的提出可以追溯到20世紀(jì)90年代末，當(dāng)時(shí)美國IT分析師肯尼斯·庫克林（Kenneth Cukier）提出了“大數(shù)據(jù)”一詞。隨著互聯(lián)網(wǎng)的快速發(fā)展和智能設(shè)備的普及，人類社會(huì)開始進(jìn)入了一個(gè)“數(shù)據(jù)爆炸”的時(shí)代。互聯(lián)網(wǎng)、社交媒體、傳感器技術(shù)、移動(dòng)設(shè)備等各種數(shù)據(jù)源不斷產(chǎn)生海量數(shù)據(jù)，如何有效地利用這些數(shù)據(jù)成為了各個(gè)領(lǐng)域關(guān)注的焦點(diǎn)。

主要作用

了解用戶

從大數(shù)據(jù)技術(shù)方面來看，用數(shù)據(jù)來指引企業(yè)的成長，將不再單單是一句口號(hào)。百度副總裁曾良表示，從挖掘的角度來看，他們通過對(duì)每天60億的檢索請(qǐng)求數(shù)據(jù)分析，可以發(fā)現(xiàn)檢索某一品牌的受眾行為特征，進(jìn)而反饋給企業(yè)的品牌、產(chǎn)品研發(fā)部門，能更準(zhǔn)確地了解目標(biāo)用戶，并推出與用戶要求相匹配的產(chǎn)品。大數(shù)據(jù)通過相關(guān)性分析，將客戶、用戶和產(chǎn)品有機(jī)串聯(lián)，對(duì)用戶的產(chǎn)品偏好，客戶的關(guān)系偏好進(jìn)行個(gè)性化定位，生產(chǎn)出用戶驅(qū)動(dòng)型的產(chǎn)品，提供客戶導(dǎo)向性的服務(wù)。

通過運(yùn)用大數(shù)據(jù)，不僅可以從數(shù)據(jù)中發(fā)掘出適應(yīng)企業(yè)發(fā)展環(huán)境的社會(huì)和商業(yè)形態(tài)，用數(shù)據(jù)對(duì)用戶和客戶對(duì)待產(chǎn)品的態(tài)度進(jìn)行挖掘和洞察，準(zhǔn)確發(fā)現(xiàn)并解讀客戶及用戶的諸多新需求和行為特征，這必將顛覆傳統(tǒng)企業(yè)在用戶調(diào)研過程中，過分依賴主觀臆斷的市場分析模式。

鎖定資源

通過大數(shù)據(jù)技術(shù)，可以實(shí)現(xiàn)企業(yè)對(duì)所需資源的精準(zhǔn)鎖定，在企業(yè)在運(yùn)營過程中，所需要的每一種資源的挖掘方式、具體情況和儲(chǔ)量分布等，企業(yè)都可以進(jìn)行搜集分析，形成基于企業(yè)的資源分布可視圖，就如同“電子地圖”一般，將原先只是虛擬存在的各種優(yōu)勢點(diǎn)，進(jìn)行“點(diǎn)對(duì)點(diǎn)”的數(shù)據(jù)化、圖像化展現(xiàn)，讓企業(yè)的管理者可以更直觀地面對(duì)自己的企業(yè)，更好地利用各種已有和潛在資源。

規(guī)劃生產(chǎn)

大數(shù)據(jù)不僅改變了數(shù)據(jù)的組合方式，而且影響到企業(yè)產(chǎn)品和服務(wù)的生產(chǎn)和提供。通過用數(shù)據(jù)來規(guī)劃生產(chǎn)架構(gòu)和流程，不僅能夠幫助他們發(fā)掘傳統(tǒng)數(shù)據(jù)中無法得知的價(jià)值組合方式，而且能給對(duì)組合產(chǎn)生的細(xì)節(jié)問題，提供相關(guān)性的、一對(duì)一的解決方案，為企業(yè)開展生產(chǎn)提供保障。

做好運(yùn)營

過去某一品牌要做市場預(yù)測，大多靠自身資源、公共關(guān)系和以往的案例來進(jìn)行分析和判斷，得出的結(jié)論往往也比較模糊，很少能得到各自行業(yè)內(nèi)的足夠重視。通過大數(shù)據(jù)的相關(guān)性分析，根據(jù)不同品牌市場數(shù)據(jù)之間的交叉、重合，企業(yè)的運(yùn)營方向?qū)?huì)變得直觀而且容易識(shí)別，在品牌推廣、區(qū)位選擇、戰(zhàn)略規(guī)劃方面將做到更有把握地面對(duì)。

開展服務(wù)

通過大數(shù)據(jù)計(jì)算對(duì)社交信息數(shù)據(jù)、客戶互動(dòng)數(shù)據(jù)等，可以幫助企業(yè)進(jìn)行品牌信息的水平化設(shè)計(jì)和碎片化擴(kuò)散。經(jīng)濟(jì)學(xué)家Richard H. Thaler曾經(jīng)提出一種觀點(diǎn)，“個(gè)人觀點(diǎn)的微小變化都可以演變?yōu)樗腥说娜后w行為模式的重大變革。”在這一重大變革的背景之下，對(duì)微小的信息流，企業(yè)都必須重視，而客戶服務(wù)為應(yīng)對(duì)這種情況，也需要像空氣一樣分布在一些細(xì)枝末節(jié)之中。企業(yè)可以借助社交媒體中公開的海量數(shù)據(jù)，通過大數(shù)據(jù)信息交叉驗(yàn)證技術(shù)、分析數(shù)據(jù)內(nèi)容之間的關(guān)聯(lián)度等，進(jìn)而面向社會(huì)化用戶開展精細(xì)化服務(wù)，提供更多便利、產(chǎn)生更大價(jià)值。

特征

• 體量（Volume）：數(shù)據(jù)量巨大，從TB到PB級(jí)別。

• 速度（Velocity）：數(shù)據(jù)流入的速度非?？?，需要實(shí)時(shí)或近實(shí)時(shí)的處理。

• 多樣性（Variety）：數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

• 真實(shí)性（Veracity）：數(shù)據(jù)的質(zhì)量和準(zhǔn)確性對(duì)分析結(jié)果至關(guān)重要。

• 價(jià)值（Value）：從大數(shù)據(jù)中提取有用的信息，轉(zhuǎn)化為商業(yè)價(jià)值或其他形式的價(jià)值。

技術(shù)與工具

• 分布式計(jì)算：例如Apache Hadoop和Spark，用于存儲(chǔ)和處理大規(guī)模數(shù)據(jù)集。

• NoSQL數(shù)據(jù)庫：例如MongoDB、Cassandra和HBase，適用于存儲(chǔ)非關(guān)系型數(shù)據(jù)。

• 數(shù)據(jù)倉庫：如Amazon Redshift和Google BigQuery，用于分析大型數(shù)據(jù)集。

• 數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)：利用算法來發(fā)現(xiàn)數(shù)據(jù)模式、預(yù)測趨勢和行為。

• 可視化工具：Tableau、Power BI等可視化工具，能夠?qū)⒋髷?shù)據(jù)轉(zhuǎn)化為直觀、易于理解的可視化圖表，幫助用戶發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)和規(guī)律。

• 實(shí)時(shí)數(shù)據(jù)處理：Kafka、Storm等實(shí)時(shí)數(shù)據(jù)處理工具，能夠?qū)?shí)時(shí)數(shù)據(jù)流進(jìn)行高效處理和分析。

• 數(shù)據(jù)安全與隱私保護(hù)：數(shù)據(jù)加密、訪問控制、身份認(rèn)證等技術(shù)，保障大數(shù)據(jù)的安全性和隱私性。

生態(tài)系統(tǒng)

• 大數(shù)據(jù)：歷史數(shù)據(jù)量逐漸攀升、新型數(shù)據(jù)類型逐漸增多。是企業(yè)必然會(huì)遇到的問題。

• 新技術(shù)：傳統(tǒng)方式與技術(shù)無法處理大量、種類繁多的數(shù)據(jù)，需要新的技術(shù)解決新的問題。

• 技術(shù)人員：有了問題，有了解決問題的技術(shù)，需要大量懂技術(shù)的人解決問題。

• 最佳實(shí)踐：解決問題的方法，途徑有很多，尋找最好的解決方法。

• 商業(yè)模式：有了最好的解決辦法，同行業(yè)可以復(fù)用，不同行業(yè)可以借鑒，便形成了商業(yè)模式。

傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)

縱向擴(kuò)展

表示在需要處理更多負(fù)載時(shí)通過提高單個(gè)系統(tǒng)處理能力的方法來解決問題。最簡單的情況就是為應(yīng)用系統(tǒng)提供更為強(qiáng)大的硬件。例如如果數(shù)據(jù)庫所在的服務(wù)器實(shí)例只有2G內(nèi)存、低配CPU、小容量硬盤，進(jìn)而導(dǎo)致了數(shù)據(jù)庫不能高效地運(yùn)行，那么我們就可以通過將該服務(wù)器的內(nèi)存擴(kuò)展至8G、更換大容量硬盤或者更換高性能服務(wù)器來解決這個(gè)問題。

橫向擴(kuò)展

是將服務(wù)分割為眾多的子服務(wù)并在負(fù)載平衡等技術(shù)的幫助下在應(yīng)用中添加新的服務(wù)實(shí)例。例如如果數(shù)據(jù)庫所在的服務(wù)器實(shí)例只有一臺(tái)服務(wù)器，進(jìn)而導(dǎo)致了數(shù)據(jù)庫不能高效地運(yùn)行，那么我們就可以通過增加服務(wù)器數(shù)量，將其構(gòu)成一個(gè)集群來解決這個(gè)問題。

資源集中（計(jì)算與存儲(chǔ)）

• 集中式計(jì)算：數(shù)據(jù)計(jì)算幾乎完全依賴于一臺(tái)中、大型的中心計(jì)算機(jī)的處理能力。和它相連的終端(用戶設(shè)備)具有各不相同的智能程度。實(shí)際上大多數(shù)終端完全不具有處理能力，僅僅作為一臺(tái)輸入輸出設(shè)備使用。
• 集中式存儲(chǔ)：指建立一個(gè)龐大的數(shù)據(jù)庫，把各種信息存入其中，各種功能模塊圍繞信息庫的周圍并對(duì)信息庫進(jìn)行錄入、修改、查詢、刪除等操作的組織方式。

分布式（計(jì)算與存儲(chǔ)）

• 分布式計(jì)算：是一種計(jì)算方法，是將該應(yīng)用分解成許多小的部分，分配給多臺(tái)計(jì)算機(jī)進(jìn)行處理。這樣可以節(jié)約整體計(jì)算時(shí)間，大大提高計(jì)算效率。
• 分布式存儲(chǔ)：是一種數(shù)據(jù)存儲(chǔ)技術(shù)，通過網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落，多臺(tái)服務(wù)器。

發(fā)展趨勢

隨著物聯(lián)網(wǎng)設(shè)備的發(fā)展，它會(huì)作用于城市管理、智能交通系統(tǒng)和智能家居等領(lǐng)域。其次，隨著人工智能技術(shù)的不斷進(jìn)步，大數(shù)據(jù)將成為訓(xùn)練和改進(jìn)模型的關(guān)鍵資源。通過對(duì)龐大的數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)和機(jī)器學(xué)習(xí)，人工智能系統(tǒng)將能夠更準(zhǔn)確地預(yù)測、識(shí)別模式和解決復(fù)雜的問題。

相關(guān)條目

• 企業(yè)數(shù)字化
• 人工智能
• 云計(jì)算
• 物聯(lián)網(wǎng)