近日,一則“什么大數據”的帖子刷爆朋友圈,講的是你定一張披薩,就會被翻個底掉,一絲不掛的呈現出來。“這是最好的時代,這是最壞的時代。”一百年前狄更斯說過的這句話,似乎在互聯網時代的今天依然有極大的現實意義。尤其是在移動互聯網時代,我們出行可以在手機上網約車,吃飯可以在手機上叫外賣,看書可以在手機上下載閱讀軟件,哪怕單身沒對象,也可以花不到一分鐘的時間,下載個相親軟件,不到半天就能認識一打異性。那么到底什么是大數據?
大數據(bigdata),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣捷徑,而采用所有數據進行分析處理。大數據的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。
大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。換而言之,如果把大數據比作一種產業,那么這種產業實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。
從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘。但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。
隨著云時代的來臨,大數據(Bigdata)也吸引了越來越多的關注。分析師團隊認為,大數據(Bigdata)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術,包括大規模并行處理(MPP)數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。
最小的基本單位是bit,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數據并不在“大”,而在于“有用”。價值含量、挖掘成本比數量更為重要。對于很多行業而言,如何利用這些大規模數據是贏得競爭的關鍵。
大數據的價值體現在以下幾個方面:
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷
2)做小而美模式的中小微企業可以利用大數據做服務轉型
3)面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值
不過,“大數據”在經濟發展中的巨大意義并不代表其能取代一切對于社會問題的理性思考,科學發展的邏輯不能被湮沒在海量數據中。