數(shù)據(jù)無處不在，已成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧?shù)字?jǐn)?shù)據(jù)的數(shù)量呈指數(shù)級增長。據(jù)估計(jì)，全球創(chuàng)建的數(shù)據(jù)將超過180澤字節(jié)。

因此，需要專業(yè)人士了解數(shù)據(jù)科學(xué)、大數(shù)據(jù)和數(shù)據(jù)分析的基礎(chǔ)知識(shí)，并可以進(jìn)行數(shù)據(jù)科學(xué)與數(shù)據(jù)分析等比較，這有助于區(qū)分各種數(shù)據(jù)處理學(xué)科。

這三個(gè)術(shù)語在行業(yè)中經(jīng)常聽到，雖然它們的含義有一些相似之處，但它們也有一些明顯的差異。本文將幫助你清楚地了解成為數(shù)據(jù)科學(xué)家、大數(shù)據(jù)專家或數(shù)據(jù)分析師的含義、應(yīng)用和所需技能。

數(shù)據(jù)科學(xué)是一個(gè)處理非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的領(lǐng)域。它涉及數(shù)據(jù)清理、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析等實(shí)踐。

數(shù)據(jù)科學(xué)是統(tǒng)計(jì)學(xué)、數(shù)學(xué)、編程和問題解決的結(jié)合;以巧妙的方式捕獲數(shù)據(jù);用不同的眼光看待事物的能力;以及清理、準(zhǔn)備和對齊數(shù)據(jù)的能力。這個(gè)總括性術(shù)語包括從數(shù)據(jù)中提取見解和信息時(shí)使用的各種技術(shù)。

大數(shù)據(jù)是指目前使用的傳統(tǒng)應(yīng)用程序無法有效處理的大量數(shù)據(jù)。大數(shù)據(jù)的處理從原始數(shù)據(jù)開始，這些數(shù)據(jù)沒有匯總，而且通常不可能存儲(chǔ)在一臺(tái)計(jì)算機(jī)的內(nèi)存中。

大數(shù)據(jù)是一個(gè)流行詞，用來描述大量的數(shù)據(jù)，包括非結(jié)構(gòu)化的和結(jié)構(gòu)化的，這些數(shù)據(jù)可以覆蓋日常的業(yè)務(wù)。大數(shù)據(jù)被用來分析，這可以采取更好的決策和戰(zhàn)略業(yè)務(wù)措施。

總之，Gartner給出了大數(shù)據(jù)的以下定義:“大數(shù)據(jù)是高容量、高速度或高種類的信息資產(chǎn)，需要具有成本效益的、創(chuàng)新的信息處理形式，以增強(qiáng)洞察力、決策制定和流程自動(dòng)化。”

數(shù)據(jù)分析是研究原始數(shù)據(jù)以得出某些結(jié)論的科學(xué)。

數(shù)據(jù)分析包括應(yīng)用算法或機(jī)械過程來獲得見解，并運(yùn)行多個(gè)數(shù)據(jù)集以尋找有意義的相關(guān)性。它被用于多個(gè)行業(yè)，使組織和數(shù)據(jù)分析公司能夠做出更明智的決策，以及驗(yàn)證和反駁現(xiàn)有的理論或模型。數(shù)據(jù)分析的重點(diǎn)在于推理，這是一個(gè)完全基于研究人員已經(jīng)知道的東西得出結(jié)論的過程。

現(xiàn)在，讓我們來探索數(shù)據(jù)科學(xué)、大數(shù)據(jù)和數(shù)據(jù)分析的應(yīng)用。

1. 互聯(lián)網(wǎng)搜索引擎

搜索引擎利用數(shù)據(jù)科學(xué)算法在幾秒鐘內(nèi)為搜索查詢提供最佳結(jié)果。

2. 數(shù)字廣告

從展示橫幅到數(shù)字廣告牌，整個(gè)數(shù)字營銷領(lǐng)域都使用數(shù)據(jù)科學(xué)算法。這就是數(shù)字廣告比傳統(tǒng)廣告有更高點(diǎn)擊率的主要原因。

3. 推薦系統(tǒng)

推薦系統(tǒng)不僅可以從數(shù)十億可用產(chǎn)品中輕松找到相關(guān)產(chǎn)品，而且還可以為用戶體驗(yàn)增加很多內(nèi)容。許多公司利用該系統(tǒng)根據(jù)用戶的需求來推廣自己的產(chǎn)品。這些推薦是基于用戶以前的搜索結(jié)果。

1. 面向金融服務(wù)的大數(shù)據(jù)

信用卡公司、零售銀行、私人財(cái)富管理咨詢公司、保險(xiǎn)公司、風(fēng)險(xiǎn)基金和機(jī)構(gòu)投資銀行都在其金融服務(wù)中使用大數(shù)據(jù)。其中的共同問題是存在于多個(gè)不同系統(tǒng)中的大量多結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)可以解決這些問題。因此，大數(shù)據(jù)的用途有很多，包括:

• 客戶分析
• 遵從性分析
• 欺詐行為分析
• 運(yùn)營分析

2. 面向通信的大數(shù)據(jù)

獲得新用戶、留住客戶和擴(kuò)大現(xiàn)有用戶基礎(chǔ)是電信服務(wù)提供商的首要任務(wù)。這些挑戰(zhàn)的解決方案在于能夠組合和分析每天創(chuàng)建的大量客戶生成的數(shù)據(jù)和機(jī)器生成的數(shù)據(jù)。

3. 面向零售業(yè)的大數(shù)據(jù)

無論是實(shí)體公司還是在線零售商，要想在游戲中保持競爭力，答案就是更好地了解客戶。這需要能夠分析公司每天處理的所有不同數(shù)據(jù)源，包括博客、客戶交易數(shù)據(jù)、社交媒體、商店品牌信用卡數(shù)據(jù)和客戶依賴度數(shù)據(jù)。

1. 醫(yī)療保健

醫(yī)院面臨的主要挑戰(zhàn)是盡可能有效地治療病人，同時(shí)提供高質(zhì)量的醫(yī)療服務(wù)。儀器和機(jī)器數(shù)據(jù)越來越多地被用于跟蹤和優(yōu)化醫(yī)院的病人流程、治療和設(shè)備。據(jù)估計(jì)，通過利用數(shù)據(jù)分析公司的軟件，將有1%的效率提升，可為全球醫(yī)療保健節(jié)省超過630億美元。

2. 旅行

數(shù)據(jù)分析可以通過博客和社交媒體數(shù)據(jù)分析來優(yōu)化購買體驗(yàn)。旅游網(wǎng)站可以深入了解顧客的偏好。通過定制的套餐和優(yōu)惠，將當(dāng)前的銷售與隨后的“從瀏覽到購買”轉(zhuǎn)換的瀏覽量增加相關(guān)聯(lián)，可以實(shí)現(xiàn)產(chǎn)品的追加銷售。基于社交媒體數(shù)據(jù)的數(shù)據(jù)分析也可以提供個(gè)性化的旅行建議。

3. 游戲

數(shù)據(jù)分析有助于收集數(shù)據(jù)以優(yōu)化游戲內(nèi)部的支出。游戲公司也能夠更多地了解用戶的喜好。

4. 能源管理

大多數(shù)公司正在使用數(shù)據(jù)分析進(jìn)行能源管理，包括智能電網(wǎng)管理、能源優(yōu)化、能源分配和公用事業(yè)公司的樓宇自動(dòng)化。這里的應(yīng)用程序集中在控制和監(jiān)視網(wǎng)絡(luò)設(shè)備和調(diào)度人員，以及管理服務(wù)中斷。公用事業(yè)公司有能力在網(wǎng)絡(luò)性能中集成數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)，并為工程師提供使用分析來監(jiān)控網(wǎng)絡(luò)的機(jī)會(huì)。

數(shù)據(jù)已經(jīng)成為驅(qū)動(dòng)當(dāng)今幾乎所有活動(dòng)的引擎，無論這些活動(dòng)是在醫(yī)療保健、技術(shù)、教育、研究還是零售領(lǐng)域。此外，面向業(yè)務(wù)已經(jīng)從以產(chǎn)品為中心的模型演變?yōu)橐詳?shù)據(jù)為中心的模型。各種規(guī)模的公司都重視信息，不管這些數(shù)據(jù)有多微不足道。信息分析和可視化幫助營銷人員和分析師獲得業(yè)務(wù)洞察力。這種需求產(chǎn)生了對專家的需求，他們可以從當(dāng)今可用的tb級數(shù)據(jù)中提取有用的、有意義的見解。

大數(shù)據(jù)通過提供欺詐檢測和運(yùn)營分析系統(tǒng)等重要技術(shù)來幫助銀行、零售和其他行業(yè)，而數(shù)據(jù)分析通過利用歷史和基于數(shù)據(jù)的趨勢分析，使銀行、能源管理、醫(yī)療保健、旅游和運(yùn)輸?shù)刃袠I(yè)取得了新的進(jìn)展。數(shù)據(jù)科學(xué)以更多的方式擴(kuò)展了這一點(diǎn)，使公司能夠在科學(xué)發(fā)現(xiàn)、醫(yī)學(xué)進(jìn)步、網(wǎng)絡(luò)開發(fā)、數(shù)字廣告、電子商務(wù)等領(lǐng)域探索新的戰(zhàn)略——實(shí)際上，任何你能想象到的領(lǐng)域。

為了更好地理解數(shù)據(jù)科學(xué)與數(shù)據(jù)分析的整體比較，讓我們來看看每個(gè)職業(yè)都做些什么。

數(shù)據(jù)科學(xué)家與項(xiàng)目負(fù)責(zé)人密切合作，以了解他們的目標(biāo)，并找出如何使用數(shù)據(jù)來實(shí)現(xiàn)這些目標(biāo)。他們負(fù)責(zé)清理和組織數(shù)據(jù)、收集數(shù)據(jù)集、挖掘數(shù)據(jù)模式、精煉算法、集成和存儲(chǔ)數(shù)據(jù)以及構(gòu)建訓(xùn)練集。

對于大數(shù)據(jù)專業(yè)人士來說，當(dāng)描述一個(gè)職業(yè)或工作職位時(shí)，“大數(shù)據(jù)”這個(gè)詞不再是一個(gè)“大”的東西。大數(shù)據(jù)專業(yè)人員現(xiàn)在更多地被稱為分析專業(yè)人員，他們審查、分析和報(bào)告公司存儲(chǔ)和維護(hù)的大量數(shù)據(jù)。這些專業(yè)人員識(shí)別大數(shù)據(jù)的挑戰(zhàn)并設(shè)計(jì)解決方案，采用基本的統(tǒng)計(jì)技術(shù)，提高報(bào)告和分析數(shù)據(jù)的質(zhì)量，以及訪問、修改和操作數(shù)據(jù)。

最后，數(shù)據(jù)分析師收集、清理和研究數(shù)據(jù)集，將其轉(zhuǎn)化為可操作的資源，以幫助解決問題或?qū)崿F(xiàn)組織內(nèi)的目標(biāo)。

如果這三種職業(yè)似乎有大量的重疊，那是因?yàn)樗鼈兇_實(shí)如此!每個(gè)企業(yè)都有自己的結(jié)構(gòu)和流程，你肯定會(huì)看到這些職位之間的一些模糊的區(qū)別。也許在一些公司里，數(shù)據(jù)科學(xué)家身兼數(shù)職。

1. 教育程度：88%的人擁有碩士學(xué)位，46%的人擁有博士學(xué)位

2. 對SAS或R有深入的了解。對于數(shù)據(jù)科學(xué)，通常優(yōu)先考慮R。

3. Python編碼：Python是數(shù)據(jù)科學(xué)中最常用的編碼語言，還有Java、Perl和C/ C++。

4. Hadoop平臺(tái)：雖然并不總是必需的，但了解Hadoop平臺(tái)仍然是該領(lǐng)域的首選。有一些Hive或者Pig的經(jīng)驗(yàn)也是有好處的。

5. SQL數(shù)據(jù)庫/編碼：雖然NoSQL和Hadoop已經(jīng)成為數(shù)據(jù)科學(xué)的重要組成部分，但如果你能用SQL編寫和執(zhí)行復(fù)雜的查詢，它仍然是首選。

6. 處理非結(jié)構(gòu)化數(shù)據(jù)：數(shù)據(jù)科學(xué)家必須能夠處理非結(jié)構(gòu)化數(shù)據(jù)，無論是在社交媒體、視頻還是音頻上。

1. 分析技能：這些技能對于理解數(shù)據(jù)，以及在創(chuàng)建報(bào)告和尋找解決方案時(shí)確定哪些數(shù)據(jù)是相關(guān)的至關(guān)重要。

2. 創(chuàng)造力：你需要有能力創(chuàng)造新的方法來收集、解釋和分析數(shù)據(jù)策略。

3. 數(shù)學(xué)和統(tǒng)計(jì)技能：無論是在數(shù)據(jù)科學(xué)、數(shù)據(jù)分析還是大數(shù)據(jù)領(lǐng)域，優(yōu)秀的、老式的“數(shù)字運(yùn)算”也是必要的。

4. 計(jì)算機(jī)科學(xué)：計(jì)算機(jī)是所有數(shù)據(jù)策略的支柱。程序員將不斷需要提出算法，將數(shù)據(jù)處理成洞察力。

5. 業(yè)務(wù)技能：大數(shù)據(jù)專業(yè)人員需要了解現(xiàn)有的業(yè)務(wù)目標(biāo)，以及推動(dòng)業(yè)務(wù)增長和提高利潤的基本流程。

1. 編程技能：了解編程語言，如R和Python，對任何數(shù)據(jù)分析師來說都是必不可少的。

2. 統(tǒng)計(jì)技能和數(shù)學(xué)：描述和推斷統(tǒng)計(jì)，以及實(shí)驗(yàn)設(shè)計(jì)，是數(shù)據(jù)科學(xué)家所需的技能。

3. 機(jī)器學(xué)習(xí)技能

4. 數(shù)據(jù)整理技能：映射原始數(shù)據(jù)并將其轉(zhuǎn)換為另一種格式的能力，以便更方便地使用數(shù)據(jù)

5. 善于溝通和數(shù)據(jù)可視化技能

6. 數(shù)據(jù)直覺：對于專業(yè)人士來說，能夠像數(shù)據(jù)分析師一樣思考是至關(guān)重要的。

雖然他們在同一個(gè)領(lǐng)域，但這些專業(yè)人士——數(shù)據(jù)科學(xué)家、大數(shù)據(jù)專家和數(shù)據(jù)分析師——的薪水各不相同。

1. 數(shù)據(jù)科學(xué)家薪酬

根據(jù)Glassdoor的數(shù)據(jù)，數(shù)據(jù)科學(xué)家的平均基本年薪超過11.7萬美元。

2. 大數(shù)據(jù)專員薪酬

根據(jù)Glassdoor的數(shù)據(jù)，大數(shù)據(jù)專家的平均基本年薪超過10.4萬美元。

3. 數(shù)據(jù)分析師薪資

根據(jù)Glassdoor的數(shù)據(jù)，數(shù)據(jù)分析師的平均基本年薪超過69000美元。

當(dāng)然，這些只是平均值，會(huì)根據(jù)幾個(gè)因素而有所不同。許多專業(yè)人士獲得或有潛力獲得更高的薪水。

在這篇文章中，我們討論了數(shù)據(jù)科學(xué)、大數(shù)據(jù)和數(shù)據(jù)分析之間的區(qū)別，涉及到與特定職位相關(guān)的定義、應(yīng)用、技能和工資等概念。

本文轉(zhuǎn)載自

更多精彩推薦請?jiān)L問