FIT5202的重點(diǎn)是大數(shù)據(jù)處理，包括使用最新大數(shù)據(jù)技術(shù)的數(shù)據(jù)量、復(fù)雜性和速度。在大數(shù)據(jù)量方面，它涵蓋使用并行技術(shù)的大容量數(shù)據(jù)處理。在大維度(或復(fù)雜度)方面，它涵蓋了并行處理的各種數(shù)據(jù)分析方法。在速度方面，它涵蓋數(shù)據(jù)流處理。

一、什么是大數(shù)據(jù)?

大數(shù)據(jù)是結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集合，可在預(yù)測(cè)分析、機(jī)器學(xué)習(xí)和其他高級(jí)數(shù)據(jù)分析應(yīng)用中進(jìn)行處理和使用。根據(jù) Gartner 的說法，"大數(shù)據(jù)是高容量、高速度和高品種的信息資產(chǎn)，需要經(jīng)濟(jì)高效、創(chuàng)新形式的信息處理，以增強(qiáng)洞察力和決策制定能力"。

此外，Doug Laney 將大數(shù)據(jù)定義為 5 個(gè) V，即數(shù)量(Volume)、速度(Velocity)、種類(Variety)、價(jià)值(Value)和真實(shí)性(Veracity)。

數(shù)量代表所收集的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量，速度指接收數(shù)據(jù)的頻率，多樣性指音頻、視頻、文本、數(shù)字?jǐn)?shù)據(jù)等數(shù)據(jù)格式，價(jià)值定義所收集數(shù)據(jù)的有用程度，而所收集數(shù)據(jù)的準(zhǔn)確性則被稱為 "真實(shí)性"。

盡管 "大數(shù)據(jù) "并不是指特定數(shù)量的數(shù)據(jù)，但大數(shù)據(jù)的實(shí)施通常包括跨期收集的千兆字節(jié)、萬(wàn)兆字節(jié)和兆字節(jié)數(shù)據(jù)。如今，企業(yè)正在利用海量數(shù)據(jù)集來加強(qiáng)管理、提供更好的客戶支持、開展有針對(duì)性的營(yíng)銷活動(dòng)等。例如，大數(shù)據(jù)可為企業(yè)提供重要的 "消費(fèi)者分析"(Consumer Analytics)，可用于改進(jìn)營(yíng)銷策略和實(shí)踐，提高客戶參與度。

二、大數(shù)據(jù)有哪些類型?

結(jié)構(gòu)化

半結(jié)構(gòu)化

非結(jié)構(gòu)化

A) 結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)是指具有明確結(jié)構(gòu)的標(biāo)準(zhǔn)化格式。結(jié)構(gòu)化數(shù)據(jù)以表格形式組織，列和行之間存在關(guān)系。例如，Excel 文件或 SQL 數(shù)據(jù)庫(kù)包含結(jié)構(gòu)數(shù)據(jù)的行和列。結(jié)構(gòu)化數(shù)據(jù)需要有數(shù)據(jù)模型，即關(guān)于如何存儲(chǔ)、訪問和處理數(shù)據(jù)的概念。每個(gè)字段都是獨(dú)立的，可以單獨(dú)訪問，也可以與其他區(qū)域的信息一起訪問。

B) 半結(jié)構(gòu)化數(shù)據(jù)

半結(jié)構(gòu)化數(shù)據(jù)是指無(wú)法在關(guān)系數(shù)據(jù)庫(kù)中排列的數(shù)據(jù)，或者缺乏精確的功能結(jié)構(gòu)但具有某些結(jié)構(gòu)特性的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)由按主題分組或適合分層編程語(yǔ)言的信息組成。它是一種結(jié)構(gòu)化數(shù)據(jù)，不包含與任何關(guān)系數(shù)據(jù)庫(kù)相關(guān)的數(shù)據(jù)模型的任何表格格式。面向?qū)ο髷?shù)據(jù)庫(kù)包含的 XML 文檔、HTML 文件和表格就是半結(jié)構(gòu)化數(shù)據(jù)的常見例子。半結(jié)構(gòu)化數(shù)據(jù)的優(yōu)點(diǎn)是可用性廣，可用于產(chǎn)生深入的見解。

C)非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)被歸類為定性數(shù)據(jù)，因?yàn)樗鼪]有預(yù)定的形狀或結(jié)構(gòu)。每天，企業(yè)都會(huì)收到海量的非結(jié)構(gòu)化數(shù)據(jù)--視頻、音頻、文本等，這些數(shù)據(jù)正被用于創(chuàng)建大規(guī)模的深度學(xué)習(xí)模型，以解決現(xiàn)實(shí)世界中的一些復(fù)雜問題。然而，從非結(jié)構(gòu)化數(shù)據(jù)中生成洞察力非常困難，而且需要巨大的計(jì)算能力。

海馬課堂專業(yè)課程輔導(dǎo)，2100+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。