- 課程名稱(chēng)：
- 大數(shù)據(jù)周末班
- 開(kāi)班時(shí)間：
- 2018-04-09
- 學(xué)習(xí)形式：
- 面授
- 班次：
- 周末班
- 開(kāi)課地點(diǎn)：
- 成都
- 課時(shí)：
- 45
- 培訓(xùn)機(jī)構(gòu)：
- 銀河教育
- 課程狀態(tài)：
- 計(jì)劃
課程簡(jiǎn)介
"大數(shù)據(jù)"是一個(gè)體量特別大，數(shù)據(jù)類(lèi)別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。 "大數(shù)據(jù)"首先是指數(shù)據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起，已經(jīng)形成了PB級(jí)的數(shù)據(jù)量;其次是指數(shù)據(jù)類(lèi)別(variety)大，數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著是數(shù)據(jù)處理速度(Velocity)快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。最后一個(gè)特點(diǎn)是指數(shù)據(jù)真實(shí)性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。
數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。
數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫(kù)、NOSQL、SQL等。
基礎(chǔ)架構(gòu)：云存儲(chǔ)、分布式文件存儲(chǔ)等。
數(shù)據(jù)處理：自然語(yǔ)言處理(NLP，NaturalLanguageProcessing)是研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的一門(mén)學(xué)科。處理自然語(yǔ)言的關(guān)鍵是要讓計(jì)算機(jī)"理解"自然語(yǔ)言，所以自然語(yǔ)言處理又叫做自然語(yǔ)言理解(NLU，NaturalLanguage Understanding)，也稱(chēng)為計(jì)算語(yǔ)言學(xué)(Computational Linguistics。一方面它是語(yǔ)言信息處理的一個(gè)分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。
統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類(lèi)分析、主成分分析、因子分析、快速聚類(lèi)法與聚類(lèi)法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析(最優(yōu)尺度分析)、bootstrap技術(shù)等等。
數(shù)據(jù)挖掘：分類(lèi) (Classification)、估計(jì)(Estimation)、預(yù)測(cè)(Prediction)、相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)、聚類(lèi)(Clustering)、描述和可視化、Description and Visualization)、復(fù)雜數(shù)據(jù)類(lèi)型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。
結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。
要理解大數(shù)據(jù)這一概念，首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過(guò)去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來(lái)總結(jié)(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價(jià)值密度低、速度快。
第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別。
第二，數(shù)據(jù)類(lèi)型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。
第三，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。
第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。
大數(shù)據(jù)技術(shù)是指從各種各樣類(lèi)型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。解決大數(shù)據(jù)問(wèn)題的核心是大數(shù)據(jù)技術(shù)。目前所說(shuō)的"大數(shù)據(jù)"不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過(guò)解決巨量數(shù)據(jù)處理問(wèn)題促進(jìn)其突破性發(fā)展。因此，大數(shù)據(jù)時(shí)代帶來(lái)的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價(jià)值的信息，也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)，搶占時(shí)代發(fā)展的前沿。