機器學習的概念有幾十年，已經(jīng)在金融風險控制、患者癥狀識別及治療建議、識別恐怖分子等領(lǐng)域得到應(yīng)用，目前最新進展即是用于大數(shù)據(jù)分析，隨著數(shù)據(jù)存儲成本下降、分布式處理、更強大的計算機和出現(xiàn)的分析機會，人們對于機器學習系統(tǒng)的興趣愈加強烈。本文主要介紹了機器學習新技術(shù)如何助力大數(shù)據(jù)的創(chuàng)新應(yīng)用。
隨著企業(yè)收集大數(shù)據(jù)，他們開始采用數(shù)據(jù)科學從中提取知識和重要含義。數(shù)據(jù)科學是在許多學科技術(shù)和理論基礎(chǔ)上建立形成的，包括統(tǒng)計、數(shù)據(jù)挖掘、機器學習、人工智能等。 數(shù)據(jù)科學跨學科性質(zhì)意味著團隊成員需要掌握各種學科的專業(yè)知識。
在數(shù)據(jù)科學領(lǐng)域中，機器學習是人工智能的一個分支，重點實現(xiàn)計算機工作不用明確編程。這個概念是利用交互式數(shù)據(jù)學習算法自動構(gòu)建分析模型。通過選擇更好的模型不斷改進結(jié)果，減少人工干預(yù)。然后，利用這些模型做出可靠、可重復(fù)的決定。
SAS數(shù)據(jù)科學部經(jīng)理Thompson指出：“機器學習以構(gòu)建和研究系統(tǒng)為重點，通過數(shù)據(jù)學習優(yōu)化性能函數(shù)，如優(yōu)化預(yù)期回報或減少損失函數(shù)。目的是更快地獲得數(shù)據(jù)資源的深入洞察，更加精確地提取數(shù)據(jù)中的知識，提高利潤并降低風險。”
統(tǒng)計和機器學習在很大程度上存在重疊。這兩個學科均著重于研究數(shù)據(jù)概括(或預(yù)測)。“統(tǒng)計和機器學習之間的最大區(qū)別是，”Thompson說，“統(tǒng)計更側(cè)重于推理分析或假設(shè)檢驗，從而對規(guī)模遠大于樣本的數(shù)據(jù)全體進行預(yù)測。統(tǒng)計還研究參數(shù)估計、錯誤率、分布假設(shè)等，了解具有隨機成分的經(jīng)驗數(shù)據(jù)。
Thompson補充道：“機器學習使用海量觀測數(shù)據(jù)，作為人工智能的一個分支，專注于自動化。[它側(cè)重于]算法，如隨機森林或梯度上升，自動處理缺失值、發(fā)現(xiàn)相互作用關(guān)系等。”
機器學習的核心概念是算法通過每次迭代，從數(shù)據(jù)中學習。Thompson說，“要衡量是否改進性能，可以看目標函數(shù)，如減少損失函數(shù)。算法通過數(shù)據(jù)迭代，直至符合收斂準則。通常可以用保留數(shù)據(jù)驗證是否過度擬合。”
機器學習的算法類型
機器學習算法有四種不同類型，可根據(jù)所需算法的結(jié)果或訓(xùn)練機器輸入的變量類型進行分類。Thompson指出，“機器學習中使用的術(shù)語不同于統(tǒng)計。例如，機器學習中目標稱為標簽，而在統(tǒng)計中，稱為因變量。”四種機器學習類型包 監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習及增強學習。
1.監(jiān)督學習
“大多數(shù)機器學習是監(jiān)督學習–約占70%，” Thompson說。監(jiān)督學習算法采用已知預(yù)期結(jié)果的標記樣本進行“訓(xùn)練”。監(jiān)督學習通常用于利用歷史數(shù)據(jù)預(yù)測未來可能出現(xiàn)事件的應(yīng)用。
例如，它可以預(yù)測哪些信用卡交易很可能欺詐，哪個保險客戶可能提出索賠。發(fā)生欺詐的情況下，您已經(jīng)知道客戶欺詐，不屬于訓(xùn)練數(shù)據(jù)。學習算法接收一組輸入以及相應(yīng)的正確輸出，算法學習過程中比較正確輸出與實際輸出，因此可以找出錯誤并相應(yīng)修改模型。輸入在機器學習稱為特征。發(fā)生欺詐的情況下，樣本特征可以是帳戶余額、每日交易金額等。通過分類、回歸、預(yù)測和梯度上升等方法，監(jiān)督學習利用輸入預(yù)測標簽值。這種模型適用于稱為評分的新場景，無論交易是否欺詐。
2.無監(jiān)督學習
約10%至20%的機器學習是無監(jiān)督學習，雖然這方面正在迅速增長。無監(jiān)督學習是一種系統(tǒng)采用未標記樣本運算的機器學習。這種情況下，系統(tǒng)不告訴“正確答案”。算法找出未標記數(shù)據(jù)中的隱藏結(jié)構(gòu)或流形結(jié)構(gòu)。與監(jiān)督學習和強化學習相比，學習器的給定樣本沒有明確目標輸出，或每個輸入相關(guān)的回報信號。
Thompson指出：“無監(jiān)督學習的目標是探索數(shù)據(jù)，采用聚類或降維等方法發(fā)現(xiàn)其中的內(nèi)在結(jié)構(gòu)。[無監(jiān)督學習] 特別適合用于交易型數(shù)據(jù)。”
內(nèi)在結(jié)構(gòu)和無監(jiān)督學習相關(guān)方法依數(shù)據(jù)性質(zhì)而不同。例如，歐幾里得空間中的數(shù)據(jù)可按概率、密度進行結(jié)構(gòu)建模，并可采用k均值聚類、高斯混合模型和主成分分析 (PCA) 等方法降維;而一般拓撲空間中的數(shù)據(jù)只是局部歐幾里德，其結(jié)構(gòu)最好按非線性流形建模，可通過 ISOMAP、局部線性嵌入 (LLE)、拉普拉斯特征映射、核PCA和其他方法實現(xiàn)降維。此外，矩陣分解、主題模型和圖形是文本、圖像和社交媒體數(shù)據(jù)無監(jiān)督學習流行的結(jié)構(gòu)模型。
3.半監(jiān)督學習
半監(jiān)督學習用于監(jiān)督學習相同的應(yīng)用。但這種技術(shù)使用標記和未標記數(shù)據(jù)進行訓(xùn)練–通常標記數(shù)據(jù)數(shù)量小，未標記數(shù)據(jù)數(shù)量大。
這種學習與分類、回歸和預(yù)測等方法結(jié)合使用。當標記數(shù)據(jù)成本過高，無法全部采用標記數(shù)據(jù)進行訓(xùn)練，而獲取未標記數(shù)據(jù)相對廉價的情況下，適合采用半監(jiān)督學習。
半監(jiān)督學習至少有兩種不同方式的解釋。第一種解釋，使用未標記數(shù)據(jù)通知計算機算法監(jiān)督學習相關(guān)的結(jié)構(gòu)化數(shù)據(jù)信息，這被認為是主要目的。這種觀點認為，當標簽不足時，無標記數(shù)據(jù)提供輔助信息有助于強化監(jiān)督學習。第二種解釋，主要目的是將無監(jiān)督學習(例如聚類)，以及標簽視為輔助信息 (聚類情況下的聚類指標)，幫助算法找到正確的內(nèi)在數(shù)據(jù)結(jié)構(gòu)。這種情況下，當內(nèi)在數(shù)據(jù)結(jié)構(gòu)不是很清楚，對常規(guī)無監(jiān)督學習方法構(gòu)成挑戰(zhàn)時，標簽特別有用。
這方面早期例子包括圖像分析 –如攝像頭人臉識別–文本分析和
疾病檢測。
4.增強學習
采用增強學習，算法通過試驗和錯誤發(fā)現(xiàn)產(chǎn)生最大回報的動作。增強學習三個主要組成部分：代理(學習者或決策者)、環(huán)境（代理交互的所有系統(tǒng)）、動作（代理可以做的動作）。
Thompson指出：“目的是支持代理選擇給定時間周期內(nèi)實現(xiàn)最大預(yù)期回報的動作。代理遵守良好策略可以更快地實現(xiàn)目標，因此增強學習的目的是學習最佳策略。”增強學習通用于機器人和導(dǎo)航。
增強學習與最優(yōu)控制、統(tǒng)計及運籌學具有緊密聯(lián)系。馬爾可夫決策過程 (MDP) 是增強學習常用模型。MDP假設(shè)代理觀測的是理想環(huán)境狀態(tài)。如果不是這樣，可以使用一種叫做部分觀測馬爾可夫決策過程 (或POMDP) 更普通的模型，查找解決狀態(tài)不確定性、同時最大化長期回報的策略。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
