什么叫數(shù)據(jù)挖掘_數(shù)據(jù)挖掘技術(shù)解析

數(shù)據(jù)挖掘（data mining）是指從大量的資料中自動(dòng)搜索隱藏于其中的有著特殊關(guān)聯(lián)性的信息的過(guò)程。在全世界的計(jì)算機(jī)存儲(chǔ)中，存在未使用的海量數(shù)據(jù)并且它們還在快速增長(zhǎng)，這些數(shù)據(jù)就像待挖掘的金礦，而進(jìn)行數(shù)據(jù)分析的科學(xué)家、工程師、分析員的數(shù)量變化一直相對(duì)較小，這種差距稱為數(shù)據(jù)挖掘產(chǎn)生的主要原因。數(shù)據(jù)挖掘是一個(gè)多學(xué)科交叉領(lǐng)域，涉及神經(jīng)網(wǎng)絡(luò)、遺傳算法、回歸、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、聚類分析、特異群分析等，開(kāi)發(fā)挖掘大型海量和多維數(shù)據(jù)集的算法和系統(tǒng)，開(kāi)發(fā)合適的隱私和安全模式，提高數(shù)據(jù)系統(tǒng)的使用簡(jiǎn)便性。

數(shù)據(jù)挖掘與傳統(tǒng)意義上的統(tǒng)計(jì)學(xué)不同。統(tǒng)計(jì)學(xué)推斷是假設(shè)驅(qū)動(dòng)的，即形成假設(shè)并在數(shù)據(jù)基礎(chǔ)上驗(yàn)證他；數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動(dòng)的，即自動(dòng)地從數(shù)據(jù)中提取模式和假設(shè)。數(shù)據(jù)挖掘的目標(biāo)是提取可以容易轉(zhuǎn)換成邏輯規(guī)則或可視化表示的定性模型，與傳統(tǒng)的統(tǒng)計(jì)學(xué)相比，更加以人為本。

數(shù)據(jù)挖掘技術(shù)簡(jiǎn)述

數(shù)據(jù)挖掘的技術(shù)有很多種，按照不同的分類有不同的分類法。下面著重討論一下數(shù)據(jù)挖掘中常用的一些技術(shù)：統(tǒng)計(jì)技術(shù)，關(guān)聯(lián)規(guī)則，基于歷史的分析，遺傳算法，聚集檢測(cè)，連接分析，決策樹(shù)，神經(jīng)網(wǎng)絡(luò)，粗糙集，模糊集，回歸分析，差別分析，概念描述等十三種常用的數(shù)據(jù)挖掘的技術(shù)。

1、統(tǒng)計(jì)技術(shù)

數(shù)據(jù)挖掘涉及的科學(xué)領(lǐng)域和技術(shù)很多，如統(tǒng)計(jì)技術(shù)。統(tǒng)計(jì)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行挖掘的主要思想是：統(tǒng)計(jì)的方法對(duì)給定的數(shù)據(jù)集合假設(shè)了一個(gè)分布或者概率模型（例如一個(gè)正態(tài)分布）然后根據(jù)模型采用相應(yīng)的方法來(lái)進(jìn)行挖掘。

2、關(guān)聯(lián)規(guī)則

數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之I司存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫(kù)中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。

3、基于歷史的MBR（Memory-based Reasoning）分析

先根據(jù)經(jīng)驗(yàn)知識(shí)尋找相似的情況，然后將這些情況的信息應(yīng)用于當(dāng)前的例子中。這個(gè)就是MBR（Memory Based Reasoning）的本質(zhì)。MBR首先尋找和新記錄相似的鄰居，然后利用這些鄰居對(duì)新數(shù)據(jù)進(jìn)行分類和估值。使用MBR有三個(gè)主要問(wèn)題，尋找確定的歷史數(shù)據(jù)；決定表示歷史數(shù)據(jù)的最有效的方法；決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。

4、遺傳算法GA（Genetic Algorithms）

基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。主要思想是：根據(jù)適者生存的原則，形成由當(dāng)前群體中最適合的規(guī)則組成新的群體，以及這些規(guī)則的后代。典型情況下，規(guī)則的適合度（Fitness）用它對(duì)訓(xùn)練樣本集的分類準(zhǔn)確率評(píng)估。

5、聚集檢測(cè)

將物理或抽象對(duì)象的集合分組成為由類似的對(duì)象組成的多個(gè)類的過(guò)程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對(duì)象的集合，這些對(duì)象與同一個(gè)簇中的對(duì)象彼此相似，與其它簇中的對(duì)象相異。相異度是根據(jù)描述對(duì)象的屬眭值來(lái)計(jì)算的，距離是經(jīng)常采用的度量方式。

6、連接分析

連接分析，Link analysis，它的基本理論是圖論。圖論的思想是尋找一個(gè)可以得出好結(jié)果但不是完美結(jié)果的算法，而不是去尋找完美的解的算法。連接分析就是運(yùn)用了這樣的思想：不完美的結(jié)果如果是可行的，那么這樣的分析就是一個(gè)好的分析。利用連接分析，可以從一些用戶的行為中分析出一些模式；同時(shí)將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。

7、決策樹(shù)

決策樹(shù)提供了一種展示類似在什么條件下會(huì)得到什么值這類規(guī)則的方法。