在數(shù)據(jù)分析中，我們常常想將看上去相似或者行為形似的數(shù)據(jù)聚合在一起。例如，對(duì)一個(gè)營(yíng)銷(xiāo)組織來(lái)說(shuō)，將不同客戶根據(jù)他們的特點(diǎn)進(jìn)行分組，從而有針對(duì)性地定制營(yíng)銷(xiāo)活動(dòng)，這很重要。又比如，對(duì)學(xué)校老師來(lái)說(shuō)，將學(xué)生分組同樣能夠有所側(cè)重的進(jìn)行教育活動(dòng)。分類(lèi)與聚類(lèi)是數(shù)據(jù)挖掘領(lǐng)域兩大基礎(chǔ)方法，分類(lèi)被用于監(jiān)督學(xué)習(xí)中而聚類(lèi)算法屬于無(wú)監(jiān)督的。聚類(lèi)算法主要是將相似的數(shù)據(jù)聚合在一起形成不同的組別，但是組與組之間相差很大。
在本次分享中，我將給大家介紹一種無(wú)監(jiān)督算法K-means算法，為什么介紹這種算法呢？因?yàn)檫@種算法概念簡(jiǎn)單，實(shí)現(xiàn)容易，而且好用！

K-means算法是一種無(wú)監(jiān)督學(xué)習(xí)算法，可以被應(yīng)用到無(wú)標(biāo)簽的數(shù)據(jù)中。這個(gè)算法的目的就是要找到數(shù)據(jù)的分組，分組的數(shù)目由K指定。這個(gè)算法基于提供的特征，迭代地將數(shù)據(jù)分配個(gè)K個(gè)組別的其中一個(gè)。數(shù)據(jù)是基于數(shù)據(jù)相似性被聚類(lèi)的。K-means聚類(lèi)算法的結(jié)果就是：

K個(gè)聚類(lèi)中心，可以用來(lái)標(biāo)注新的數(shù)據(jù)

數(shù)據(jù)標(biāo)簽，每個(gè)數(shù)據(jù)都被分配給一個(gè)簇

基本K-means算法的相似性度量是基于距離計(jì)算的，最典型的就是歐幾里得距離。歐幾里得距離計(jì)算給定兩點(diǎn)之間的距離，公式如下：

disted(xi,xj)=||xi?xj||2=∑u=1n|xiu?xju|2????????????√

K-means算法的流程很簡(jiǎn)單，具體如下：

首先，隨機(jī)確定k個(gè)初始點(diǎn)作為質(zhì)心。

然后將數(shù)據(jù)集中的每個(gè)點(diǎn)分配到一個(gè)簇中，具體來(lái)講，為每個(gè)點(diǎn)找距其最近的質(zhì)心，并將其分配給該質(zhì)心所對(duì)應(yīng)的簇。

將每個(gè)簇的質(zhì)心更新為該簇所有點(diǎn)的平均值

如果質(zhì)心不再變化或者說(shuō)變化很小，退出循環(huán)，否則返回到第二步

K-means的偽代碼如下：

因?yàn)樵谇懊嬉淮尾┪姆窒碇校兄v到K-means算法的實(shí)際應(yīng)用場(chǎng)景，大家可以直接調(diào)轉(zhuǎn)到那里去： 基于改進(jìn)的K-means算法在共享交通行業(yè)客戶細(xì)分中的應(yīng)用那篇博文使用的K-means算法是sklearn中的K-means++算法。

K-means算法在實(shí)際使用中存在一些不足。在實(shí)際使用中，我們發(fā)現(xiàn)K-means對(duì)初始點(diǎn)的選取很敏感，這種敏感就會(huì)導(dǎo)致K-means算法很可能收斂到局部最優(yōu)。于是有人提出了兩種方法，一種是K-means++，一種是二分K-means算法來(lái)盡量使K-means達(dá)到全局最優(yōu)。

k-means++算法選擇初始聚類(lèi)中心的基本原則是：初始的聚類(lèi)中心之間的相互距離要盡可能的遠(yuǎn)。它選擇初始聚類(lèi)中心的步驟是：

（1）從輸入的數(shù)據(jù)點(diǎn)集合中隨機(jī)選擇一個(gè)點(diǎn)作為第一個(gè)聚類(lèi)中心；
（2）對(duì)于數(shù)據(jù)集中的每一個(gè)點(diǎn)x，計(jì)算它與最近聚類(lèi)中心(指已選擇的聚類(lèi)中心)的距離D(x)，并根據(jù)以下概率選擇新的聚類(lèi)中心。
（3）重復(fù)過(guò)程（2）直到找到k個(gè)聚類(lèi)中心。