系列前言

海鼎科技·專家課程

在接觸對接了行業(yè)千余家客戶的數(shù)字化需求之后，我們發(fā)現(xiàn)，商業(yè)地產(chǎn)企業(yè)中不乏具有熱血與沖勁的專業(yè)型人才。他們或為了商業(yè)集團、項目的發(fā)展貢獻著寶貴智慧，或在學(xué)術(shù)領(lǐng)域沉淀著極具價值的架構(gòu)體系。

今天，我們將他們請到海鼎科技專家課程系列的現(xiàn)場，為更廣大行業(yè)的受眾“曝光”他們的所學(xué)、所識、所感，將私藏的干貨展現(xiàn)給行業(yè)大眾，造福行業(yè)加速發(fā)展。

本期專家介紹

劉烜超先生

2010年進入零售業(yè)工作，歷任多家商業(yè)項目的IT部門負責(zé)人。經(jīng)歷7個項目（3個籌開）的發(fā)展與成熟，其中包括百貨、購物中心、商街、超市、綜合體等多業(yè)態(tài)，專長于商業(yè)地產(chǎn)數(shù)字化板塊工作。

在數(shù)據(jù)分析專業(yè)領(lǐng)域中，其于15年深入研究統(tǒng)計學(xué)，19年初通過法國ESSEC商學(xué)院數(shù)據(jù)分析專業(yè)認證，2021年獲得聯(lián)合國下屬機構(gòu)TRL Alliance 授予的 Independent Scientist 認證 以及 TRL 志愿翻譯者資格。同時作為Unity、Unreal虛擬現(xiàn)實獨立開發(fā)者，參與某高校藝術(shù)與科學(xué)專業(yè)的數(shù)據(jù)可視化藝術(shù)作品的研討和作品制作。

寫在前面·作者序：

商業(yè)數(shù)據(jù)分析（簡稱BA），結(jié)合頭幾年 Big data、AI 的風(fēng)口，被甲乙方炒得火的不能再火。一時間，IoT、新BI、新零售等等新概念層出不窮。

本人在商業(yè)的IT部門工作了11年，在這些年的項目經(jīng)驗中，發(fā)現(xiàn)商業(yè)公司開始越來越重視數(shù)據(jù)了。然而在實際運作中，要投入的不僅是資金這么簡單，專業(yè)素質(zhì)、理論基礎(chǔ)以及上層領(lǐng)導(dǎo)的理解和支持，方方面面缺一不可。有時候不同項目間千差萬別，報表又很單一，分析手段也是20年前的標(biāo)準， BA&BI 的推進如此緩慢也是情理之中的事情。

在過去的實際分析經(jīng)驗中，我發(fā)現(xiàn)傳統(tǒng)商業(yè)分析的結(jié)構(gòu)是相當(dāng)單一的，同比環(huán)比分析、漏斗下鉆、分類匯總，配合多種維度：例如銷售、坪效、租決等等，得到的分析往往不能理解數(shù)據(jù)之中本身蘊含的意義。針對這個問題，我通過結(jié)合國內(nèi)外大量文獻和資料，以及借鑒其他行業(yè)的分析方法，將用以下4個章節(jié)粗略描繪一下這些年的分析手段和經(jīng)驗：

第一章：商業(yè)數(shù)據(jù)處理以及描述性分析

第二章：相關(guān)性分析、數(shù)學(xué)模型應(yīng)用

第三章：無監(jiān)督學(xué)習(xí)下的客群統(tǒng)計和店鋪統(tǒng)計

第四章：數(shù)據(jù)可視化

接下來，讓我們進入本期課程的第一章學(xué)習(xí)內(nèi)容：“商業(yè)數(shù)據(jù)處理以及描述性分析”。

分析中用到的軟件和語言僅供參考

商業(yè)數(shù)據(jù)的特點和缺失值處理

Shopping mall 的存在本質(zhì)是合理控制租賃方經(jīng)營成本，在與承租方的履約過程正常的情況下，租賃方不會造成因人員、促銷等費用產(chǎn)生的巨大投入（相比百貨和超市）。

但國內(nèi)外的購物中心都有一個核心問題，銷售無法及時獲取，這也是造成數(shù)據(jù)收集和分析困難的巨大問題。往往我們看到一個店鋪的銷售數(shù)據(jù)表現(xiàn)是這樣的：

某商場在定義區(qū)間范圍內(nèi)的品牌交易數(shù)據(jù)，其中缺失值用黃色表示。如圖所示，該品牌的銷售數(shù)據(jù)缺失方式為不規(guī)則不定期缺失，因此需要考慮使用插值補全的方式嘗試補全數(shù)據(jù)。但同時要注意，補全銷售后，可能直接影響現(xiàn)有銷售的表現(xiàn)。因此插值之后還需要進行檢驗，最快捷的方式可以用ANOVA檢驗方差，如果方差不大于一個閥值則表明插值結(jié)果可用，或采用直觀的圖形可視化觀察數(shù)據(jù)走勢從而判斷數(shù)據(jù)的可讀性。

在做這一步前必須要明確一點：插值處理就是在原始數(shù)據(jù)沒有的情況下，根據(jù)該品牌銷售實際存在的數(shù)據(jù)進行數(shù)學(xué)模擬，并填補進空缺位置。這個方式用于找到數(shù)據(jù)的趨勢，而不是具體的單日對比、環(huán)比。

插值補全有多種辦法，本人習(xí)慣使用KNN、簡單插值和貝葉斯插值法進行比較，以下圖中列出了三種不同插值的結(jié)果。在插值范圍內(nèi)需要觀察數(shù)據(jù)的一致性和周期性，從而最終確定插值的方式。當(dāng)然由于不同品牌經(jīng)營方式也不同，插值不可能是統(tǒng)一算法，否則有可能產(chǎn)生基于隨機數(shù)的數(shù)學(xué)規(guī)律，導(dǎo)致不應(yīng)出現(xiàn)的噪聲。

多維度缺失值處理需要采用主成分分析，首先判斷數(shù)據(jù)各維度之間的關(guān)聯(lián)度，如果產(chǎn)生類似交易筆數(shù)、交易件數(shù)之間可能有強相關(guān)的屬性時，算法可能提示刪除其中一個。而如果恰好其中一列數(shù)據(jù)缺失值較多，則可以剔除出去。又或如果該列與其他列數(shù)據(jù)存在較大口徑出入，則也可以選擇剔除。

主成分分析

如何確認哪些維度具有意義？

有的時候我們對某一品牌或某一類客人進行分析時，可能會出現(xiàn)參考維度過多的情況，對于客人：年齡、性別、出生地、工作年限、年收入，哪幾個才是左右客人購買商品的關(guān)鍵因素呢？我們需要用主成分分析法來確認。

通過主成分分析（Principal Component Analysis，PCA），我們可以用R語言找到主成分，并使用算法提示得到對哪一列進行數(shù)據(jù)處理的意見。

離群點（異常數(shù)據(jù)）檢測

在某個品牌的銷售活動中，可能有忽高忽低的情況，我們需要用統(tǒng)計方法將這些異常的銷售日找出來，并且判斷造成這個情況的原因。離群點（outliner）檢測則是檢測的常用分析手段。

離群點用于檢測數(shù)據(jù)中是否出現(xiàn)數(shù)據(jù)偏移、錯誤數(shù)據(jù)等等，如果離群點在95%置信區(qū)間外，則判斷是否是數(shù)據(jù)錄入錯誤、或者有大規(guī)模活動造成的數(shù)據(jù)出現(xiàn)短期較大變化。 

在經(jīng)營數(shù)據(jù)分析中，置信區(qū)間用來描繪數(shù)據(jù)的可靠性，如果某一時段的數(shù)據(jù)超過置信區(qū)間，則該節(jié)點數(shù)據(jù)可能存在數(shù)據(jù)錯誤或特殊情況導(dǎo)致的變化。如銷售數(shù)據(jù)錄入錯誤，另有可能商場或品牌方大規(guī)模做活動導(dǎo)致銷售數(shù)據(jù)大規(guī)模變化。當(dāng)然，具體情況仍需針對每一個品牌進行分析和確認。

下圖所示，紅色部分標(biāo)注為離群點。此時可以針對這個結(jié)果對數(shù)據(jù)進行深入分析。比如上升的原因，比如是否有銷售數(shù)據(jù)錄入錯誤等。

兩圖中均以如下公式確認離群點

當(dāng)然離群點的分配需要根據(jù)數(shù)據(jù)集的實際情況來判斷，如使用 kmeans 或?qū)哟尉垲惖玫綄嶋H分類閥值，然后再進行離群點分析。

一個店鋪的銷售曲線如果單單看環(huán)比和同比，是無法對實際情況有參考價值的。我們需要使用時間序列模型對單一店鋪的銷售趨勢進行分析。我們通過這個模型可以查看店鋪的銷售走向，甚至是生存周期。但銷售數(shù)據(jù)都是有季節(jié)性的，我們稱之為白噪聲，分析的過程中需要將其剔除。

該算法的前提是引入經(jīng)濟學(xué)時間序列模型，查找本數(shù)據(jù)的自我規(guī)律。如店鋪銷售能力是否會上升或下降，是否存在周期性規(guī)律等等。采取這個辦法的初衷是因為早期分析店鋪銷售的時候，可參考項目較多，在參考了經(jīng)濟學(xué)相關(guān)模型和算法后，認為店鋪銷售也具備一定的自相關(guān)性。在進行時間周期分析時，比如想查看某個品牌的銷售是否呈現(xiàn)周期性規(guī)律首先要去除季節(jié)性影響，而查看數(shù)據(jù)本身是否具備自相關(guān)性。因此周期性代表的白噪聲則需要首先剔除。