大数据营销课件

大数据营销伦理

第一節大數據行銷的資訊安全一、大數據行銷的資訊安全隱患（1）身份資訊暴露。一是現實社會中的身份資訊，即某用戶的人口統計資訊以及相關的間接資訊，如姓名、性別、年齡、民族、婚姻、職業、受教育程度、地址等，；二是數字身份資訊，即在數字時代，可以通過電腦或網路使用、存儲或轉移處理的身份，如社交網路帳號、郵箱資訊、網上銀行資訊等。（2）資訊控制權減弱在大數據時代，公共空間和私人領域的界限日漸模糊，我們每天產生的上網記錄、線上支付記錄、定位記錄，都可能將我們的資訊暴露給外界。數據挖掘能輕鬆做到對用戶資訊的收集、關聯分析，利用諸如個人經歷、興趣喜好、社交關係等資訊，描繪出用戶畫像。（3）不良資訊氾濫大數據時代的特點之一體現在垃圾資訊冗雜，人們往往對鋪天蓋地的騷擾資訊和不良資訊應接不暇，學習、生活、工作被嚴重干擾。在互聯網這個虛擬空間裏，各種有害資訊越來越多，從傳播色情材料、造謠惑眾，到傳播病毒、盜竊帳號、網路詐騙，再到販賣假藥甚至毒品、槍支等資訊氾濫，更可怕的是，恐怖主義也利用網路來傳播危及世界安全的資訊。二、大數據行銷資訊安全隱患的治理措施1.資訊分類。英國曾在1998年《資料保護條例》中將個人資訊分為敏感資訊和瑣細資訊。敏感資訊是指公眾的種族、政治觀點、宗教信仰或與此類似的其他信仰、生理心理狀況、性生活或法律訴訟等資訊；瑣細資訊是指不涉及個人隱私的資訊。這為我們提供了對大數據行銷資訊進行分類的方向。資訊保護級別一般認為，用戶的姓名、地址、通信方式、身份證號碼、銀行帳號等資訊保護級別應該較高，這些資訊直接關係到身份辨識和人身財產安全；購物偏好、社交關係、網頁流覽記錄、地理位置資訊等互聯網行為軌跡資訊次之；品牌忠誠、興趣愛好等數據的保護級別最低。2.明確資訊收集原則（1）最少夠用和必要原則。《中國互聯網定向廣告用戶資訊保護行業框架標準》規定，對用戶資訊的收集應當遵循“最少夠用和必要原則”，意即應將收集用戶資訊的類型、數量控制在能達到收集資訊目的的最低程度，收集和使用的用戶資訊應僅限於單位的合法商業目的和實現單位對用戶的服務所必需。（2）個人參與原則該原則是指個人有權知道自己的資訊是否被收集、哪些數據被收集，並有權要求收集方修改或刪除。不管是門戶網站、社交軟體，還是政府部門，在收集用戶的敏感資訊、地理位置資訊或社會關係等資訊時，應及時通知用戶，以獲得用戶對於收集和使用此類資訊的明確態度。案例：DoNotTrack2010年美國聯邦貿易委員會就作出規定，要求流覽器公司在流覽器中設置“DoNotTrack”（禁止追蹤）系統，以保證用戶免於被流覽器追蹤上網記錄，這是互聯網技術對資訊收集的個人參與原則的一次重要實踐。第二節大數據行銷的個人隱私一、大數據行銷的個人隱私問題1.隱私被洩露。2.隱私被商業利用。二、大數據行銷個人隱私問題的治理措施1.個人隱私的技術保護（1）個人隱私的數據加密保護。（2）個人隱私的資料庫保護。2.個人隱私觀念的提升首先，網路媒體應向用戶提供控制自己隱私資訊的選擇，即用戶可以給自己的訪問數據、發佈資訊設置訪問許可權。其次，加強隱私觀念教育。3.個人隱私的法律保護我國在2013年出臺《資訊安全技術、公共及商用服務資訊系統個人資訊保護指南》，對大數據時代如何合理利用資訊作出規定，以規範對個人數據的應用。2014年3月頒佈《中國互聯網定向廣告用戶資訊保護行業框架標準》，這是我國第一部規範互聯網定向廣告用戶資訊行為的行業標準。第三節大數據行銷的倫理問題一、對大數據技術的倫理思考美國學者戴維斯和帕特森（KordDavisandDougPatterson）在《大數據倫理學》一書中提出，大數據是一種技術創新，任何技術創新在給人們帶來機遇的同時，也會帶來巨大的風險，因此我們需要在創新和風險之間找到平衡點，並對大數據技術進行必要的倫理規制。二、大數據行銷的倫理治理與管理不同，治理是一個上下互動的管理過程，其主體既包括政府也包括其他社會組織和公眾，主要通過主體之間的合作、協商等手段，就具體的事件或問題達成共識，正如俞可平所說，治理的實質在於建立在市場原則、公共利益和認同之上的合作。1.責任倫理視角下的權責統一企業在利用大數據技術進行行銷時，必須堅持權利與責任的統一，資訊收集方要對搜索行為以及可能造成的後果負責，資訊利用方也要對可能帶來的隱私洩露、資訊安全等問題負責。2.德性倫理視角下的道德自律德性倫理關注的是個體道德的實現問題，在利用大數據技術進行行銷的過程中，強調大數據利益相關者的道德自律。應加強大數據利益相關者的道德自律建設，在大數據技術尚未失控時，通過有意識的道德建設形成穩定、完善的道德規約。3.功利倫理視角下的利益訴求首先，大數據行銷必須實現大數據相關者的利益最大化。在運用大數據時，必須與數據來源共用利益，如給予相應的經濟報酬或政策傾斜。其次，大數據行銷必須實現對利益相關者的傷害最小化。出於公共目的收集數據，對隱私造成侵犯的行為不可避免，在這種情況下，要求實現傷害最小化，即不能無視傷害大小而濫用隱私數據，應做好補償和風險控制。

大數據行銷革命

第一節

大數據行銷概述一、什麼是大數據行銷傳統的數據行銷是一種基於市場調研中的人口統計數據和其他用戶主觀資訊來推測消費者的需求、購買的可能性和相應的購買力，從而幫助企業細分消費者、確立目標市場並進一步定位產品的行銷模式。大數據行銷是通過收集、分析、執行從大數據所得的洞察結果，並以此鼓勵客戶參與、優化行銷效果和評估內部責任的過程。二、大數據行銷在國內外的發展現狀調查顯示，在美國400家從事市場行銷的公司中，54%的企業已投資大數據，其中61%的投資企業獲得了可觀的經濟回報。預計到2020年，我國大數據產業將達到8000億元的規模。數據分析人才需求旺盛根據2018年我國最新的大數據人才報告，全國只有46萬大數據人才，未來3-5年人才缺口將高達150萬。在薪酬方面，大數據行業的薪酬水準隨著時間推移要明顯高於互聯網其他職位。三、從傳統行銷到大數據行銷1.從抽樣調查到全樣本分析傳統行銷中，數據的分析建立在一定理論下的抽樣和調研的基礎之上，並且試圖通過調查手段和技術對數據樣本進行再加工，提高抽樣調查的精確性。但是抽樣調查有其自身的局限性，比如時效性不強、有抽樣誤差等。大數據的出現有效地彌補了這些缺陷。僅僅取得海量數據遠不能滿足當前的行銷需求，大數據行銷的重點在於有效利用數據，即在全樣本海量數據的基礎之上進行廣泛的關聯分析，從而獲得新穎且有價值的資訊。2.從單一屬性到全方位解讀在傳統企業資料庫中，消費者的屬性過於單一，主要包括年齡、性別、職業等基本屬性。傳統行銷經過簡單的單向性分析得出消費者進一步購買的可能；大數據行銷則通過關注消費者的整體行為提升數據品質，從而改善行銷的效果。3.從廣泛撒網到精准行銷在傳統行銷中，因無法掌握消費者更全面的資訊，往往把面鋪得很開，這是一個廣泛撒網的過程。在大數據行銷中，企業可以根據收集互聯網用戶的大量資訊來挖掘潛在消費者，通過數據分析預測消費者行為，給產品以精確的定位，有針對性地進行行銷傳播活動。四、大數據行銷的特徵1、多平臺。大數據行銷的數據來源是多方面的，多平臺的數據採集使得我們對消費者的畫像更加全面和準確。多平臺數據採集的途徑有PC互聯網、移動互聯網、智能電視及各種感測器等。2、個性化與傳統行銷廣泛撒網不同，企業通過大數據分析可以瞭解消費者身處何地、關注何種資訊、喜歡什麼、偏好如何，從而實現為消費者量身定制的個性化行銷。3、時效強在移動互聯網時代，消費者面對眾多誘惑，其消費決策極易在短時間內發生改變。大數據行銷能幫助企業及時掌握消費者的需求及其變化趨勢，從而提升行銷的時效性。例如，大數據行銷企業泰一傳媒（AdTime）曾制定時間行銷策略，即讓消費者在做購買決策的時間段內及時接收到商品廣告。（場景行銷）4、高效率大數據行銷可以最大限度地讓廣告主的廣告投放做到精准，還可以根據即時的效果回饋，及時對投放策略進行調整，從而最大限度地減少行銷傳播的浪費，實現行銷的高效率。五、大數據行銷的主要應用1、消費者洞察。企業可以通過分析消費者的行為數據洞察他們的購物習慣，並按照其特定的購物偏好、獨特的購買傾向進行一對一的商品推送。比如，亞馬遜根據用戶的商品搜索記錄推薦相似或互補的產品，這種基於大數據挖掘的推送，大大節約了用戶在網上四處搜尋的時間，同時還能刺激消費者後續更多的消費。2、產品定制化大數據行銷將消費者留下的資訊數據變為財富，成為企業改善產品的一項有力根據。例如，新聞客戶端“今日頭條”基於數據挖掘及推薦引擎技術，根據用戶的閱讀偏好與習慣為用戶量身定制與其興趣相匹配的內容，因而每個用戶看到的內容都是不一樣的，實現了“千人千面”的個性化推薦。3、推廣精准化大數據行銷通過積累足夠多的用戶數據，分析得出用戶購買的習慣與偏好，甚至做到“比用戶更瞭解用戶自己”，幫助企業篩選最有價值的用戶進行產品推廣。例如，《小時代》在電影預告片投放後，從微博的大數據分析得知其主要觀眾群為90後女性，因此後續的推廣活動主要針對這些人群展開，最後獲得了不俗的票房成績。4、改善用戶體驗改善用戶體驗，關鍵在於要真正瞭解用戶對產品的使用狀況與感受。例如，國外的某些汽車企業可以通過遍佈全車的感測器收集車輛運行資訊，在用戶汽車的關鍵部件發生問題之前，提前向用戶和4S店預警，大大保障了用戶的安全，同時也改善了用戶體驗，使汽車品牌獲得了良好的口碑。5、維繫客戶關係拉回放棄購物者和挽留流失的老客戶也是大數據行銷在商業中的應用之一。例如，外賣APP“餓了麼”會根據用戶的訂單習慣，對有一段時間沒有利用APP下單的瀕臨流失的用戶發相關短信，以提醒並鼓勵他們重新使用“餓了麼”APP。6、發現新市場在納特·西爾弗（NateSilver）的暢銷書《信號與雜訊》中有這樣一句話：“我們選擇性地忽略了最難以衡量的風險，即便這些風險對我們的生活構成了最大的威脅”，暗示預測未來是非常困難的。但是大數據行銷卻能讓我們從容地面對未來。基於大數據的分析與預測對於企業家提前發現新市場是極大的支持。案例：騰訊手遊騰訊遊戲在前期深入分析手遊市場大數據的前提下制定戰略，率先領跑手遊行業。大數據行銷可以幫助企業找到新的發展領域，確定新的銷售管道和促銷策略，發掘業務的增長點。第二節

大數據行銷體系的參與者一、媒體：大數據產生的起因大數據是存留在互聯網上的數據，受眾是產生數據的源頭，而數字媒體是受眾產生數據的起因，廣告主則利用受眾產生的數據並通過媒體再傳遞給受眾。數字媒體在大數據行銷體系中佔有重要的一席之地。二、數據服務公司：大數據行銷落地的關鍵在大數據行銷中，數據的分析至關重要，這也催生了相關數據服務公司。尼爾森網聯媒介數據服務有限公司（Nielsen-CCData）是國外知名的數據服務公司之一，該公司擁有全球首創的專利技術——海量樣本收視率監測的技術解決方案，能夠成功應對電視數位化帶來的頻道數量激增和增值業務豐富導致的收視測量難題。三、數字廣告代理商：提升行銷效果的主體對於大數據行銷中的數字廣告代理商來說，需要做到以多樣化的手段追蹤廣告效果，利用大數據分析各家媒體的價值，判斷通過何種管道為企業投放廣告，從而優化廣告行銷服務。國內知名的數字廣告代理商有傳漾科技和易傳媒等。第三節大數據行銷的科學化一、聚焦數據，提升行銷流程的科學性與傳統廣告“一半廣告費被浪費掉”相比，大數據行銷可以最大限度地讓企業的行銷活動有的放矢，並且可以根據即時的效果監測，及時對行銷策略做出調整，使行銷流程的科學性大大提升。二、強調洞察，增強行銷決策的預見性企業行銷活動成敗的關鍵在於能否對目標消費者進行精准的洞察，只有積累足夠多的消費者數據，才能準確描繪其消費偏好與購買習慣，這是大數據行銷的前提與出發點。三、重視創新，實現行銷活動的人性化在大數據行銷的新環境下，消費者行為得以量化，對消費者體驗也能夠進行即時有效的評估，他們的每一次體驗和回饋都可以用於產品改進和服務提升，行銷活動因而變得更加人性化。案例：順豐快遞第四節大數據行銷的認識誤區誤區一：大數據是包治百病的靈丹妙藥完全依賴大數據會落入通過後視鏡驅動品牌這一陷阱，這意味著企業依靠過去的資訊來指導未來的行銷戰略，這是很危險的，因為它們從來沒有向前看，而總是往後看。具有戰略眼光的企業應當在充分利用大數據的同時，始終保持先人一步的創新遠見，只有這樣，企業才能在行業競爭中保持領先的地位。誤區二：大數據行銷思維與應用之間存在鴻溝技術水準有限導致許多企業心有餘而力不足，空有大數據行銷的思維，談起大數據行銷來眉飛色舞，但在面對大數據行銷的應用時卻愁容滿面。這是因為大數據行銷的流程包含產生數據、聚集數據、分析數據和利用數據四個步驟，不僅要有數據，而且要有分析數據的技術。誤區三：大數據應用必然帶來效率的提升和成本的下降大數據行銷基於大數據分析，而數據分析的準確性是利用大數據的關鍵。海量的數據大到一定程度後面臨著準確度的問題。事實上，大數據分析和預測失敗的例子不少，其中比較經典的案例便是穀歌對流感趨勢的預測由成功轉向失敗。數據甄別對海量數據中有價值數據的甄別也關係到大數據應用的效率。很多企業以為拿到數據就萬事大吉了，卻不知道如何去粗取精，不知道什麼數據才是有價值和重要的。當企業花費了大量精力去收集互聯網用戶產生的日常資訊，對他們的所有資訊進行分析後，得出的幾種消費趨勢卻都是失敗的。誤區四：大數據服務商是萬能的大數據行銷專案的建設與實施，是大數據服務商和企業共同努力的結果。企業只有成為學習型組織，對大數據的應用有熱情與能力，才會領悟到大數據行銷的魅力。在大數據行銷專案中，企業參與越多，收穫越多。第五節大數據行銷的發展趨勢一、不同資料庫之間的整合與協同雖然我們仍然處於數據碎片化時代轉向數據整合時代的過渡期，但隨著技術的發展，未來跨媒體、跨管道、跨終端的全面打通將使資訊得以多維度重組。通過企業內外不同資料庫之間的有效整合、協同與聯動，實現消費者資訊全方位、多角度的回饋與融合，將是未來大數據行銷發展的關鍵和基礎二、場景成為大數據行銷的著力點實施場景行銷需要大數據的支撐，需要多管道地瞭解用戶，然後通過挖掘場景、客戶分群，對觸點進行把控，做到針對不同的消費者在最適合的情境下給他推送最合適的商品和服務。三、通過效果監測即時優化策略完整的行銷活動涵蓋前期的準備、中期的投入以及後期的監測，但對於很多中小型企業而言，後期監測的時間成本以及資金成本都比較大，所以，效果監測環節往往被企業忽視。但隨著大數據行銷不斷發展，即時效果監測將成為常態。大數據挖掘技術的改善與提高使行銷效果的監測成本大大減少，而每一次行銷活動無論成功與否，通過效果監測都可以找到其中的原因，從而改進其中的不足，儘快拿出解決方案以提高效率、減少損失。第六節

大數據行銷的機遇與挑戰一、機遇1、行銷活動更加精准2、行銷活動更加個性化3、行銷活動更加可測二、挑戰1、數據品質難以保證2、大數據人才缺乏3、數據管理複雜化4、隱私問題日益凸顯

大數據廣告：程式化購買

第一節程式化購買的定義及流程一、程式化購買的定義程式化購買（ProgrammaticBuying）是指通過廣告技術平臺，自動地執行廣告資源購買的流程，即資源的對接、購買過程都呈現自動、自助功能，通過即時競價（Real-TimeBidding，RTB）和非即時競價（Non-RTB）兩種交易方式完成購買。與傳統廣告購買方式的區別與傳統人力購買廣告方式不同，程式化購買通過編寫程式建立規制和模型，在對數據進行分析的基礎上，依靠機器演算法自動進行廣告購買並即時優化，“人力”在廣告投放中的作用明顯減弱。二、程式化購買的興起背景及發展從媒介形態來看，傳統廣告所依託的媒介形式（如報紙、雜誌等）逐漸走向衰落，互聯網尤其是移動互聯網成為主流。從廣告主來看，越來越多的廣告主開始意識到，被動等待消費者注意到自己的廣告形式已經與大數據時代脫節，他們轉而通過分析消費者的興趣愛好及消費習慣，主動為其推薦“可能需要的產品”。程式化購買的發展美國互聯網市場從20世紀90年代發展至今，已經形成了一個分工明確、高度細分的成熟市場。除了整個程式化購買產業鏈中作為基礎設施的AdExchange、DSP、SSP外，為進一步提升產業整體的運營效率與行銷效能，圍繞程式化購買衍生了更加多元與豐富的產業角色，包括獨立的數據供應商、數據管理商、創意優化服務商等。程式化購買在國內的發展2010年底，國內網路廣告服務商受到國外程式化購買的啟發，開始在中國市場部署程式化購買。2011年9月，阿裏媽媽對外發佈Tanx行銷平臺，穀歌隨後宣佈在中國推出DoubleClickAdExchange，進一步助推了中國程式化購買的發展浪潮。隨後，騰訊、新浪、百度等的廣告交易平臺如雨後春筍般出現。程式化購買在國內的發展自2012年開始，中國的程式化購買快速發展，DSP市場快速崛起；進入2013年，DSP投放技術趨於成熟，市場反應熱烈。移動端程式化購買逐漸凸顯。隨著移動流量的激增以及廣告主預算向移動端不斷傾斜，如何在移動端進行程式化購買逐漸成為行業關注的焦點。三、程式化購買的流程四、程式化購買的組成部分1.廣告主廣告主在程式化購買廣告投放的過程中，通過DSP預先設定好自己的廣告資訊、目標受眾、願意為廣告支付的價格等，在AdExchange平臺進行交易，通過即時競價和非即時競價兩種方式進行競價。當SSP中含有符合條件的媒體時，廣告主的廣告就自動出現在該媒體的某個廣告位上，如果不符合條件，廣告就不展示。2.DSP（1）DSP的定義DSP（DemandSidePlatform）即需求方平臺，是指面向並服務於廣告主的廣告投放管理平臺。DSP讓廣告主可以通過一個統一的口徑來管理一個或者多個AdExchange帳號，接入眾多媒體資源，提供全方位的服務。（2）DSP的特徵一個真正意義上的DSP必須具有兩個核心的特徵：一是擁有強大的即時競價的基礎設施和能力；二是擁有先進的用戶定向（AudienceTargeting）技術。3.SSP（1）SSP的定義SSP（SupplySidePlatform）即供應方平臺，是指對媒體的廣告投放進行全方位分析和管理的平臺。與DSP相對應，SSP通過AdExchange與DSP相聯系，形成程式化購買的產業鏈條。SSP以服務為驅動力，是代表媒體進行流量託管及售賣的平臺。（2）SSP的作用通過SSP，網路媒體能把自己的長尾資源有效地利用起來，從而提高媒體廣告資源的整合價值，實現廣告資源優化。4.AdExchangeAdExchange即廣告交易平臺，正如股票交易平臺一樣，它為互聯網廣告提供了一個交易的場所，一頭連接的是需求方，即廣告主，另一頭連接的是廣告位擁有者，即媒體方。（2）AdExchange的作用第一，讓廣告主可以接觸到更多的廣告資源。第二，充當即時競價工具。第三，整合資源，優化投放選擇。5.DMP（1）DMP的定義。DMP（DataManagementPlatform）即數據管理平臺，是無縫整合跨不同接觸點的消費者數據的技術，以幫助企業對何時及如何與每個用戶互動做出更好的決策。百度、易傳媒、騰訊廣點通（2）DMP的分類及區別目前市場上的DMP可以分為第一方DMP和第三方DMP。第一方DMP是廣告主的私有DMP，即自建DMP，收集整合的是廣告主的第一方數據，包括廣告數據、官網數據、電子郵件行銷（e-maildirectmarketing，EDM）數據、CRM數據等，廣告主擁有系統的唯一控制權和使用權。第一方DMP強調，為了在充分利用DMP價值的同時保證和維護自身的資訊安全，廣告主應當建立自己的DMP。第三方DMP第三方DMP的控制權和使用權一般歸運營商所有，其中收集、整合、分析的數據不為任何一個廣告主獨有，對於廣告主來說，屬於第三方數據。第一方DMP與第三方DMP的異同類別第一方DMP第三方DMP技術功能都擁有數據採集、數據管理、數據分析、對接應用等核心功能數據歸屬廣告主私有運營商所有數據規模數據規模無須太大，重點在於高效分析、管理和運用強調開發和建立立體、多維互通的資料鏈條數據屬性第一方數據第三方數據關注點數據安全問題數據流通、共用及價值問題優勢廣告主的資訊安全可以得到徹底的保障，第一方DMP整個數據系統的控制權和使用權全部在廣告主手裏可令廣告主在行銷的各環節獲得切實的效率提升不足孤立的、單向的數據資訊安全風險6.TradingDeskTradingDesk是程式化購買的交易桌面，是廣告代理商進行數位化廣告投放的一般工具，通過連接多個DSP來進行廣告的優化投放。8.輔助性平臺（1）DCOP（DynamicCreativeOptimizationPlatform），即動態創意優化平臺。（2）AdVerificationPlatform即廣告認證平臺。該平臺的作用就是為廣告主監測廣告投放環境，確保廣告合理投放並讓廣告主更好地追蹤每則廣告。五、程式化購買的特徵1.程式化購買與傳統廣告模式的區別（1）從購買廣告位轉向購買目標受眾。（2）廣告創意和技術並重。（3）實現廣告投放的多屏互動。2.程式化購買的特徵（1）數據化（2）精准化（3）人性化廣告主、媒體、受眾三贏第2節

程式化購買的交易模式一、即時競價模式1.RTB的基本概念RTB是在大數據背景下興起的一種新型互聯網廣告售賣方式，它通過cookie等人群定向技術抓取用戶的需求和偏好，在海量的網站上針對廣告主的目標消費群體進行即時競價，以此來獲得廣告位。2.RTB的發展歷程與趨勢RTB模式最早起源於美國，根據知名市場調研機構eMarketer的報告，2012年RTB廣告的購買占美國展示廣告市場的13%，市場份額是2010年的3倍，預計到2017年將攀升至29%。RTB在中國在中國，RTB模式在2011年已悄然出現，2012年4月11日，汽車品牌廣告主沃爾沃通過悠易互通率先進行RTB行銷，成為中國RTB品牌行銷第一案例。因此，2012年被眾多業內人士稱為中國的RTB元年。3.RTB的運作機制二、私有交易市場1.PMP的定義PMP（PrivateMarketplace）即私有交易市場。它與AdExchange的概念相反，AdExchange是公開的交易，PMP則是私下的交易。PMP與傳統廣告交易的區別PMP與傳統廣告交易最本質的區別在於，傳統廣告交易幾乎都是私有的，但並不屬於程式化購買的範疇。PMP的交易也是私有的，但它同時還是程式化的廣告。2.PMP的交易方式程式化直接購買（PDB）保質保量廣告位預留協商定價傳統媒介談判方式+程式化控制投放優先交易（PD）保質不保量廣告位預留事先出價程式化購買中指定媒體私有競價（PA）保質不保量廣告位不預留即時競價小範圍內參與競價第3節

程式化購買在各平臺上的發展一、PC端程式化購買艾媒諮詢發佈的《2014—2015年中國DSP行業發展研究報告》顯示，“2014年，中國程式化展示廣告市場中，通過PC端投放的廣告規模為91.9%，通過移動端投放的廣告規模為8.1%”，可見PC端的程式化購買所占比重遠大於移動端。但隨著用戶向移動端遷移，PC端流量增速放緩，移動端程式化購買廣告市場充滿潛力。二、移動端程式化購買“從多屏到跨屏，從PC端到移動端”的程式化購買是未來的發展趨勢。受眾如今面對更多的螢幕，僅僅在某一屏實現程式化購買並不能達到最佳的效果。一位受眾可能在手機上查看想要購買的商品資訊，然後在PC端完成購買，在看電視的同時，還可以拿起iPad和朋友聊天。三、戶外程式化購買2014年澳大利亞數字戶外廣告公司ValMorgan宣佈，旗下PumpTV加油站媒體網路已實現程式化購買，在數據方面主要是靠自己的DART（數字戶外受眾即時測量）平臺，通過安裝在數字戶外媒體上的受眾測量設備來即時採集受眾的資訊，包括年齡、性別等。例如，當加油站的數字媒體測出此時的觀看人為女性時，後臺中針對女性用戶且給出最高廣告費的廣告將自動播放。四、電視程式化購買傳統電視廣告可能會有如下窘境：面對男性觀眾播放衛生巾的廣告，面對已婚夫妻播放相親網站的廣告；而有的時候如果一家人特別喜歡看親子類節目，卻無法智能地多推送一些親子產品的廣告。但利用電視程式化購買，可以通過上億螢幕與眾多消費者聯繫起來，為品牌提供更為精准的廣告投放方案。智能電視的發展騰訊發佈的《2016年智能電視數據報告》顯示，2012年國內智能電視滲透率僅為32.7%；到2015年年底，智能電視逐漸普及，市場上銷售的絕大部分電視均為智能電視；2016年滲透率突破95%。智能電視的發展意味著用戶行為可以被監測，這為電視廣告的程式化購買奠定了用戶數據基礎，使其成為程式化購買的下一個巨大市場。第4節

程式化購買的發展前景與趨勢一、程式化購買的發展前景1.優質媒體資源入駐交易平臺2.品牌廣告主參與程式化購買3.程式化購買產業鏈分工更加細緻比如，為按行業（母嬰）、按媒體（移動端）、按領域（技術）細分的DSP二、程式化購買的發展趨勢1.從PC端發展到移動端2.從多屏演變到跨屏3.從線上整合到線下三、程式化購買的不足1.媒體廣告位未完全開放2.廣告主對程式化購買還有疑慮3.市場的標準化和協同互助不夠完善比如：程式化購買的標準欠缺和模糊、各平臺的數據交換較少

大數據公關與促銷

第一節大數據公關一、大數據時代的公關變革1.公眾自我意識提升大數據時代的公關活動應更加重視自我意識不斷提升的公眾。大數據技術的應用不僅凸顯了公眾中心的重要性，而且為真正做到以公眾為中心提供了可能性。2.公眾細化程度加深大數據時代的資訊爆炸分散了人們的注意力，人們接觸到各種各樣的資訊，由此培養出不同的媒介接觸習慣和資訊消費習慣。自由的資訊獲取管道，使得人們對資訊進行“選擇性接觸”和“選擇性理解”。因此，公眾對於公關資訊的接收是有選擇性的，差異化的公關活動成為時代所需。3.公關應對難度加大首先，公關應對難度加大體現在應對時間縮短。危機事件發生後，在網路上傳播的速度極快，這就大大縮短了企業應對的時間。其次，公關應對難度加大體現在負面資訊更易被公眾獲知。每一個重大突發事件都伴隨著海量的資訊在互聯網和其他媒體上傳播，資訊量之大和傳播速度之快都是前所未有的。二、大數據公關策略1.公關對象精准化傳統的公關只能通過大眾媒體來對公眾傳達資訊；運用大數據技術則能夠對公眾進行精准細分，準確獲知某一用戶的人口統計特徵（如性別、年齡、職業等）、興趣愛好、消費偏好、社會關係網路等資訊，以此確定該用戶屬於哪種類型的公眾，並根據其特徵定制公關策略。2.資訊發佈數據化數據新聞等新形式的媒體內容正在改變我們認知世界的方式，用數據說話、數據為王的理念逐漸深入人心。因此，大數據公關的一個重要原則就是公關資訊發佈的數據化，這是客觀真實原則在大數據時代的新要求。3.輿情監測即時化通過大數據技術，企業可以即時瞭解社交媒體上關於產品和品牌的正面或負面資訊，並迅速反應，及時做出調整。在浩如煙海的互聯網世界中，要通過人力來監測負面資訊，工作量實在太大，且無法窮盡；但利用大數據這個“哨兵”，就可以做到全面、精准地把握負面資訊動態，及時妥善處理，從而避免更大危機事件的爆發和蔓延。4.技術應用人性化大數據技術無時無刻不在記錄人們的行為軌跡、生活動態，由於這些數據包含隱私資訊，若不加考慮地濫用，將會造成用戶的反感和厭煩，甚至對消費者的人身財產造成危害。事實上，在大數據時代，尊重消費者隱私本身就是一種明智的公關策略。案例：無香味護手霜美國某公司對顧客的消費數據進行建模分析後發現，孕婦在妊娠期會購買無香味護手霜，並且在懷孕的前20周會購買大量的鈣、鎂等補劑。有了這一發現，公司本可以直接向孕婦投放孕期產品廣告，但是為了避免引起消費者的反感，公司將這類商品的資訊與其他商品的資訊一起投放給孕婦。第二節

大數據促銷一、大數據時代的促銷變革1.市場調研方式變革大數據技術的運用，使促銷者不僅能夠準確得到消費者的購買記錄、購買偏好，分析出消費者的購買能力，甚至能夠通過對關聯數據的分析，預測消費者的購買需求。這樣，就能為促銷活動找到準確的目標消費群體，並根據這些消費者的偏好有針對性地制定促銷計畫。案例山姆俱樂部於2009年8月實施了“eValues”專案，該專案根據會員之前購買的商品、購買時間、購買價格等歷史交易數據，瞭解到顧客購買某一商品的頻率以及對價格的敏感程度。比如顧客喜歡喝美式咖啡，但對價格比較敏感，就為他提供10美元的美式咖啡優惠劵或者8美元的通用優惠劵，並將這些個性化的電子優惠劵發送到顧客手機上。2.促銷定價方式變革在大數據時代，促銷定價的顧客導向和差異化定價的意義更加凸顯。差異化定價強調面對不同消費階段的顧客採取更靈活的定價，為每個需求層面找到最佳的供應方。這時大數據就有了用武之地，分析顧客的行為並快速總結規律，在此基礎上結合顧客的消費能力實現促銷活動的精准定價。3.資訊傳播方式變革在傳統的促銷活動中，促銷方只能發傳單或通過大眾媒體來傳播促銷資訊，這樣的傳播方式不是建立在資訊雙向傳播的基礎之上，而是單向的傳播。這種方式帶來的效果不理想，不能保證促銷資訊到達目標消費者，而且不能及時獲知消費者對於促銷資訊的回饋。大數據時代，促銷資訊的傳播方式是多元且精准的。通過對用戶的網站流覽記錄、網購記錄等數據的追蹤，能夠分析出該用戶是否為目標消費者，然後通過程式化購買，讓促銷資訊在合適的時間出現在合適的消費者眼前。二、大數據促銷策略1.基於海量數據的市場調研大數據時代，商業環境更加複雜多變，要想從海量的數據中甄別出有價值的資訊，除了提升資訊處理技術之外，還要改變傳統的市場調研模式。傳統的用於市場調研的抽樣及數據分析技術已不再適用於大數據的分析。行銷人員需要再學習，掌握更多的數據處理與分析的技能，以適應大數據時代對促銷的新要求。2.促銷資訊的精准投放以菲茲牛排為例，商家的數據分析顯示，客人在吃過一次牛排後，在第23天回頭客最多。於是商家在第20天左右開始發放二次消費促銷券，結果促銷券核銷率比之前大幅增長，促銷效果顯著。案例：iBeacon蘋果公司開發的iBeacon功能讓商家能夠向那些在店內主動選擇接收資訊的用戶發送促銷廣告。比如你在店內的男鞋區，正要經過襯衫區，店家就可以向你發送襯衫的折扣資訊引導你進入該區域。該區域內的商家還可能向你推薦某品牌的襯衫，因為這是和你一樣在男鞋區買過同款鞋子的其他顧客所買過的商品。3.根據回饋資訊即時調整促銷策略大數據為企業帶來的另一個機遇就是可以在促銷活動中即時監測促銷效果，根據回饋對促銷策略及時調整與改進。傳統促銷屬於直線單向型，企業無法根據促銷效果對其促銷活動進行及時的調整；而大數據促銷屬於分段雙向型，整個促銷活動分為不同的節點，每個節點上都有適時的資訊回饋，以便企業及時做出調整。

大數據行銷流程

第一節大數據的採集與存儲一、大數據的採集如果將大數據比喻成深埋在地下的石油，那麼對大數據的採集就相當於發現原油的過程，它是企業進行大數據分析和商業洞察的基礎，也是大數據行銷流程中重要的一環，其核心是實現與用戶的互聯。用戶是大數據最重要的來源，也是大數據行銷服務的終點。因此，收集一切與用戶相關的數據是成功進行大數據行銷的前提。1.大數據的來源（1）政府。在社會高度資訊化與數據化的今天，政府作為城市管理與民生服務的主體，擁有大量的高質量數據資源，這些數據一般來自行政記錄。大數據僅剩的一塊處女地非“政府大數據”莫屬了，並且是最權威、最具公共服務服務價值的數據，比如人口統計、國民健康、教育、公共資源、公共安全等等。政府數據的特點品質較高連續性較好標準化程度較高在數據使用上效率較低，開放給私營部門是趨勢（2）企業企業資源計畫（enterpriseresourceplanning，ERP）、客戶關係管理（customerrelationshipmanagement，CRM）、供應鏈管理（supplychainmanagement，SCM）、辦公自動化（officeautomation，OA）等各種企業應用軟體帶來的數據。電商交易數據（3）用戶用戶的數據一般來源於社交網路、電子商務網站、搜索引擎等互聯網平臺。特點：易獲得數據量巨大碎片化非結構化（4）機器機器產生的巨量數據也是大數據的重要來源之一，其中包括應用伺服器日誌、感測器數據（天氣、水、智能電網等）、圖像和視頻、射頻識別（radiofrequencyidentification，RFID）、二維碼或條碼掃描數據等。案例：穀歌無人駕駛汽車每秒產生1GB的數據，每年平均產生2PB的數據2.大數據的採集過程傳統的數據採集一般是有限的、有意識的和結構化的；而大數據的採集則是一個十分複雜的工程（非結構化等）。在智能製造、可穿戴設備、物聯網愈發普及的今天，數據採集變得非常重要，高速、可靠的數據採集技術是當前需要重點突破的方向。二、大數據的預處理大數據時代，面對分散在不同地區、不同平臺、種類繁多的異構數據，進行數據整合並非易事，要解決冗餘、歧義等髒數據的清洗問題，僅靠手工進行整理不但費時費力，而且品質難以保證；另外，數據的定期更新也存在困難。如何實現業務系統的數據整合，是進行大數據處理時需要考慮的難題。ETL數據轉換系統為數據的預處理提供了可靠的解決方案。ETLETL是extract（抽取）、transform（轉換）、load（裝載）三個單詞的首字母縮寫，用來描述將數據從來源端經過抽取、轉換而裝載到目的端的過程。ETL將分散的，不同結構數據源中的數據抽取到臨時中間層，之後進行清洗、轉換、集成，最終按照預先設定好的數據倉庫模型，將數據加載到數據倉庫中，成為數據挖掘的基礎。ETL首先是抽取：將數據從各種原始的業務系統中讀取出來，這是所有工作的前提；其次是轉換：按照預先設計好的規則將抽取得到的數據進行轉換，使本來結構不同的數據格式能統一起來；最後是裝載：將轉換完的數據按計畫增量或全部導入數據倉庫。三、大數據的存儲大數據應用需要滿足不同回應速度的需求，其數據存儲提倡分層管理機制，所以必須對多種數據及軟硬體平臺有較好的相容性來適應各種應用演算法，這就讓傳統的存儲技術無計可施，而成本低廉、具有高可擴展性的雲存儲技術得到業界的廣泛認同。鏈接：什麼是雲存儲？雲存儲是指通過集群應用、網格技術或分佈式檔系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。第二節大數據挖掘什麼是數據挖掘？數據挖掘（datamining）是利用人工智慧、機器學習、統計學、模式識別等技術，從大量含有雜訊的數據中提取有效資訊的過程。從行銷學的角度來看，數據挖掘其實就是一種深層次的數據分析方法，其主要特點是對海量數據進行抽取、轉換、分析和其他模型化處理，從中提取出輔助決策的關鍵數據。數據挖掘的目標數據挖掘的目標是從海量的數據中發現有價值的資訊，為企業行銷實踐提供借鑒和指導。通過數據挖掘洞察用戶需求是大數據行銷流程中最關鍵的一環，而數據挖掘的核心即通過大數據分析構建立體的用戶畫像。數據挖掘和數據分析的區別數據量不同數據分析是MB或者GB級的，數據挖掘是TB甚至是PB級的；數據類型不同數據挖掘不僅有結構化數據，還有半結構化和非結構化數據；演算法不同數據分析以統計學為基礎，數據挖掘不僅需要統計學，還大量運用了機器學習的演算法。二、數據挖掘的流程數據挖掘跨行業標準流程（Cross-IndustryStandardProcessforDataMining，CRISP-DM）是目前應用最廣泛的一種標準化數據挖掘過程。包括商業理解、數據理解、數據準備、模型建立、模型評估和模型應用六個主要步驟。CRISP-DM數據挖掘流程1.商業理解商業理解是對數據挖掘問題本身的定義，重點在於對專案目標的理解和從商業的角度洞察用戶需求，同時將這些內容轉化為數據挖掘問題的定義和完成目標的初步計畫。2.數據理解在理解商業目標後，要從大量可用的數據源中識別相關數據。例如，一個服裝零售業的數據挖掘專案需要通過人口統計資訊（如收入、職業、受教育程度、家庭人口和年齡等）、信用卡交易記錄和社會經濟屬性，識別購買當季服裝的客戶的消費行為和購物偏好。3.數據準備數據準備指的是對原始數據的預處理，即ETL，主要包括數據的抽取、清洗、轉換和加載，是整個數據挖掘流程中最耗時的環節。數據處理的方法是否得當，對數據中所體現出來的業務特點的理解是否準確，將直接影響到模型的選擇及其效果，甚至決定整個數據挖掘工作能否達到預定目標。4.模型建立模型建立是整個數據挖掘流程中最關鍵的一步，需要在數據理解的基礎上選擇並實現相關的挖掘演算法，同時對演算法進行反復調試。模型的建立和數據理解是相互影響的，通常需要經過反復的嘗試和磨合，在多次迭代後才能建立真正有效的模型。5.模型評估與模型應用數據挖掘工作基本結束時，需要對最終的模型效果進行評測。在演算法挖掘初期需要制定最終模型的評測方法、相關指標等，以此判斷最終模型是否達到預期目標。比如一個關鍵的評價指標就是，是否仍然有一些重要的行銷問題沒有得到充分的關注和考慮。模型通過評測後即可以安排上線，正式進入商業化運作流程。三、數據挖掘的演算法與應用一般來說，數據挖掘的演算法包括四種類型，即分類、預測、聚類、關聯。前兩種屬於有監督學習（supervisedlearning），後兩種屬於無監督學習（unsupervisedlearning）。數據挖掘的演算法類型1.有監督學習有監督學習是指存在目標變數，探索特徵變數和目標變數之間的關係，在目標變數的監督下學習和優化演算法。例如，信用評分模型就是典型的有監督學習，目標變數為“是否違約”。演算法的目的在於研究特徵變數（人口統計、資產屬性等）和目標變數之間的關係，屬於描述性的模式識別和發現。（1）分類分類是數據挖掘中最常用的應用，指的是將資料庫中一組數據對象劃分為不同的類別，其目的是通過模型將資料庫中的資料項目映射到某個給定的類別。分類演算法廣泛應用於客戶的分類、客戶的屬性和特徵分析、客戶滿意度分析、客戶的購買趨勢預測等。例子比如，一個汽車零售商按照對汽車的喜好將客戶劃分為不同的類別，這樣行銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大提高行銷的精准度。再如，淘寶商鋪將用戶在一段時間內的購買情況劃分成不同的類別，根據情況向用戶推薦關聯類的商品，從而增加商鋪的銷售量。（2）預測預測是基於觀測數據建立變數間適當的依賴關係，以分析數據內在規律，解決相關問題。主要研究數據序列的趨勢特徵、數據序列的預測以及變數間的相關性等。預測通常被應用到大數據行銷的各個方面，如尋求與維繫客戶、預防客戶流失、產品生命週期分析、銷售趨勢預測及有針對性的行銷活動等。2.無監督學習無監督學習是指不存在目標變數，基於數據本身去識別變數內在的模式和特徵。比如關聯分析，通過數據發現專案A和專案B之間的關聯性；再比如聚類分析，根據距離將所有樣本劃分為幾個穩定可區分的群體。這些都是在沒有目標變數監督下的模式識別和分析。（1）聚類聚類是把一組數據按照相似性和差異性分為幾個類別，其目的是將同一類別數據間的相似性盡可能擴大，不同類別數據間的相似性盡可能減小。聚類與分類不同，在做聚類分析之前我們並不知道會以何種方式或依據來分類，所以在聚類分析完成之後，數據和對象分成若干群，我們必須借助專業領域知識來解讀分群的意義聚類分析的應用聚類分析可以應用於客戶群體的分類、客戶背景分析、市場細分等。比如，金融行業中對不同股票的發展趨勢進行歸類，找出股價波動趨勢相近的股票集合。在市場細分領域，對同一種類的商品或服務時，不同的客戶有不同的消費特點，通過研究這些特點，企業可以制定出不同的行銷組合，從而獲取最大的經濟效益。（2）關聯關聯描述資料庫中資料項目之間存在的關係，即隱藏在數據間的關聯性或相互關係。受益於條碼掃描器等自動資訊收集技術，使用關聯演算法從超市銷售點終端系統（pointofsale，POS）的大規模交易記錄中發現用戶的購物偏好在零售業中是很常見的，因此在應用領域，關聯演算法通常被稱為“購物籃分析”（marketbasketanalysis）。例子在超市購物時，顧客的購買記錄常常隱含著很多關聯規則，例如購買圓珠筆的顧客中有65%也購買了筆記本，利用這些規則，商場人員可以很好地規劃商品的貨架佈局；沃爾瑪超市“啤酒和尿不濕”的銷售策略就是通過購物籃分析發現的。案例：亞馬遜在亞馬遜等電商網站中，利用關聯規則可以發現哪些用戶更喜歡哪類商品，當發現有類似的客戶時，可以將其他客戶購買的商品推薦給相類似的客戶，以提高網站的收入。第三節大數據行銷的技術支撐Hadoop目前應用最廣泛的是Hadoop平臺，它在分佈式環境下提供了處理海量數據的能力，被公認是一套行業大數據標準開源軟體。Hadoop的應用Facebook使用Hadoop存儲內部的日誌副本，Twitter則使用Hadoop存儲微博數據、日誌檔和其他中間數據等。在國內，Hadoop同樣得到許多公司的青睞，比如百度就將Hadoop用於日誌分析和網頁資料庫的數據挖掘，阿裏巴巴則將Hadoop用於商業數據的排序和搜索引擎的優化等。一、Hadoop平臺概述1.Hadoop的基本概念Hadoop是一個由Apache軟體基金會開發的開源分佈式系統基礎架構。簡單地說，它是一個可以更容易開發和運行的處理大規模數據的軟體平臺。它最早起源於Nutch，2002年由道格·卡廷（DougCutting）領銜的雅虎團隊開發。Hadoop命名來歷Hadoop是由其創建者道格·卡廷以他兒子的毛絨玩具象來命名的，下圖顯示了其標識。Hadoop的核心部分Hadoop的核心部分由分佈式檔系統HDFS（HadoopDistributedFileSystem）和MapReduce（GoogleMapReduce的開源實現）組成，除此之外，Hadoop還包括一些支持Hadoop的其他通用工具的分佈式計算系統，可為用戶提供系統底層細節的分佈式基礎架構。2.Hadoop的功能Hadoop採用HDFS分佈式存儲技術，提高了數據的讀寫速度，同時也擴大了存儲的容量。採用MapReduce來整合分佈式檔系統上的數據，可以保證分析和處理數據的高效性。再加上Hadoop的開源特性，使得它在同類的分佈式系統中脫穎而出，因此也被眾多企業和科研機構採用。3.Hadoop的優點與缺點優點：（1）高擴展性。Hadoop是在可用的電腦集群間分配數據並完成計算任務的，這些集群可以方便地擴展到數以千計的節點中。（2）高效性。Hadoop能夠在節點之間動態地移動數據，並保證各個節點的動態平衡，因此處理速度非常快，可以高效地處理和分析海量的數據。（3）高容錯性。通過分佈式存儲，Hadoop可以自動存儲多份副本，當數據處理請求失敗後，會自動重新部署計算任務。（4）低成本。與一體機、商用數據倉庫等數據集市相比，Hadoop是開源的，開發者可以免費下載Apache的Hadoop分佈式平臺，因此專案的軟體成本大大降低。缺點目前Hadoop開發者和數據科學家的缺乏，使得眾多企業維持複雜的Hadoop集群並利用其優勢變得困難重重；由於Hadoop的許多組件都是通過技術社區得到改善的，並且新的組件不斷創建，因此作為不成熟的開源技術，存在失敗的風險；Hadoop是一個面向批處理的框架，這意味著它不支持即時的數據處理和分析。二、Hadoop的體系架構Hadoop不是一個單一的產品，而是由多個不同的產品共同組成的軟體平臺，其中最核心的就是HDFS和MapReduce。Hadoop生態系統圖1.HDFSHDFS是Hadoop的基本組成部分，是一種數據分佈式保存機制，存儲Hadoop集群中所有存儲節點上的檔。HDFS為HBase提供了高可靠性的底層存儲支持，並為Hadoop平臺上其他的工具提供基礎。2.MapReduceMapReduce是Hadoop的主要執行框架，它是一個分佈式、並行處理的編程模型，分為Map（映射）階段和Reduce（化簡）過程，是一種將任務細分處理再匯總結果的方法，即Map將一個任務分解成為多個任務分發出去，Reduce再將分解後多任務處理的結果匯總起來。3.HBaseHBase即HadoopDatabase，是一個在HDFS上開發的面向列的高可靠性、高性能、可伸縮的資料庫系統。利用HBase技術可以在廉價的PC伺服器上搭建起大規模結構化的存儲集群。HBase是GoogleBigTable的開源實現，模仿並提供了BigTable資料庫的所有功能。4.PigPig是一個基於Hadoop的大規模數據分析工具，它提供的類似結構化查詢語言（StructuredQueryLanguage，SQL）的語言叫PigLatin，該語言的編譯器會把數據分析請求轉換為一系列經過優化處理的MapReduce運算。5.HiveHive是構建於Hadoop上的一個數據倉庫軟體，允許使用類似於SQL的語言來查詢和管理分佈式存儲的大型數據集。類似於Pig，在運行時，Hive會將查詢轉換為一系列MapReduce作業。Hive比Pig在概念上更接近關係型資料庫管理系統，因此適用於結構化程度更高的數據。對於非結構化數據，Pig是更佳的選擇。6.MahoutMahout的原意是“驅象人”，它是基於Hadoop平臺的數據挖掘演算法框架，提供一些可擴展的機器學習領域的經典演算法，包括聚類、分類、協同過濾（collaborativefiltering）等，旨在幫助開發人員更加方便快捷地創建智能應用程式。。7.ZookeeperZookeeper的原意是“動物園管理員”，它是一種基於HBase和HDFS的分佈式協作服務，主要用於解決分佈式應用中所遇到的一致性問題，比如統一命名服務、狀態同步服務、集群管理、分佈式應用配置項的管理等。8.AmbariAmbari是一種基於Web的工具，旨在支持Hadoop集群的安裝、部署、管理和監控。Ambari目前支持大多數Hadoop組件，包括HDFS，MapReduce，Hive，Zookeeper，Pig等的集中管理。9.FlumeFlume是一個分佈式、高可靠性、高可用性的海量日誌採集、聚合和傳輸系統，可用於日誌數據的收集、處理及傳輸。Flume支持在日誌系統中定制各類數據發送方，用於收集數據；同時，Flume還提供對數據進行簡單處理，並寫到各種數據接收方的能力。10.SqoopSqoop是一個用來將Hadoop和關係型資料庫中的數據相互轉移的工具，它可以將一個關係型資料庫（如MySQL，Oracle等）中的數據導入Hadoop的HDFS，也可以將HDFS中的數據導入關係型資料庫。這個過程即為ETL。三、Hadoop的應用1.Hadoop在門戶網站上的應用關於Hadoop技術的研究和應用，雅虎一直處於領先地位，它將Hadoop應用於自己的各種產品中，包括數據分析、內容優化、反垃圾郵件系統、廣告的優化選擇、大數據處理和ETL等。同時，在用戶興趣預測、搜索排名、廣告定位等方面加以充分應用。2.Hadoop在搜索引擎中的應用百度在互聯網領域的平臺需求要通過性能較好的雲平臺進行處理，Hadoop就是很好的選擇。在百度，Hadoop主要用於日誌的存儲與統計、網頁數據的分析和挖掘、商業分析（如用戶的行為和廣告關注度等）、線上數據的回饋、線上廣告點擊情況的統計、用戶網頁的聚類、用戶推薦度及用戶之間關聯度的分析等。3.Hadoop在電商平臺中的應用淘寶網目前擁有超過5億註冊用戶，每天有超過6000萬名固定訪客，同時每天的線上交易商品數超過8億件，平均每分鐘售出5.2萬件商品。它需要用雲系統來存儲PB級的數據，Hadoop就是很好的選擇。其他應用除了以上例子，在其他很多應用中都有Hadoop的身影，在社交、電信等領域Hadoop都發揮著舉足輕重的作用。由此可以看出Hadoop分佈式集群在大數據處理方面有著無與倫比的優勢，易於部署、方便擴展、性能強等特點使得它能很快被各大企業接受，並在各種應用中不斷得到完善。

基於大數據的消費者洞察

第一節基於大數據消費者洞察的優勢一、提高效率：大數據vs小數據傳統行銷的消費者洞察主要是依靠實地調研、抽樣問卷調查等方法，這種方式歷史悠久，但是在互聯網時代逐漸暴露出其缺點，即成本高、回饋週期長、樣本量小等。與傳統的消費者洞察方法相比，大數據時代的消費者洞察是基於消費者自身在互聯網中產生的龐大真實數據——不管是搜索的關鍵字、流覽的頁面，還是觀看的視頻、社交媒體上的活動狀態等。這種方式能節省大量調查的人力和費用，縮短資訊回饋週期，大大提高洞察的準確性。二、優化效果：動態vs靜態傳統的市場調研方法是靜態的，這種靜態特質不僅體現為時間上的靜態，更體現為調研內容上的靜態。在時間上，問卷調查是在某一具體時間節點上對消費者進行訪問。在調研內容上，例如調查問卷的內容，每個問題的順序、表達、如何作答都是提前設計好的，這在某種程度上局限了調研的範圍，而且問卷的設計水準將直接影響調研的效果。90後、00後新一代消費者更強調個性，面對的誘惑更多，因此品牌依賴度下降，不會單純相信企業的宣傳，傾向於自己在網路上搜索評價並做出判斷，他們的決策在這一秒和下一秒可能截然不同。消費者在改變，對消費者的洞察方式也需要改變。大數據能打破時間和空間的限制，使得對消費者的分析即時動態更新，真正做到隨時隨地瞭解他們當下的需求。三、深入洞察：全面vs片面基於大數據的消費者洞察的基本特性之一就是數據獲取的全面性。對用戶行為軌跡進行追蹤，對特定時間段的數據進行收集，傳統市場調研是做不到的；而在大數據時代，消費者的各種行為都被記錄下來。比如在淘寶的收藏夾裏收藏了什麼、每天花在網上購物的時長、購物的平均金額，等等。另外，數據的獲取沒有時間和地點限制，在消費者不願意接受問卷調查時，也能獲得該消費者的數據，使得消費者洞察少了很多阻礙，進入一個更為全面的階段。有全面的數據才能有全面的分析，所瞭解的情況才能與消費者的實際情況更加接近。四、真實可信：客觀vs主觀傳統的消費者洞察更多是主觀的介入，然而人是非常複雜的動物，人會思考，且富有情感。調查人員在碰到消費者提問或者問卷分析中有不理解的問題時，往往會帶入自己的情感和主觀推測。大數據則不然，大數據是對消費者各個方面特徵的客觀捕捉。基於互聯網的數據採集是多管道、多元化的，例如我們可以捕捉消費者在網上購物時留下的數據進行分析，這是消費者客觀、真實的購物行為，避免了傳統市場調研中主觀性的問題。第二節基於大數據消費者洞察的方法一、cookie數據追蹤行為利用cookie是大數據時代洞察消費者的一種基本方法。cookie是伺服器暫存在用戶電腦上的一筆資料，以便識別用戶，它存儲在用戶的本地電腦上，而且經過了加密處理。cookie是怎樣形成的？假設你訪問某一網站，該網站的伺服器會通過你的流覽器（如IE、搜狗等）在你的電腦上生成只能由這個網站可讀的cookie檔，這些cookie檔會存儲你在該網站上的一些輸入數據與操作記錄，包括你敲入的文字、你的流覽行為或者一些選擇，當你下一次流覽這個網站時，網站就知道你是否曾經訪問過，以此識別你的身份。cookie最基本的表現就是，保存了你在這個網站登錄時的用戶名和密碼，這樣下次你訪問時就不需要再重複輸入，而已經是登錄狀態了。cookie就好像是你在這個網站的一張身份證，你在這個網站的每一次訪問都會促成對cookie的修改。利用cookie數據進行消費者洞察表現為通過對可得的每一個cookie進行分析，找到該用戶的關注點、興趣點。cookie就像是用戶留下的一串串腳印，根據這些腳印的所到之處，可以知道用戶的興趣愛好，以此為基礎來投放廣告。但是這種方法只能做到簡單的數據分析，原因是受到數據量、過期時間、數據覆蓋範圍等因素的限制，因此cookie的準確率不高。Atlascookie在移動時代最大的一個弊病就是，在移動設備上沒有cookie。Facebook推出的新版Atlas解決了這個問題。Atlas最初是一個追蹤系統，2013年被Facebook從微軟手中收購，經過Facebook的改寫，如今的Atlas可以在沒有cookie的移動世界裏捕捉消費者的行為。基於人的行銷Atlas利用Facebook的永久ID解決了移動設備的cookie難題。如果說cookie是用戶留在網頁上的腳印的話，Facebook的ID更像是一個人的指紋，更具有唯一性，無論用戶到哪里，都可以通過這個指紋識別出具體的個人。因此，Atlas也稱為”基於人的行銷”。二、搜索數據揭示興趣搜索平臺擁有龐大的用戶行為數據，即時洞察消費者需求，集成數據，進行結構化分析，也可以進行一定程度的洞察。但是這種方法會受到特定搜索引擎的局限，只能掌握部分消費者的部分網路行為，因為僅僅基於用戶的搜索行為無法知道他們的後續動作是什麼，比如：用戶是否會真的購買搜索的商品？哪些用戶會購買？哪些用戶沒有購買？三、社交數據發現身份隨著移動互聯網的興起，社交媒體已經成為消費者日常生活中不可缺少的一部分。大多數消費者，特別是年輕人已經習慣了每天早晨起來看看朋友圈，睡前刷刷微博熱點，去論壇看看有無最新活動，寫下留言，寫了幾年的博客偶爾也會更新一下……社交媒體的用戶是如此廣泛，使得它成為對消費者進行洞察的一座數據寶庫。企業可以充分利用社交媒體來收集客戶數據，從中發掘客戶的年齡、性別、喜好等資訊，根據分析結果來開展精准行銷活動。四、電商數據體現消費電商數據也成為大數據分析不可忽視的一部分。通過對電商大數據的分析，能夠更直接地瞭解消費者的動態。2015年淘寶推出的新勢力周活動，就是通過對淘寶大數據的分析發現了20個風格的流行趨勢，例如波西米亞、街頭文化等，吸引了消費者的眼球。五、跨屏數據打破界限依靠”PC+移動”的數據才是大數據時代進行消費者洞察最理想的方法，這種方法囊括了PC端和移動端的數據，既有消費者的基本屬性（如性別、年齡等），又有消費者全網流覽、搜索及購物行為的數據。全息洞察相對於前面提到的幾種方法，這種方法能構建消費者行為模型，即對從消費者知曉商品、查詢資訊、比較商品到購買的整個過程進行分析，實現消費者行為的還原，完成消費者清晰的畫像。第三節基於大數據消費者洞察的流程洞察流程的四個步驟一、收集整理消費者數據首先是收集整理消費者數據，從大數據中提取有價值的數據，剔除冗雜無關的數據，建立消費者資料庫。數據收集回來後，要確定相應的篩選標準、篩選範圍、篩選具體對象等，據此對有效資訊和無效資訊進行鑒別。確定消費者數據中哪些對企業而言是有用的，哪些是沒用的。二、利用標籤繪製消費者畫像利用數據挖掘技術，依據消費者各自的特徵對消費者進行歸類，貼上相應的標籤，例如”網購達人””白富美””蘋果粉””極客”等，然後基於這些標籤採用不同的、定制化的活動進行定向的精准行銷。通過利用大量的標籤，大數據時代的消費者洞察能夠把消費者細分到非常小的人群甚至個體，比傳統行銷環境下的簡單歸類更加符合個性化原則。三、針對消費者特徵制定行銷策略與獲得回饋改進行銷策略找到目標消費者並制定個性化的行銷策略，在最合適的時間和地點，用最合適的方式為其提供差異化的產品和服務。最後通過對行銷活動的評價和回饋，進一步瞭解消費者需求。

數據驅動的產品、定價與管道創新

第一節大數據驅動的產品創新制造智能化产品定制化服务个性化一、製造智能化1、在一定程度上，車間的感測器所產生的大數據直接決定了“工業4.0”所要求的智能化設備的智能水準。作為實現智能製造的重要驅動力,大數據能夠整合全部生產線數據，對生產動態建模、多目標控制流程進行優化，對物料品質、能耗、設備異常和零件生命週期進程進行監控預警，賦予設備和系統“自我意識”，從整體上大幅降低生產能耗，進而實現低成本、高效率的生產。2、在產品應用層面，企業通過生產攜帶感測器等裝置的智能產品，即時採集、存儲和傳輸大量用戶使用和偏好的數據。案例：Nike+運動者只要穿著Nike+的跑鞋運動，iPod就可以儲存並顯示運動日期、時間距離、熱量消耗值等數據。FuelBand運動功能手環，幾乎能夠測量佩戴者所有日常活動中消耗的能量。海量的數據為耐克深入瞭解用戶習慣並在此基礎上改進產品提供了可靠依據。二、產品訂制化在以往的工業社會中，標準化作業一直是大企業安身立命之本，同時也是很多中小企業追求的目標。大型企業追求規模上的擴張，以求達到規模效應，進而實現低成本大量生產。然而隨著時代的進步，這種千篇一律的標準化作業已經不能滿足高端客戶的需求。身處大數據時代，企業有更多的機會去瞭解客戶，準確把握消費趨勢和市場變化走向，從而提供最能滿足客戶需要的產品。案例：紅領西服定制服裝品牌青島紅領把“工業化”與“定制”完美結合，用規模化工業生產滿足個性化需求，一天生產數千件西裝和襯衫，但在眾多的生產線上卻找不到兩件完全相同的衣服。定制流程紅領的C2M模式紅領採用的是C2M（CustomertoManufactory，顧客對工廠