大數據知道廁所越乾淨城市越發達,但要解釋背後的原因還要藉助傳統民調

..

如果說下水道是一個城市的良心,那麼廁所就是一座城市的門臉。

很多年前,人們就發現一個有意思的現象:一個城市的文明程度可以從其廁所的衛生程度得出,廁所越乾淨、城市越發達。但直到今天,大數據無法解釋這背後的原因:究竟是城市發達了廁所自然就乾淨了,還是廁所乾淨了也會促進城市的發展。

對於這樣「先有雞還是先有蛋的問題」,還需要大數據加傳統民調和小數據的結合才有肯能找到答案。

01 谷歌為何只猜對了一次?

感謝從維克托·邁爾-舍恩伯格到馬雲的孜孜不倦地佈道,大數據現在幾乎成了全球先進生產力的標誌,而且幾乎被賦予萬能的希望。

在《大數據時代》一書中,舍恩伯格的確總結了相對傳統小數據的三大特點:非隨機樣本,而是全體數據;非精確性,而是混雜性;非因果關係,而是相關關係。

最先證實大數據強大能力的乃是谷歌。

2009年在H1N1爆發幾周前,谷歌公司的工程師們在Nature上發表了一篇論文,介紹了GFT,成功預測了H1N1在全美範圍的傳播,甚至具體到特定的地區和州,而且判斷非常及時,令公共衛生官員們和計算機科學家們倍感震驚。

但是,在隨後的幾年當中,谷歌這一預測卻屢屢失靈,以至於在2014年美國著名的《科學》期刊刊登的一篇題為《谷歌流感的寓言:大數據分析的陷阱》的文章稱:

很大一部分與疾控中心流感發生率數據相關的搜索詞,並非是得流感的人引起的,而是由影響搜索模式和流感傳播的第三個因素(季節)產生的。谷歌流感趨勢的開發人員發現那些特定的搜索詞是隨時間而發生變化的,但這些搜索顯然與病毒無關。比如,有的人可能僅僅是因為看了一部電影或者文章而去搜索流感。

調查撰寫這篇文章的哈佛大學、美國東北大學的幾位學者認為,大數據的分析是很複雜的,但由於大數據的收集過程,很難保證有像傳統小數據那樣縝密,難免會出現失準的情況。最核心的問題是,大數據分析側重相關性,導致在推導因果關係時容易出現誤差。

他們建議,應該把大數據與小數據相結合,以「全數據」思維取代「大數據」思維。

02 了不起的蓋洛普

前不久,清華附小六年級學生的一篇《大數據幫你進一步認識蘇軾》小論文,被冠以大數據之名,這裡的大數據其實是不折不扣的小數據,更確切地說只是用量化方式呈現了一個「數據化」的蘇東坡。

這只是「炒作大數據」的一個縮影。

事實上,全球擁有真正意義上的大數據的公司並不多,而擁有分析大數據能力的公司更是鳳毛麟角。斯坦福大學統計學教授Trevor Hastie曾比喻分析大數據的過程,就好比一大堆乾草垛中,發現有意義的「針」,而困難之處恰恰在於很多乾草看起來也像針。

大數據的不易得和分析的高難度,註定了其進入門檻的高聳。

但是,傳統民意調查所形成的小數據有着顯著的優勢:樣本的充分代表性、可操作、快速採集分析。

上世紀三十年代,美國數學家喬治·蓋洛普通過建立與美國全體選民結構一致的5000個調查樣本,成功地預測了羅斯福將贏得1936年總統選舉。這位宣稱「我能用統計的方法證明上帝的存在」的蓋洛普先生開啟了現代民意測驗的商業化道路。

在大數據魚龍混雜的濁流中,傳統民意調查無疑是一個更靠譜的預測方式。

二胎政策出台後,如果想了解人們真實的生育目的,按照大數據全樣本的標準,幾乎無法操作,但是通過傳統民調卻能夠快速了解情況。

南京航空航天大學加收張傑在2016年初通過騰訊問卷針對10萬人的調查顯示,近四成人沒有生育二胎的打算,已有女孩的家庭生育慾望更強,時間精力、經濟狀況不佳是國人不敢生二胎的主要原因。

此次二胎意願調查之所以能回收高達10萬份問卷,一則說明受訪者對這個問題關注面比較廣,二則體現了在線問卷更有利於保護隱私的優點,畢竟與生育相關的話題涉及個人隱私,傳統線下一對一問卷調查,會讓受訪者不太自在。

03 激活沉默的大多數

如果說大數據只有大機構才有能力獲取,如今類似在線民調小工具則賦能普通大眾獲得便利的調研能力,比大數據更能體現互聯網的普惠和平權特徵。

中國的網民人數已經超過7億,互聯網的滲透率超過50%,但是網絡輿論並不等同於網絡民意,一個重要原因是,網民不能代表現實中全體公民,而且活躍網民也不能代表全體網民。

復旦大學傳播與國家治理研究中心研究團隊在2014年的一份研究報告稱:

在結構上,網民主要分佈在社會中間階層,社會高層和底層人群較少,尤其是佔中國總人口較大比例的農民或外出務工人員群體,雖然近兩年有一定增長,但在網民中所佔比例仍然較低,他們正是網絡中沉默的大多數。

只需勾選、簡單輸入的在線問卷,為普羅大眾理性表達意見提供一個便利渠道。

傳統民調和今天的在線民調都面臨一個共同問題:如此提高受訪者的參與率。首先,民調拒訪率逐年增高,受訪率不斷降低。根據皮尤中心的報告,美國民調回復率1997年為36%,2000年為28%,2006年15%,2013年9%,2015年只有7%。

04 有民調處有金山

大數據可以幫助我們推導出著名的口紅效應(因經濟蕭條而導致口紅熱賣)、廁所效應(城市越發達廁所越乾淨)、以及著名的啤酒與尿布銷售故事,但無法給出因果分析,要想從中得到具體的商業建議,還得需要提取樣本進行傳統調查式的分析。

如果說,大數據分析可以說是一種縱向的推斷,是變量間相關關係的推斷,那麼問卷調查是基於樣本推斷總體,是一種橫向的、由點到面的推斷,尤其有助於商家快速了解用戶偏好。

如果說大數據連接了千百萬的數據點,可以準確地產生相互關係。但是,當人類按照自己的習慣行動時,大數據分析通常不會十分準確。所以挖掘用戶需求時,在大數據之外,更重要的是通過對一個小群體的親身觀察和小數據常識,捕捉到這個社會群體所體現出的文化慾望。

相比大數據,人們更容易從小數據中獲得更有價值的商業洞察。

騰訊新聞曾聯合一家牙膏企業,通過騰訊問卷向三萬多人發起了一次過敏口腔健康調查問卷,結果發現,發現口腔問題時,越年輕的受調查者越傾向於等待口腔問題自行緩解,但女性比男性更願意嘗試購買多種口腔護理用品,同時發現,漱口水是牙膏之外最受歡迎的口腔護理產品。

這份調查對於口腔護理公司來說至少提供了三點有價值的市場信息:第一、開展針對年輕消費者的口腔健康意識教育,有助於擴大用戶群體;第二、加大針對女性的市場促銷活動,有助於進一步刺激銷售增長;第三,漱口水的市場空間廣大,具備開拓價值。

在互聯網時代,通過在線民調形成針對用戶個人的小數據,依然是了解用戶偏好的捷徑。但無論是傳統的小樣本民調,還是全樣本的大數據分析,事實上面臨著一個共同難題:即如何提升數據分析能力,如何將數據與人的心理、行為聯繫起來。這正是預測的神秘和魅力所在。

更多精彩內容,關注鈦媒體微信號(ID:taimeiti),或者下載鈦媒體App


想在手機閱讀更多中國內地資訊資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems