《美國總統選後》傳統抽樣民調沒有失常,與網絡大數據民調互補可作為決策參考而非進行預測

(CC) Randy Stewart, blog.stewtopia.com.  Feel free to use this picture. Please credit as shown.  If you are a person that I have taken a photo of, it's yours (but I'd still be curious as to where it is).
Nate Silver, Photo Credit: Randy Stewart.

作者  思為策略 ,為政治與選舉分析的新創團隊,專精於利用社群數據發掘真相,名言是:在社群的世界中,真相只有一個。曾在 2016 台灣大選前連續研究 150 天的網絡公開社群行為,對照大選結果,誤差不到 1%。本文資料提供:QSearch,社群數據的專家,擅長利用社群資料挖掘洞見,經營有 部落格 。INSIDE 獲作者授權轉載。

民調未死,但大數據當道

過去一週,席佛(Nate Silver,上圖)應該睡不太著覺。這位經營著富有盛名的 fivethrityeight.com 網站,前幾次精準預測美國大選的民調專家,在這次的美國大選慘遭滑鐵盧。席佛的網站和著作成為眾矢之的,甚至有人說「民調已死,大數據才是王道」。

同樣的恐慌,在各大專家、媒體、研究機構和相關的工作者中蔓延,眾人紛紛試圖解釋傳統民調失準及川普為何當選的原因,但若不真正去了解傳統民調的優劣,往往就只能淪於瞎子摸象,只能在事後找理由,而看不見全貌。

網絡大數據民調一定比較好?

隨着使用網絡的人口越來越多,年齡層也逐漸向上提升,透過分析網絡上的社群行為,一定會是未來的趨勢,但真的能完全淘汰傳統民調嗎?

答案是否定的,傳統民調固然遇到很大的挑戰,但網絡大數據民調仍有其極限。

要比較兩者的優劣之前,必須先把兩者定義清楚。 只要是「主動」透過「提問問題」而得知受訪者的意向,就是傳統民調。因此不論是透過手機電話、通訊軟件或是網絡問卷,都算是傳統民調。而「被動」的「觀察或蒐集網絡上所有使用者的公開社群行為」,才能算是網絡大數據民調。

抽樣永遠不準:傳統民調的必要之惡

根據統計上的定理,只要全部受訪者的特徵和整個母體相符,那麼只要訪問一定數量的民眾就可以得知全體人民的意向。舉個例子,在 10 月底時非北北基的人口佔全台灣人口比例約為 70.06%。那麼,以一份有效樣本為 1,100 的全國性電話民調來說,就必須要有非北北基的民眾約 748 人。如果要拆得更細,讓調查結果更準確,樣本的居住地分配至少要符合全台各縣市,甚至是各鄉鎮的人口比例,除了居住地,還有年齡、性別、教育水準、收入水準……等各種特徵,如果不顧這些特徵,就等於分別在台北與台南做蔡英文民調,差距肯定天差地遠。

但當有無數的特徵需要顧及時,誤差也因此產生了。經濟學人分析這次民調失準的原因,就是歸因於選舉模型中將低教育水平的白人投票率估得太低了。誤差的大小,則取決於樣本和母體有多相似。兩者越接近,自然民調的結果就會越準確。除了樣本的特徵外,樣本大小也是決定誤差的另一個關鍵因素。

但就算抽樣準確,樣本足夠,仍然要克服最後一到障礙:樣本真實性。

而這也是讓專家們跌破眼鏡的關鍵因素。數據應用建立在一個前提:數據是真實的。當民眾拒絕訪問,或是在訪問時說假話,傳統民調完全無力可施。此次選舉,投給川普的人被貼上「低教育水準」、「歧視」、「沒錢的白人」這幾個標籤,這種社會壓力(看看 Peter Thiel 被公幹成什麼樣子),很可能使得許多川普支持者在接到訪問電話時拒絕受訪,或是故意說假話。

尤其是,當媒體的立場明確時,做出來的民調結果往往會和媒體立場相近。這並不是說媒體特別假造數據,而是立場不同的群眾先天上可能就不太願意回答。就好像是台灣的泛藍電視台所做的電話民調,泛綠選民拒訪的可能性會高於泛藍選民。大家只要看看目前各家智庫對於小英政府的滿意度民調差距可以到數十趴,就可看出端倪。

被動觀察:網絡大數據民調的先天限制

網絡大數據民調則能夠同時解決樣本不足與民眾說假話的問題(除非這位神人在很長一段時間內的社群行為都是反串),且社群資料只有一份,誰來做都是一樣結果,自然就不會被民調製作者的立場影響。但,網絡大數據仍然有其侷限:

第一個問題是社群網絡使用者的分佈未必等同於母體分佈,目前社群網絡的使用者仍然多半為年輕人(但隨着社群網絡迅速普及,這項因素應該會被逐漸消弭)。

第二個問題,也是網絡大數據民調先天的限制,來自於只能「被動觀察」。

由於傳統民調是設計問題讓受訪者回答,為了提高精確度,都會有選項讓受訪者選擇,也就是用是非題或選擇題的方式來呈現,因此答案不會有含糊不清的狀況。但是社群行為上的發言沒有一定的格式,語意往往難以界定。例如某位網友表示「我也不知道朱立倫當總統有沒有比較好」,並不能推導出支持蔡英文的結論。當然我們可以繼續蒐集這位網友其他的公開社群行為來驗證。但傳統民調因為能直接訪談,的確較網絡大數據民調較能區分受訪者態度(前提是這個受訪者說的是真話)。

第三個造成偏差的原因,則在於非公開的社群行為無法被偵測。

由於第三方觀察社群數據,往往限於公開資料,非公開的社群行為會被歸類為未表態,誤差可能因此出現。

由於目前尚未有理論去估算這些誤差,因此各機構所發表的網絡大數據民調,都不會有類似傳統民調提供在多少信心水準下誤差為多少的相關數據。但從民調的本質來思考,民調本來就是在試圖「理解當下的狀況」,只要將所謂網絡大數據民調,理解成「社群網絡使用者」的態度,由於社群網絡使用者眾多,且資料可以長期追蹤分析,這個嶄新且仍在發展中的技術還是具有相當大的參考價值。

不是對抗,而是互補

和一般想法不同,其實傳統民調與網絡大數據民調兩者並非是單純的對抗關係,而是有很大的互補效果 ,就像是倚天劍與屠龍刀,總是要兩者相碰,才能得到藏在其中的秘笈。以當下的技術和限制,同時執行傳統民調和網絡大數據民調並交叉對比分析,才是能將兩者好處極大化及誤差及小化的作法。

民調的初衷,是在協助理解當下的狀況,或是兩個時間點中的變化,成為評估或是決策過程中的參考資料,本質上是不適合當作預測的工具。

透過這次美國總統大選我們可以觀察到,選前民調一面倒的預測希拉蕊將會順利當選,還會以相當大的幅度勝出,更讓民調流於成為操弄的工具,喪失了科學的精神(CNN 甚至還被戲稱為美國 X 天)。這樣的現象,應該是使用民調的各行各業所應該避免的。


想在手機閱讀更多電腦與科技資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems