3 步驟判讀民調可信度：透明度、研究設計、推論過程

摘要

• 隨著 2024 總統大選接近，關於民意調查的公共討論也越發熱絡。IORG 整理判讀民調可信度的 3 步驟，希望降低民調相關可疑訊息或資訊操弄對公共討論的負面影響，協助讀者做出知情明理的政治決定。
• 判斷民調「好壞」（可信度）的標準是 1. 透明度；2. 研究設計；以及 3. 推論過程，而不是「準」或「不準」，因為民意隨時在變動，而受限於現有的各種測量方法，難以獲得標準答案。
• 1. 透明度是判讀民調可信度的首要條件，透明度不足，則無法繼續判讀其可信度，甚至可以質疑它「是不是民調」。民調必須揭露的基本資訊包括「出資者」、「執行者」、「發表者」、「調查期間」、「抽樣方法」、「樣本數」、「抽樣誤差」。常見錯誤如所謂「內部民調」，因為沒有揭露基本資訊，無法判定可信度，也無法採信。
• 2. 研究設計是判讀民調可信度的第 2 步，必須說明「樣本代表性」、「調查方法」、「問卷設計」。常見錯誤如以「網友意見」或「街訪結果」推論全體民眾的態度，因為樣本不具代表性，所以是一種「以偏概全」的資訊操弄。
• 3. 推論過程是判讀民調的最後一步，讀者應謹慎看待「圖表解讀」、「統計顯著性」、「因果關係」。常見錯誤如宣稱「普發現金上網登記的人很少，可見大家對政府不信任」，而「上網登記人數」可能受到各種因素影響，不只是對政府的信任，這樣的推論屬於「不當因果關係」，讀者應保持懷疑。
• 民調是了解公眾態度的重要工具，符合客觀科學方法的民調資料能有助研究者了解大眾對議題的認知、態度與行為。
• 以「民調」為名的行銷宣傳、對民調結果的不當解讀，都是資訊操弄，且因為含有數據和圖表，可能更容易被讀者採信。
• 指責他人為「假民調」而沒有證據，可能造成民眾對民調的誤解、不信任，也無助於講道理的公共討論。
• 民調是「反映真實」而非「操弄真實」，讀者參考民調結果時，也應該同時考量其他因素。IORG 認為，以政見及價值選擇支持對象，是比較好的做法。
• IORG 建議您，判讀民調可信度，可運用上述 3 步驟，而判讀相關新聞報導或即時訊息的可信度，則可以參考《資訊判讀力》第 4 章的「訊息可信度評量」。

1. 透明度

1.1 是否揭露基本資訊？

• 民調的透明度是判讀民調可信度的首要條件，沒有揭露基本資訊，透明度不足，則無法繼續判讀其可信度，可能被質疑民調「黑箱」，或甚至質疑它「是不是民調」。
• 根據中華傳播學會於 2022 年推出的「民調透明百科計畫」及公職人員選舉罷免法 53 條第 1 項規定，民調應揭露的基本資訊包含「出資、委託或發表調查機構」、「執行機構或主持人」、「調查期間」、「抽樣方法」、「樣本數」及「抽樣誤差」。

1.2 是否提供完整問卷題目、描述統計、機構合法性及原始數據？

• 除了至少需滿足前述的基本資訊揭露外，若提供完整的問卷題目、描述統計讓讀者檢驗，能進一步提升該報告的可信度。
• 委託或執行機構過去是否有違法紀錄，相關機構的背景，是否曾有資訊操弄紀錄等，是判讀民調可信度時可參考的指標。
• 完整公開原始數據，使第三方能再製分析過程，有助讓報告分析更具說服力。

錯誤案例 – 蔡培慧搶南投立委！綠內部民調相差個位數，賴清德將合體加持

• 訊息可信度評量結果 – 無法證實來源
• 2023 年 2 月 3 日三立新聞網報導南投立委補選選情，指出「據獨家掌握綠營內部民調」，蔡培慧、林明溱「相差個位數且持續拉近中」。
• 該報導宣稱蔡培慧與林明溱支持率相近所依據的內部民調並未揭露任何基本資訊，無論選舉結果為何，以透明度而言，該報導所宣稱的民調不具可信度。

錯誤案例 – 侯友宜民調將有驚人變化？媒體人爆最新數據，曝這 2 人影響大

• 訊息可信度評量結果 – 無法證實來源
• 2023 年 6 月 17 日中時電子報報導引述名為「韋安」的評論，宣稱有一份最新市話抽樣的內部民調顯示，賴清德仍領先侯友宜，但侯已略微超前柯，不再第三。
• 該報導並未揭露民調基本資訊，調查方法僅提及是市話抽樣，但並未提及詳細的抽樣方法與誤差。在基本資訊缺漏的情況下，其所宣稱的調查結果沒有可信度。

2. 研究設計

2.1 樣本怎麼來？是否具有代表性？抽樣誤差是多少？

• 關於民調的研究設計，讀者首先應該注意該調查的「母體」為何，接著是抽樣方法是否有「代表性」，以及抽樣誤差。
• 「母體」指的是民調最終想推論的對象，例如全體台灣人、有投票權的選民。
• 「代表性」指的是樣本是否能夠反映母體情況，「有代表性」的樣本可以讓我們推論母體的狀況，反之，若樣本「不具代表性」，則無法代表廣大的母體，做出的推論就會有以偏概全的問題。
• 一份以全國民眾為推論對象的民調，樣本必須是隨機抽樣產生，意即抽樣底冊中每一個符合條件的個體都有被抽中的機會。
• 「抽樣誤差」指的是抽樣過程的隨機性導致的代表性誤差，誤差範圍可以經由數學計算得知，例如，當樣本數為 1,068 時，抽樣誤差約為 3%。
• 在誤差範圍內的差距不可過度誇大解讀，例如，一份誤差為 3% 的民調中，兩位候選人支持度差距 1%，這可能只是隨機抽樣產生的偶然結果，不一定反應真正的支持度差距。

2.2 了解不同調查方法的限制

• 除了抽樣方法，調查方法也會影響樣本的「代表性」。不同的調查方法，可以接觸到的樣本、適合詢問的問卷題目各有差異，所對應的受訪者狀態也不同，這都會影響到調查結果。
• 目前常見的調查方法有電話、面訪、網路調查 3 種。

2.3. 問卷題目怎麼問？選項怎麼設計？是否有引導？

• 問卷設計會決定受訪者回答的答案是否能反映其真實的想法，問對問題、設對選項，才能找到接近真實的答案。
• 問卷題目應盡量客觀，問卷選項用語則須正負陳述並列，選項之間定義清楚，且盡可能窮舉。
• 以設計不良的問卷題目或選項引導受訪者，是最嚴重的錯誤。例如，先在題目前提示受訪者某候選人曾經貪污，再接續問對該候選人的支持度，受訪者的想法便可能被提示訊息影響。
• 引導式的問卷設計常被用在「推式民調」上，常見的形式為在題目中加入對某候選人的負面評論，或是選項只有負面意涵的選項可選，以此引導受訪者對該候選人的支持度下降。因此，推式民調並非真正的民調，而更接近一種行銷宣傳。

錯誤案例 – 年前缺蛋有真相，街頭民調曝光

• 訊息可信度評量結果 – 以偏概全 訴諸情緒
• 2022 年 1 月 29 日內容農場「密訊」引用中天網路節目「盧秀芳辣晚報」街頭訪問結果，以此宣稱年前缺蛋的現象是「真相」。
• 此調查以街訪方式調查，所接觸到的樣本僅有經過特定地點的民眾，並且報導的調查結果並未揭露所有受訪者意見，在調查方法與代表性上皆不足以推論至全體民眾，也難以支持標題所稱該現象為「真相」的說法，是一種以偏概全。
• 該調查的問卷題目為「全台雞蛋荒，每日缺蛋 400 萬顆，你覺得？」，先提示全台缺蛋的訊息，可能讓受訪者產生全台缺蛋嚴重的認知，是一種引導式問題。
• 問卷的選項如「連雞蛋都搞不定，政府還有臉推核食！」「呼叫陳吉仲，農委會別再混了」皆帶有對政府的負面評價，僅能涵蓋特定立場的民意。

錯誤案例 – 小三通何时全面复航？民进党当局应正视民意诉求

• 訊息可信度評量結果 – 以偏概全
• 2023 年 1 月 31 日中共官媒「中國台灣網」發表文章，內容引用「Yahoo 奇摩」的網路民調結果，宣稱约有 70.2％ 民眾表示非常贊成重啟小三通，呼籲民進黨勿「阻礙」兩岸交流。
• 該文章推論的是全體民眾，但引用的調查採網路調查方法，能接觸的樣本僅有會瀏覽該網站並參與投票的部分網友，因此樣本並不具有代表性。

錯誤案例 – 蔡英文過境美國，美高官驚吐 1 句話，最新民調網不滿這事

• 訊息可信度評量結果 – 以偏概全
• 2023 年 4 月 2 日中時新聞網引用 YouTube 頻道「庶民錦鯉」所發起之網路投票，聲稱網友認為應由蔡英文個人承擔在美國活動的費用
• 此調查並未採用客觀的民調抽樣方法，所能涵蓋的樣本多為「有觀看該頻道的 YouTube 使用者」，以此推論全體「網友」的意見，是以偏概全的說法。
• 該調查的題目為「美國官員柯比說，蔡英文過境美國是私人性質。那你認為蔡英文在美國的費用是否應該由中華民國政府承擔？」，前面先強調私人性質，才問費用是否該由政府承擔，是引導式的問句，可能使人產生「私人行程不應由政府負擔費用」的印象。

3. 推論過程

3.1 圖表解讀可能存在誤導

• 即使民意調查的執行與分析符合科學要求，但報告的圖表呈現仍有誤導讀者的可能性。依據淡江大學蕭怡靖教授的歸納，民調圖表可能在「圖表刻度」、「資料歸類方式」、「無反應選項呈現與否」等面向上讓人產生誤解。
• 圖表刻度上，相同的數據與圖表類型，若刻度呈現的方式不同而可能給讀者不同的感受。使用不適當的統計圖表刻度，可能會誇大或忽視數據差異的意義。
• 資料歸類方式上，民調資料處理常將不同次群組的資料合併呈現，然而這樣一來便可能過度簡化資訊，令讀者產生誤解。例如將不同類型的服務業收入合併分析，將會忽視其下不同行業的收入差異，進而做出錯誤推論。
• 「無反應選項」意指無法探知受訪者真實情況的選項，如「不知道」、「拒答」、「尚未決定」等。當大多數受訪者對該題目無法表態時，排除無反應選項的分析就可能令讀者產生誤解。例如在總統候選人未定的情況下詢問選民的投票意向，尚未決定的選民可能佔總樣本的多數，此時對某人物的支持率宣稱即可能是錯誤推論。

圖表刻度可能造成的誤解，同樣 2% 的差距，右圖可能給讀者雙方差距更大的感受。台灣資訊環境研究中心 IORG 製圖。

3.2 統計顯著性的解讀

• 當在排除了抽樣誤差後，數據仍存有差異時，即可宣稱該數據具有「統計上的顯著差異」。
• 然而統計顯著性並不等同實際上的情況，顯著但差異不大的數據可能仍是重要資訊；有差異但不顯著的數據也不宜過度推論。

3.3 因果推論需謹慎看待

• 統計學上的因果推論往往需要複雜的研究設計與分析，當分析的對象為人時，因為影響態度、行為、認知的因素過多，所以更難以證明因果關係。讀者對民調報告的因果推論需謹慎看待，任何未基於科學基礎的推論都可能構成有問題的論述。
• 民調結果的因果推論常見到訊息可信度評量中「沒有因果關係」與「不當因果關係」的論述。
• 「沒有因果關係」指提供的事實與觀點之間沒有因果關係，例如某民調宣稱「民眾不支持民主制度」，但根據的數據是「民眾對某黨的支持率下降」。
• 「不當因果關係」指原因與結果之間沒有必然的因果關係，例如某調查顯示大學生都支持某候選人，因此宣稱該候選人一定會當選。

錯誤案例 – 民调：四成七台湾民众支持当局接受九二共识

• 訊息可信度評量結果 – 無法證實內容 過度簡化
• 2016 年 7 月 7 日，中共官媒「央視網」報導，內容引用台灣競爭力論壇民調結果，稱有 46.8% 的台灣民眾認為自己是中國人，而有 47.5% 的民眾認為政府領導人應接受九二共識。
• 該報導所引用的民調並未公開完整問卷題目及選項，難以確認問卷題目是否有引導的可能，屬於無法證實的內容。
• 報導稱「有 47.5% 的台湾民众认为台当局新任领导人应接受九二共识」並列出「非常支持」、「支持」與「不支持」者的比例，稱支持九二共識的比例高出不支持 15.2%。但報導引用的支持比例包含非常支持和支持，而不支持的比例卻未包含「非常不支持」的比例，利用不透明的數據誤導讀者認為支持九二共識者比不支持者更多，是一種過度簡化的報導方式。

錯誤案例 – 政府普發 6 千元，只有 3 成民眾登記，可見大家對政府不信任

• 訊息可信度評量結果 – 沒有提供來源 不當因果關係 訴諸不信任
• 2023 年 3 月 29 日 Cofacts 上出現一則關於政府發放 6 千元現金的可疑訊息，內容呼籲讀者不要上網登記領取普發 6 千元，因為政府「資安沒在管」，並宣稱「看新聞民調」「才 3 成民眾登記」「可見大家對政府不信任」。
• 該訊息未提供民調資料來源，是沒有提供來源的訊息。
• 「上網登記人數」與「民眾對政府的信任度」之間沒有必然因果關係，登記人數可能受到網路使用人口、系統開放時間、其他領取管道等因素影響，因此以登記人數推論「大家對政府不信任」屬於「不當因果關係」的可疑論述。
• 該訊息基於不當因果關係做出的推論，可能引起民眾對政府的不信任。

錯誤案例 – 美智庫最新民調：超 6 成台灣民眾對美國所謂協防台灣沒有信心

• 訊息可信度評量結果 – 以偏概全 不當因果關係 訴諸不信任
• 2023 年 6 月 25 日，中共官媒「香港新聞網」報導稱美國西肯塔基大學政治學教授里奇針對「若台海爆發衝突，你有多大信心美國會協防台灣」進行民意調查，結果顯示超過 60% 的台灣民眾對其表示沒有信心。報導最後稱美國政客表面希望台海和平，實際卻提供武器，此舉讓人們看清台灣只是美國的棋子，也隨時會變成「棄子」。
• 經查，美國西肯塔基大學教授 Timothy S. Rich 曾於 6 月 20 日在美國外交雜誌 The National Interest 上發表文章，他透過網路調查方法詢問台灣民眾「如果中國對台灣發動戰爭，你有多大信心美國會防衛台灣？」。調查結果顯示僅有 35.47% 受訪者對美國的防禦承諾有信心，且這一信心程度有很高的黨派分歧，民進黨支持者的信心程度高於國民黨與民眾黨支持者。
• 該調查透過線上市調公司 Macromill Embrain 的樣本庫進行網路調查，根據該資料庫的樣本分佈資料得知該樣本庫的人口分布與台灣整體民眾不同（例如年齡 30 歲以下佔了 78%），加上網路調查本身並不能接觸到不在該樣本庫中的人口，因此該調查在代表性上並不能代表全體台灣民眾。
• 此外，文章中提及對美國防禦承諾的信心有相當大的黨派分歧，然而文章並未說明受訪者中的黨派分佈，也未公開原始次數分配表，因此百分比的解讀可能受到各黨派受訪者實際人數影響而有偏誤。
• 讀者需注意的是，民調結果僅能反映出台灣民眾對美國協防的信心，不可過度推論。如果沒有其他說明，Rich 所執行的調查有代表性的疑慮。另一方面，香港新聞網引用該調查結果並解讀為人們看清美國將台灣當成棋子，則可能引起讀者對美國的不信任，是一種不當因果關係的推論。

參考資料

• 主題策展：民調與媒體（媒體素養教育資源網）
• 2022 民調透明百科計畫（中華傳播管理學會）
• 反映真實民意：網路、市話與手機民調的差異（廖育嶒，菜市場政治學）
• 什麼是棄保效應？為什麼會出現三位候選人同時都不想公布民調？（王宏恩，菜市場政治學）
• 民意調查準？不準？（洪永泰，遠見民意調查研究）
• 認識民意調查（洪永泰，臺北市公民教育基金會）
• 多元民意調查方法的比較研究（曾憲立等，調查研究-方法與應用）