ndc-mis-103-003(委託研究報告)”¿府應用巨... ·...

269
NDC-MIS-103-003 (委託研究報告) 政府應用巨量資料精進公共服務 與政策分析之可行性研究 國家發展委員會編印 中華民國 104 3 (本報告內容及建議,純屬研究小組意見,不代表本會意見)

Upload: others

Post on 05-Mar-2020

10 views

Category:

Documents


0 download

TRANSCRIPT

  • NDC-MIS-103-003(委託研究報告)

    政府應用巨量資料精進公共服務 與政策分析之可行性研究

    國家發展委員會編印 中華民國 104 年 3 月

    (本報告內容及建議,純屬研究小組意見,不代表本會意見)

  • NDC-MIS-103-003(委託研究報告)

    政府應用巨量資料精進公共服務與

    政策分析之可行性研究

    受委託單位:電子治理研究中心

    研究主持人:蕭乃沂

    研究主持人:陳敦源、廖洲棚

    研 究 顧 問 :楊立偉、呂俊宏

    研 究 助 理 :呂建億、劉芃葦、林文涵、李海莉

    國家發展委員會編印

    中華民國 104 年 3 月

  • 序 言

    隨著網路科技快速發展及社群媒體的興起,大幅改變政府與民眾的關

    係,愈來愈多公共議題在網路領域中互動與討論,進而成為現實社會中的重

    要議題,政府應如何運用有效的方法及工具,了解網路民眾對政府施政的看

    法,採納民間意見納入公共政策,已成為未來政府部門治理的重要課題。在

    資訊及統計領域演進而興起巨量資料(Big Data)風潮,與各國政府強調以證據(evidence)為基礎的施政理念相呼應,輔助公共決策支援,以及網路輿情分析與預判的管理,將有助於促進良善治理。本會爰委託電子治理研究中

    心辦理本研究,希望引領政府機關了解並善用巨量資料分析方法,更精確掌

    握民意,以確實回應需求。

    本研究透過個案實作探討政府部門應用巨量資料模式,並整理應用程序

    及方法建議,以利各部門應用參據,研究個案分別以國家發展委員會「自由

    經濟示範區」為主題的網路輿情探勘分析,及以臺北市政府「1999市民熱線」為主題的政府內部巨量資料分析。

    研究建議,網路輿情分析可搭配現有的民意調查方法,發展成為全方位

    的輿情調查分析,有效採納民間意見納入公共政策。政府機關導入網路輿情

    分析時,主要任務角色經歸納包括政府主管機關應擔任業務資訊提供與解讀

    之專業窗口,並協同外部技術團隊執行資料蒐集及整理事宜,可再搭配諮詢

    顧問協助統計分析、文獻及政策研析等。此外機關可針對所關注輿情範圍及

    探勘主題重點,採3至4階段,逐次調整精進網路探勘內容關鍵字方式,以提高網路輿情精確度及報表呈現品質;網路輿情探勘,雖仍有網路言論可信度

    等疑慮,但其統計趨勢相關資訊,有助於較清楚及快速的掌握危機處理因應

    的臨界點,並有助於決策規劃參考。另,針對政府內部巨量資料的應用,研

    究建議,可由系統服務紀錄(如民眾客訴資料)中,以自動化方式萃取出關鍵議題,除提高處理效率,更能有助於公共管理者了解需求,進而助益資源分

    配規劃提高民意回應能力。

  • 本報告業由本會函送各有關機關參考,另為提供各界參閱,爰將報告內

    容整理出版。惟本報告內容及建議,基本上仍屬研究小組的意見。本項研究

    由蕭副教授乃沂主持,參與研究的成員共計有陳教授敦源、廖助理教授洲棚、

    楊助理教授立偉、呂研究顧問俊宏參與,以及電子治理研究中心跨校與跨領

    域研究團隊參與協助,併此誌明,以表謝意。

    國家發展委員會

    中華民國104年3月

  • 目次

    I

    目次

    目次 ...................................................................................................... I

    表次 .................................................................................................... III

    圖次 ..................................................................................................... V

    提要 .................................................................................................. VII

    Abstract ............................................................................................... XI

    第一章 緒論 ..................................................................................... 1

    第一節 研究背景 ....................................................................... 1

    第二節 研究目的 ....................................................................... 2

    第二章 文獻檢閱 .............................................................................. 3

    第一節 企業運用巨量資料分析的經驗 ..................................... 5

    第二節 政府部門運用巨量資料分析的經驗 ............................ 15

    第三節 運用巨量資料分析所產生之相關議題 ........................ 33

    第三章 研究設計 ............................................................................ 45

    第一節 政府網路服務資料探勘分析 ....................................... 47

    第二節 特定公共政策議題的網路輿情探勘分析 .................... 49

    第三節 政府導入巨量資料分析的策略建議 ............................ 53

    第四章 網路輿情分析成果 ............................................................. 55

    第一節 整體導入流程與經驗 .................................................. 55

    第二節 分析報表的呈現與解讀 .............................................. 62

    第三節 網路輿情品質檢測 ...................................................... 81

    第四節 導入網路輿情分析的相關議題 ................................... 87

    第五章 政府內部資料分析與成果 .................................................. 93

    第一節 研究個案簡介 ............................................................. 96

    第二節 資料分析目的與方法 .................................................. 99

    第三節 資料分析成果 ........................................................... 112

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    II

    第六章 結論 ................................................................................. 123

    第一節 研究發現 ................................................................... 123

    第二節 研究建議 ................................................................... 127

    參考文獻 ........................................................................................... 133

    附錄 .................................................................................................. 141

    附錄一、 「自由經濟示範區」網路輿情分析報表 .................. 141

    附錄二、 國內提供巨量資料分析服務的廠商及產品內容 ....... 173

    附錄三、 服務建議書徵求文件範本 ........................................ 181

    附錄四、 593 個關鍵詞一覽表 ................................................. 205

    附錄五、 各機關陳情案件的決策樹分析結果 ......................... 211

    附錄六、 各機關陳情案件採行分群方法 I 的分析結果 ........... 219

    附錄七、 環保局陳情案件發生地點 ........................................ 225

    附錄八、 各機關陳情案件熱門關鍵詞和網路輿論的關係 ....... 235

    附錄九、 學者專家團體座談討論提綱 .................................... 249

  • 表次

    III

    表次

    表 1:商業智慧與分析應用 --從巨量資料到巨大影響(節錄) ................... 4

    表 2:美國政府政府機關運用巨量資料使用要點 ...................................... 20

    表 3:研究設計摘要 .................................................................................. 45

    表 4:研究工作與時程 .............................................................................. 47

    表 5:網路輿情分析導入流程 ................................................................... 51

    表 6:網路輿情分析導入流程(修正版) ................................................. 56

    表 7:「自由經濟示範區」關鍵詞範例 ..................................................... 57

    表 8:相關性言論品質檢測 ....................................................................... 84

    表 9:正向情緒判讀結果比較 ................................................................... 85

    表 10:負向情緒判讀結果比較 ................................................................. 85

    表 11:情緒意向與政策立場交叉分析 ...................................................... 86

    表 12:臺北市 1999 市民熱線各發展階段服務內容比較表 ....................... 97

    表 13:臺北市 1999 市民熱線陳情案件資料欄位定義一覽表 ................. 100

    表 14:篩選分析案件權責機關及案件數統計表 ...................................... 102

    表 15:運用分類技術建構之分案規則分案正確率統計表 ....................... 105

    表 16:分群方法 I 和分群方法 II 之方法特性及優缺點比較表 ............... 109

    表 17:環保局主辦案件採用分群方法 I 的分析結果 ............................... 114

    表 18:環保局主辦案件常見協力機關 .................................................... 115

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    IV

    表 19:衛生局主辦案件採用分群方法 I 的分析結果 ............................... 115

    表 20:衛生局主辦案件常見協力機關 .................................................... 116

    表 21:環保局主辦案件以分群方法 II 的分析結果一覽表 ...................... 117

  • 圖次

    V

    圖次

    圖 1:巨量資料分析啟動路徑 ..................................................................... 7

    圖 2:引進巨量資料分析技術後的流程循環 ............................................. 12

    圖 3:網路輿情分析流程圖 ....................................................................... 32

    圖 4:網路輿情分析查詢平台 ................................................................... 59

    圖 5:網路輿論的主體與屬性 ................................................................... 63

    圖 6:聲量與情緒(期間 /事件)(一) ................................................... 65

    圖 7:聲量與情緒(期間 /事件)(二) ................................................... 67

    圖 8:聲量與情緒(期間 /事件)(三) ................................................... 68

    圖 9:聲量與情緒(期間 /事件)(四) ................................................... 69

    圖 10:輿論管道與擴散(期間 /事件)(一) .......................................... 70

    圖 11:輿論管道與擴散(期間 /事件)(二) .......................................... 71

    圖 12:輿論管道與擴散(期間 /事件)(三) .......................................... 72

    圖 13:意見領袖(期間 /事件)(一) ..................................................... 73

    圖 14:意見領袖(期間 /事件)(二) ..................................................... 75

    圖 15:特定輿論內容(期間 /事件)(一) .............................................. 76

    圖 16:特定輿論內容(期間 /事件)(三) .............................................. 77

    圖 17:重要關鍵字與議題歸類 ................................................................. 78

    圖 18:整體結論與因應建議(一) .......................................................... 79

    圖 19:整體結論與因應建議(二) .......................................................... 80

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    VI

    圖 20:篩選分析案件權責機關及案件數統計圖 ...................................... 103

    圖 21:陳情案件分群作業流程圖 ............................................................ 110

    圖 22:環保局主辦案件關鍵詞決策樹分析結果 ...................................... 113

    圖 23:環保局主辦案件熱門公共議題及案件量 ...................................... 117

    圖 24:2014 年 1 至 3 月民眾陳情臺北市環境髒亂地點 .......................... 120

    圖 25:衛生局主辦案件熱門關鍵詞網路討論趨勢圖 .............................. 121

    圖 26:環保局主辦案件熱門關鍵詞網路討論趨勢圖 .............................. 122

  • 提要

    VII

    提要

    關鍵詞:巨量資料分析、大數據、網路輿情分析、公共服務、政策分

    析、決策支援

    一、 研究緣起與目的

    兼具Volume(數據資料的大量)、Velocity(資料分析的時效)、

    Variety(資料格式的多樣)所謂3V特質的巨量資料分析能力,已經成

    為公私部門組織的競爭利器之一,甚至逐漸形成了跨越統計、資訊、

    與特定業務領域的共同議題。以巨量資料分析的實務與文獻來看,應

    用類型多關注於特定企業管理領域的成功案例,較少有文獻或實務深

    入討論政府所需搭配的資源能量與相關管理議題。

    緣此,本研究以下列三點作為研究目的,同時也據以區分研究活

    動的階段。首先,本研究將整理巨量資料分析的發展趨勢與相關議題,

    包括各國應用特定公共服務精進之情形、相關環境分析、資料開放、

    個人隱私權保障、所有權歸屬、交易模式及限制等相關議題。

    其次,本研究將透過實際個案整理分析巨量資料分析的實際導入

    經驗,分別針對政府機關內部的服務系統資料及其外部的網路輿情,

    以特定政府服務系統與公共議題為範圍,與其政府主管機關合作導入

    巨量資料分析系統,以有利於相關主管機關的事前與事後的因應與管

    理。最後,以上述的各國發展趨勢與我國政府機關導入經驗為基礎,

    針對巨量資料分析應用於我國政府的決策分析與政策規劃提出建議,

    其範圍包括:(1)如何蒐集、分析、與及時發掘可信賴並足因應施政

    參考價值之資訊與知識等;(2)政府如何適當調整對網路民意以及對

    傳統大眾媒體的重視程度;以及(3)如何發展適當的技術以提升人員

    素養,以適當提高網路民意的可信度或掌握度,並助益政府決策品質。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    VIII

    二、 研究方法及流程

    以上述研究目的與階段為基礎,本研究的資料蒐集首先以中英文

    文獻(包括中英文期刊資料庫、國內外政府出版品、網際網路)檢閱,

    以整理歸納各國應用巨量資料分析於公部門或特定公共服務精進之情

    形。其次與資訊服務協力夥伴合作,分別針對政府內部的公共服務資

    料庫,與特定公共政策議題的政府外部網路輿情,實際導入對應的政

    府主管機關,搭配個別深度訪談與焦點團體訪談,紀錄、蒐集、與分

    析其導入過程中的經驗與相關議題,並藉以針對我國政府運用巨量資

    料分析於精進公共服務與政策分析提出策略建議。

    三、 研究成果

    首先,透過網路輿情分析(國家發展委員會的「自由經濟示範區」,

    成果如第四章)的實作經驗,本研究修正整併了先期研究(廖洲棚等,

    2013)成為四個步驟的導入流程,透過政府主管機關、網路輿情分析

    技術團隊、與研究諮詢顧問團隊三方的搭配,首先界定政策議題與其

    焦點與範疇與功能(包含時間範圍、報表週期、網路媒介),接著必

    須來回研擬修正關鍵詞(包括網路言論中的非正式用詞)與政策議題、

    事件、利害關係團體,並判斷初步報表品質,輔以內容分析檢測其斷

    詞、正負面情緒等,才足以製作正式的網路輿情分析報,並透過解讀

    以研擬行動方案(包括事前預警或事後因應)。同樣也經過三方多次

    互動調整後,網路輿情分析報表的整體呈現(附錄一),則以結論或

    摘要為起始,接續為聲量與情緒的呈現、輿論管道與擴散、與意見領

    袖分析,最後以整體因應建議作為總結,輔以網路即時輿情分析平台

    的使用,政府機關也得以針對突發事件或關鍵詞分析產出即時的成果

    作為因應參考。為驗證演算法的品質,研究團隊也以類似統計品管程

    序,透過技術團隊提供的原始資料輸出,透過隨機抽樣與人工判讀,

    計算網路輿論的相關性與情緒判斷錯誤率,同時以情緒意向與政策立

    場關聯等嚴謹檢測,提供網路輿情品質檢測的相關指引。

    其次,透過政府內部行政服務資料分析(臺北市政府的「1999市

    民熱線」,成果如第五章)的導入經驗,本研究以32,224筆1999市民

  • 提要

    IX

    陳情資料,測試且驗證了巨量資料分析在改善案件分派效率上的可行

    性,演算法透過R統計分析語言的決策樹程序,從民眾陳情資料中自

    動萃取關鍵詞做為自動分案的判斷基礎,並據以自動分案後送給主管

    機關,預期可以有效降低分派案件的人力成本,並提升人民陳情案件

    的處理效率。另外,本研究也從民眾直接表達意見的大量文本中,藉

    由自動化方式萃取出民眾關切議題,以協助公共管理者掌握民意需求

    進而提高回應民意能力。

    最後,本研究也歸納探討了巨量資料分析的個人隱私與智慧財產

    權議題、政治環境脈絡、與行政管理相關議題(成果如第四章第四節),

    本研究論述了政府透過委託勞務方式所規劃執行的巨量資料分析,皆

    能符合我國個人資料保護法與著作權法的規範;目前雖然仍有情緒性

    或甚至基於錯誤事實的發言、刻意動員言論、網路媒體公信力、與難

    以掌握的發言者特質與其代表性等疑慮,網路輿情分析成果的趨勢與

    樣態(其「質」而非「量」),仍有助於政府機關辨識危機處理因應

    的臨界點,而且如能將網路輿情分析妥善搭配主流媒體上的政策公關

    與行銷,政府機關則更能發揮其即時效益。

    四、 研究建議

    綜合本年度與去年度(廖洲棚等,2013)本研究團隊在政府內外

    部巨量資料分析的規劃與執行經驗,各政府機關可嘗試選取其主管相

    關政策或行政管理決策議題,以本年度與上年度的研究成果為參考基

    礎,規劃執行網路輿情分析或內部巨量資料的決策支援分析,以累積

    相關經驗並整合於各自業務流程中,相信可發揮巨量資料分析在公共

    政策分析與行政服務品質的最大效果。本研究經由網路輿情分析與臺

    北市1999陳情案件的實作分析結果,提出下列短期立即可行(未來1-2

    年)的政策建議。

    第一、政府部門應發展巨量資料分析應用計畫,以做為各部門推

    動巨量資料分析的工作依據。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    X

    第二、民眾陳情資料為瞭解民情趨勢的重要管道,政府部門可嘗

    試導入網路輿情分析,搭配現有的民意調查方法(居家電話、手機調

    查、網路調查等),進而發展成為全方位的輿情調查分析,升級政府

    機關與公務人員的政策規劃能力。

    第三、為提高文字探勘分析的效率和正確性,政府部門可以調整

    陳情資料的蒐集方式與項目。

    第四、透過跨部會協調以解除巨量資料分析的法規疑慮。

    第五、擴展政府運用巨量資料分析的教育訓練與經驗交流分享。

    以上述的短期實務建議為基礎,我國政府可進一步考量以下有關

    巨量資料分析的中長期(3-4年)政策與研究建議。

    第一、探索巨量資料分析與開放資料相輔相成的可能。

    第二、長期培養政府部門的數據分析人才,即資料科學家。

    第三、研擬提升網路輿情分析品質的人機互動模式。

    第四、以巨量資料分析為基礎的公共治理數位神經系統。

  • Abstract

    XI

    Abstract

    Keywords: Big Data, Internet Public Opinion Analysis, Public Service,

    Policy Analysis

    I. Background and Motive

    Big Data Analytics (BDA) is characterized by the analyses of data

    with volume, velocity and variety. While its importante has been

    emphasized for both private and public sectors, there appear insuffic ient

    BDA studies and practices concerning how the public organizations may

    apply BDA properly as well as the challenging issues while implementing

    BDA to enhance public services and policies. The report aims for (1)

    prototyping BDA for specific public services and public policies, (2)

    collecting and exploring relevant issues in the process of implementing

    BDA, and (3) providing possible resolution for future application of BDA

    by public organizations.

    II. Methods and Procedures

    The prototyping approach of BDA practices were conducted during

    May and November, 2014, for Internet Public Opinion Analysis (IPOA),

    one of the BDA applications that collected and analyzed unstructured

    public opinions regarding Free Economic Trade Zone (FETZ) charged by

    national Development Council (NDC). Weekly reports were produced by

    the research team composed of experts of computing technology and

    public administeraion and policy. The public agencies in charge closely

    worked with the research team and revised the implementation processs.

    Two rounds of focus group interviews were hosted to explore and resolve

    challenging issues along the prototyping process. Another BDA

    prototyping in the study pointed to citizens‘ complaints via 1999 telepone

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    XII

    hotline (1999) in the city of Taipei. Partnering with technological and

    statistical experts, the research team also developed automatic

    distributing mechanisms for 1999 complaints and demonstrated how the

    analyses of complaints may lead to in-depth understanding of promoting

    public services.

    III. Preliminary Results

    The empirical results show that implementing BDA requires

    significant and effective cross-discipline and cross-agency collaboration.

    Particularly, business units, public relation units, research and

    development units, and information technology units have to work

    closely to acheieve the expected benefit of BDA. The various units in a

    public organization have also to collaborate properly with BDA

    computing providers and the external counsuting team. Unlike the

    conenvemtional projects of information systems, the key success factors

    of BDA projects rely heavily upon the delicate interation among public

    and private stakeholders with diverse expertise and interest.

    IV. Future Research Directions and Policy Recommendations

    In addition to more extensive practice in the public sector, the

    research evidence also suggests that public organizations should regard

    BDA as one of many sources of understanding public opinions.

    Regulation troubles may also be resolved by practical consideration

    among diverse agencies. BDA-related training sessions should also be

    provided to expose more public officials to the BDA practices.

    In the long run, BDA and ope government data (OGD) may be

    devised to be promoted side by side in the future as they both attempt to

    exploit public values from Internet and government-owned raw data.

    Data scientists are therefore emerging expertise in the public sector to

    serve the practice of BDA and OGD. After all, the evolution of BDA will

    lay solid foundation for Public Governance Digital System.

  • 第一章 緒論

    1

    第一章 緒論

    第一節 研究背景

    歷經過去幾年在技術上與觀念上的進展,巨量資料(big data)分

    析已經成為公私部門組織的競爭利器之一,甚至逐漸形成了跨越統

    計、資訊科技、行政管理等領域的資料科學(Data Science),組織如

    何培育並善用兼具Volume(數據資料的大量)、Velocity(資料分析

    的時效)、Variety(資料格式的多樣)所謂3V特質的巨量資料創造經

    營管理價值(Value),也逐漸成為跨越統計、資訊、與特定業務領域

    的共同議題。

    以巨量資料分析的實務應用與學術研究來看,除了聚焦巨量資料

    分析的概念引介與技術運作(如演算法、平台等)之外,多關注於特

    定產業領域或個別企業的成功案例,例如透過顧客購買行為發展出創

    新利基服務,或是透過網路輿論瞭解品牌滲透及行銷關鍵突破。相對

    而言,較少有研究與實務深入討論組織所需搭配的資源能量與相關管

    理議題。同時,實務與文獻的案例也多為私部門組織的應用,尤其是

    個別領域應用的效益,鮮少涉及政府部門如何運用巨量資料分析以提

    升公共服務與公共政策的績效,與其相關議題與配套管理措施。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    2

    第二節 研究目的

    依據上述背景與問題意識,本研究以下列三點作為研究目的:

    一、 巨量資料分析的發展趨勢與相關議題

    整理歸納各國應用巨量資料分析於公部門或特定公共服務精進之

    情形,包括相關環境分析、資料開放、個人隱私權保障、所有權歸屬、

    交易模式及限制等相關議題。

    二、 巨量資料分析的實際導入經驗

    分別針對政府機關內部的服務系統資料及其外部的網路輿情,以

    特定政府服務系統與公共議題為範圍,與其政府主管機關合作導入巨

    量資料分析系統,藉以瞭解:(1)對於特定政府服務使用者的行為模

    式或偏好,並據以研擬服務精進策略;(2)對於特定公共議題的網路

    輿情,瞭解或預測民眾對於該議題的意見與行為模式,辨識相關重大

    事件、組織或人物的觀點與立場,以掌握該議題的可能發展,並有利

    於相關主管機關的事前與事後的因應與管理。

    三、 巨量資料分析的應用策略建議

    以上述的各國發展趨勢、相關議題、與我國政府機關實際導入經

    驗為基礎,針對巨量資料分析應用於我國政府的決策分析與政策規劃

    提出建議,其範圍包括:(1)如何蒐集、分析、與及時發掘可信賴並

    足因應施政參考價值之資訊與知識等;(2)政府如何適當調整對網路

    民意以及對傳統大眾媒體的重視程度;以及(3)如何發展適當的技術

    以提升人員素養,以適當提高網路民意的可信度或掌握度,並助益政

    府決策品質。

  • 第二章 文獻檢閱

    3

    第二章 文獻檢閱

    因為網際網路的普及與儲存設備的發展,各式各樣的資料能夠快

    速的累積,而這些快速累積的資料又被稱為巨量資料(Big Data)(又

    稱大數據),因具有大量(Volume)、快速(Velocity)與多元(Variety)

    的資料特性而難以用傳統分析方法進行分析,必須用其他適當的技術

    和演算法來解讀、儲存、分析與管理,故發展巨量資料的分析方法越

    來越受到業界及學界的重視(Dumbill, 2012; Zikopoulos et al., 2013)。

    嚴格說來,巨量資料除了具有前述3Vs特徵外,其具體內涵往往會因

    為資料分析需求的不同而有各種不同的定義,但儘管其內涵的定義多

    元,論者多能同意以下列文字描述巨量資料的內涵,亦即「巨量資料

    集為龐大、多元、複雜、長期性以及分散性的資料集,資料係透過各

    式儀器、感應器、網路交易、電郵、影音、點擊流以及各種現今以及

    未來能用以產生數位資料的設備而產生。」 1(Executive Office of the

    President, 2014:3)。

    巨量資料分析被應用於處理無法用傳統分析程序或工具分析的資

    訊(Zikopoulos, Eaton, Deroos, Deutsch & Lapis, 2012:3)。由於數位

    資訊的快速積累,使得許多組織多陷入擁有豐富數位資料,卻因為資

    料處於難以整理的雜亂格式或半結構化格式,而無法從中探勘出具有

    價值的決策資訊。為此,Chen、Chiang與Storey(2012)從商業經營

    與應用的角度出發,針對下列五種研究領域整理出不同的資料應用方

    法與技術,包括:(1)電子商務與市場行銷(e-commerce and market

    intelligence);(2)電子化政府與政治2.0(e-government and politics

    2.0);(3)科學與科技(science and technology);(4)智慧型醫

    療與安寧照護(smart health and well-being);(5)公共安全(security

    1 原文為―Big datasets are ‗large, diverse, complex, longitudinal, and/or distributed

    datasets generated from instruments, sensors, Internet transactions, email, video,

    click streams, and/or all other digital sources available today and in the future. ‘‖

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    4

    and public safety),相關領域的應用範圍、資料類型、資料特性、分

    析焦點以及資料的影響力整理,如表1所示。

    表 1:商業智慧與分析應用 --從巨量資料到巨大影響(節錄)

    應用範圍 資料類型 資料特性 分析 影響

    1. 推薦系統

    2. 社群媒體

    觀測與分

    3. 群眾分析

    系統

    4. 社群媒體

    虛擬小遊

    1. 關鍵字搜

    尋與登入

    日誌

    2. 顧客交易

    紀錄

    3. 顧客自創

    內容

    結構化的網頁

    資料、顧客自

    創內容資料、

    豐富的網際網

    路資料與非結

    構化的顧客意

    見資訊

    1. 關聯規則探勘

    2. 資料庫集群分析

    3. 異例偵測系統

    4. 圖像探勘

    5. 社群網絡分析

    6. 文本與網頁分析

    7. 語意與影響分析

    1. 長尾行銷

    2. 個人化與

    針對性行

    3. 更高的顧

    客與銷售

    滿意度

    2.0

    1. 無所不在

    的政府服

    務。

    2. 平等接觸

    與公共服

    3. 公民接觸

    與參與

    4. 政治競選

    與電子投

    1. 政府資訊

    與服務

    2. 法令規章

    3. 公民意見

    反饋及評

    分散的資料來

    源以及老舊資

    訊系統、豐富

    的文字內容、

    非結構化的且

    非正式的公民

    對話

    1. 資訊整合

    2. 內容與文字分析

    3. 政府資訊語意服

    務與知識本體分

    4. 社群媒體監控與

    分析

    5. 社群網絡分析

    6. 語意及影響分析

    1. 轉型政府

    2. 授權公民

    3. 改 善 透

    明、參與

    及平等

    資料來源:修改自 Chen, Chiang & Storey(2012: 9)。

    由於本研究著重在商業界與政府領域的相關資料類型及分析方

    法,故本章將回顧企業與政府運用巨量資料分析的流程、經驗與技術

    的相關文獻,並歸納整理其研究成果以及探討巨量資料分析存在的限

    制與挑戰。

  • 第二章 文獻檢閱

    5

    第一節 企業運用巨量資料分析的經驗

    企業界對於運用新科技增加績效及獲利一向有著強大的動機,在

    商業界如 Google、Amazon 與 Facebook 等業者,已經利用巨量資料分

    析開發出新的服務模式和創新的經營型態,在行銷上也都整合巨量資

    料分析產出高附加價值的經營模式 2。最早使用巨量資料分析的是幾位

    Google 工程師在科學期刊(Natural)中發表關於流感的研究,他們從

    Google 將近 30 億筆搜尋關鍵字中,篩選出常用的五千萬筆搜尋關鍵

    字,再與美國疾病管理局(Centers for Disease Control, CDC)在 2003

    到 2008 年的實際流感感染案例進行比對,發現經過數學演算法

    (Algorism)進行的相關性(correlation)分析與美國疾病管理局官方

    資料相當吻合(林俊宏譯,2013)。經過數學演算法與大量資料的比

    對分析,資訊價值產生了突破性的發展,巨量資料分析技術提供了企

    業部門發展與生存的新利基。由 Google 的經驗可知,單單只有儲存資

    料量龐大是沒有任何用處的,因為資料並不會自己進行分析,任何一

    位企業高階領導者都想知道他們究竟能從大量的資訊中得到什麼價值,

    而新技術的出現雖然比以前蒐集資料容易了許多,許多企業仍持續地

    尋找更好的方式去從他們的資料中取得價值,以利於在市場上與其他

    企業競爭(LaValle, Lesser, Shockley, Hopkins, & Kruschwitz, 2011)。

    另外 Gartner 公司總結了對於巨量資料的定義,並認為巨量資料可應

    用在許多方面,例如:在業務上可以對客戶流失率進行檢測、在技術

    上可以減少時間上的成本、在健康上的應用可以利用 DNA 來管理每

    個人的健康狀況,以及提升城市的發展與高品質的生活,成為智能的

    城市(Fan & Bifet, 2012)。

    2 DIGITIMES(2014 年 3 月 17 日):巨量資料分析專輯–改變 ICT 產業結構的巨

    量資料分析,DIGITIMES,2014 年 6 月 20 日,取自:

    http://www.digitimes.com.tw/tw/dt/n/shwnws.asp?cnlid=13&packageid=8326&id=0

    000371025_K8R1HK2V1NWQAC67YFO4N&cat=。

    http://www.digitimes.com.tw/tw/dt/n/shwnws.asp?cnlid=13&packageid=8326&id=0000371025_K8R1HK2V1NWQAC67YFO4N&cathttp://www.digitimes.com.tw/tw/dt/n/shwnws.asp?cnlid=13&packageid=8326&id=0000371025_K8R1HK2V1NWQAC67YFO4N&cat

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    6

    在巨量資料的運用上如果結合了地理資訊系統(Geographic

    Information System, GIS)後,又大大地增加了GIS應用的潛力,位置

    訊息也是巨量資料分析一個非常重要的分析標的,加上行動裝置的普

    及,除了「人」的位置資訊以外,「物體」的位置也可以利用這類的

    裝置進行大量的蒐集,這些訊息也成為重要的分析資料,用戶的地理

    位置變成非常寶貴的資料(林俊宏譯,2013)。

    對於資料量的迅速的成長,企業除了需要從龐大且複雜的資料中

    整理出有效的訊息之外,更重要的是如何透過有系統的分析流程與精

    準快速的分析工具作出最佳因應策略。TechAmerica基金會進一步建議

    巨量資料分析者可依循圖1所示的啟動路徑,推動巨量資料分析

    (TechAmerica Foundation, 2012: 29):

    (一) 定義(define):界定巨量資料帶來的機會,包括關鍵營運與

    任務挑戰、最初導入的單一或一組案例,以及巨量資料可以

    產生的價值。

    (二) 評估(assess):評估組織現有資料與技術能力,並對照用來

    滿足界定的營運需求與導入案例所需的資料與技術能力。

    (三) 計畫(plan):選擇最適當的部署模式以及導入重點,設計未

    來的技術架構以及確認潛在的政策、需關切的隱私和安全議

    題。

    (四) 執行(execute):部署現階段巨量資料方案,維持彈性以發

    揮投資的槓桿作用,俾適應接續的營運需求與導入案例。

    (五) 檢視(review):持續地檢視進度,調整原訂的部署計畫,以

    及測試營運程序、政策、治理、隱私以及安全的顧慮。

  • 第二章 文獻檢閱

    7

    圖 1:巨量資料分析啟動路徑

    資料來源:TechAmerica Foundation(2012: 29)。

    綜上所述,巨量資料分析的運用已經是組織面對資訊爆炸的時代

    不可或缺的能力,巨量資料時代所發生的資訊通訊科技變革,雲端計

    算(cloud computing)、商業運用(Business Intelligence, BI)、語意

    網(sematic web)的發展及普適計算(ubiquitous computing)等技術

    都已經打破時空間的界限(徐子沛,2013),未來在巨量資料時代,

    知識更開放、資訊更流通且權力更分散的組織勢必越來越多,社會的

    主體結構將從結構化轉變為網絡化。在巨量資料時代能否妥善運用這

    些新力量,對組織來說是個非常重要的課題,而組織在資料如此多元、

    複雜且快速的流動化的情形下,又該如何進行巨量資料的分析與管

    理,實際運用上仍需視組織所處的環境與所欲達成的目標而定。

    一、 巨量資料對於企業的重要性

    面對巨量資料變革,如何有效擷取、儲存、管理、運用這些巨量

    資料/資訊,已經成為近年來企業尋求市場洞察與競爭力的重要趨

    勢。巨量資料議題在近年開始明顯影響著全球產業的脈動,國際上不

    論是政府或是企業,亦紛紛踏入開放數據與巨量資料領域,挖掘巨量

    資料時代的龐大商機,國際上更是不乏運用巨量資料獲得嶄新商業模

    式與創新領導地位的成功案例。面對全球巨量資料所帶來之商機,近

    年來我國企業亦開始關注巨量資料管理與分析應用機會。林蔚君、詹

    雅慧(2013)認為帶動產業巨量資料應用有三大新趨勢,分別是洞悉、

    定義 評估 計畫 執行

    檢視

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    8

    優化、與創新。其中「洞悉」是指企業資訊跨越傳統內部資料,朝向

    感應器、社群等外部多元異質資訊來源發展,充分利用多來源資料,

    結合交叉分析將資料淬鍊成具價值的洞察,舉例來說企業可分析顧客

    於社群網站上的評論(如文字、情緒等)與歷史消費紀錄,探索其在

    不同時間點的需求與偏好;「優化」則是指企業可以更即時的掌握並

    分析資訊,加強對營運問題的解析,協助決策者優化決策,例如:企

    業可透過社群網站與論壇之討論內容,即時掌握消費者偏好的轉變,

    提早佈局產品設計與開發;「創新」是指即時地掌握使用者端需求,

    包括個人及群體行為、喜好、互動方式,結合多元資料與分析,創造

    新價值。例如John Deere農機具公司,透過分析耕作歷史與即時資料,

    協助農民優化耕作的創新服務模式。過去企業主要仰賴在結構化資料

    的收集與儲存;然而隨著社群媒體及網際網路的發展,非結構性的資

    料越來越重要,這些資料的分析會提供企業新資訊,並維持企業的競

    爭優勢。Manyika et al.(2011)認為巨量資料對於企業的貢獻主要有

    以下幾點:

    (一) 增加決策透明(Transparency creation)

    在組織中各部門藉由資料的共享與整合,可縮短產品上市時

    間和提高產品品質,企業組織對於非結構化資料能夠進行更有效

    的處理,也因此能夠累積許多結構化與非結構化的資料,對於組

    織來說,更多的資料能夠進行知識的分享與再造,也因為資訊的

    流通與共享,讓組織內部的決策更為透明、更加合理。

    (二) 績效改善(Performance improvement)

    巨量資料可提供更精確、詳細的即時績效資料,管理者可利

    用這些資料進行更進一步的內容分析、統計分析與非結構化資料

    的語意判斷等,協助管理者找到績效不佳的根本原因,並加以改

    善以尋求更佳的績效表現。

    (三) 市場區隔(Population segmentation)

    在市場區隔方面,巨量資料可根據適合的產品及服務作出明

    確區隔。此種途徑為著名的市場行銷及風險管理的運用,且可運

  • 第二章 文獻檢閱

    9

    用在其他領域,許多公司也開始運用巨量資料的分析技術進行市

    場 區 隔 的 部 署 , 企 業 可 以 利 用 「 微 市 場 區 隔 法

    (Micro-segmentation)」行銷策略進一步區隔市場,區隔愈精準、

    獨特,企業便愈能透過適當的行銷策略吸引顧客注意。因為巨量

    資料分析包含的資料可能是顧客使用的抱怨、投訴案件或是網路

    上心得等非結構化的資料,而這些顧客主動進行的心得回饋變成

    企業在界定市場取向時的非常重要的根據,根據這些非結構化資

    料的內容分析,可以較有信心的進行市場區隔的決策。

    (四) 決策支援(Decision making support)

    企業利用所蒐集到的結構化與非結構化的資料,可以幫助決

    策 者 擬 定 較 佳 的 決 策 , 並 且 有 效 降 低 風 險 及 提 供 新 洞 見

    ( insights),精確的分析可大幅提升決策,將決策風險降至最低,

    且找出潛在有價值的洞見。企業可使用演算法找出最佳化的決策

    過程,例如:運用自動化庫存微調與訂價系統回應具有即時性的

    網路銷售商品。在某些情況下,決策是藉由分析巨量的數據而成,

    例如:許多企業將整體顧客、員工及產品等大量的數據分析納入

    決策過程,以期望能做出更佳的決策結果。

    (五) 新的商業模式、產品與服務(Innovative business models,

    products, and services)

    藉由巨量資料分析,幫助企業找到新的創新商業模型或產品

    服務。巨量資料使企業能夠創造新產品和服務,提升現有的產品

    價值,並創造全新的商業模式。製造商藉由現存提供的產品所獲

    得的數據分析,做為改進下一代產品研發的依據及創造新的售後

    產品服務。此外即時定位數據的出現也創造許多以定位為基礎的

    服務,例如:導航服務的提供即為一例。

    二、 企業運用巨量資料分析需具備之能力

    巨量資料對於企業的幫助,在於提供企業更多資訊,例如:使企

    業洞察顧客行為與改善商品與服務的意見;或是協助企業制定策略;

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    10

    利用多渠道行銷途徑制定顧客開發途徑、進行廣告整合;也可以用於

    改善顧客體驗與顧客授能(Ramanathan & Sarulatha, 2013)。對於巨

    量資料技術的運用,比起數據的規模,企業更重視分析數據的速度與

    敏捷性,以在短時間內了解產業現況、及時做出回應,甚至是預測未

    來產業趨勢、商業機會(Bifet, 2013)。

    根據資策會前瞻所與International Data Corporation(IDC)共同執

    行的2013年臺灣巨量資料分析市場調查報告,有4%的企業已經導入巨

    量資料分析方案,6%的企業表示將在未來12個月導入巨量資料分析方

    案。對於資料量的迅速的成長,企業除了需要從龐大且複雜的資料中

    整理出有效的訊息之外,更重要的是如何透過有系統的分析流程與精

    準快速的分析工具作出最佳因應策略。張文貴(2013)提到曾有統計

    顯示,運用大數據的分析,可讓公司增加50%的新客戶並創造出驚人

    的效益,成功的案例包含:西班牙成衣品牌ZARA透過電腦程式分析

    出顧客的行為模式和消費喜好,做為產品的生產決策,讓ZARA創造

    出銷售的佳績;日本羅森(Lawson)連鎖式便利商店因收集、分析社

    群媒體和網站討論區的大量資料,即時反應顧客意見,營收較為以往

    成長許多;倫敦一間基金公司(Derwent Capital Markets)在2012年5

    月利用社交媒體情緒追蹤系統,比較分析推特(Twitter)上推文的正、

    負面評價比率,預測道瓊指數走勢。王豐勝、黃彥文(2013)提及巨

    量資料分析平台在實作上能為產業達成幾項重要效益,分述如下:

    (一) 資料前置處理能力

    企業可運用巨量資料的平台來涵蓋各項現存於資訊系統中可

    辨識的資料蒐集、資料的格式轉換及註解除錯的前置作業,並依

    據企業各自的需求,分析過濾不重要的或不相干的資料,將系統

    的準確度提升70%至80%以上。此外,巨量資料的分析平台可針對

    同一資料不同描述進行交叉分析比對,同樣能將錯誤修正到七、

    八成的準確度。

  • 第二章 文獻檢閱

    11

    (二) 數據的抽象瀏覽與存取介面雛形

    可使分析人員在毋需接觸資料的實際來源的狀況下,對企業

    內部及企業外部資料進行資料的儲存與查用。此外,巨量資料分

    析平台可依據不同的資料介接需求進行各類結構與非結構、分散

    與集中的資料格式的轉換。

    (三) 分析模組的知識庫

    巨量分析的平台可提供組織相關的知識庫,使組織成員可查

    詢儲存於平台內的各項知識庫及分析模組,對於該平台的內部系

    統僅需進行些微調整而不需做太大的改變,未來企業可運用

    MapReduce的轉換技術來加速平台的運算能力。

    三、 企業運用巨量資料的經驗

    在巨量資料的趨勢下,企業積極透過新型智慧運算科技,來優化

    企業內部的運作流程,從而找出更精確的策略方向,以領先市場。目

    前,巨量資料分析科技已廣泛應用於各產業,包括農業、零售、醫療、

    能源、金融、電信、製造、娛樂等產業,不論企業規模大小,皆投入

    並善用巨量資料來創造新的營運模式(劉麗惠,2013)。以下介紹國

    內外企業應用巨量資料分析的成功案例(鐘慧真、梁世英譯,2013;

    劉麗惠,2013):

    (一) 日本瑞可利(RECRUIT)成功經驗

    瑞可利運用巨量資料分析的解決方案,如導入Hadoop的平台

    建置,來進行產品推薦系統的實作,以公司旗下的美食數位電子

    報《Hot Pepper》為例,在引進Hadoop之前,由於日誌處理時間的

    問題,僅能對部分會員發送產品推薦郵件,但在引進Hadoop之後,

    由於Hadoop處理日誌檔資料的高速化特性,能發送產品推薦郵件

    給所有會員。對於瑞可利而言,引進Hadoop的價值在於以下三點:

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    12

    1、 大幅加速一連串流程的循環(提出假說→製作原始資料→統

    計→可視化分析),並透過反覆地試驗,提高分析的精確度。

    2、 不僅抽樣資料,連長尾(Long Tail)部分都能進行分析。主

    要是說明驗證的過程中,是以全體資料而非抽樣資料進行分

    析,此可有效提升分析結果的準確度。

    3、 以 Hadoop 來處理一連串的循環流程,可縮短產品的開發週

    期。

    圖 2:引進巨量資料分析技術後的流程循環

    資料來源:修改自鐘慧真、梁世英譯(2013:146)。

    (二) eBay 成功經驗

    以網拍公司起家eBay,在規劃巨量資料的策略上,藉由100%

    儲存用戶在網站上的行為紀錄資料(access log),來提升網站的

    測試效率。主要是以三個資料分析為基礎,分別為企業資料倉儲

    (Enterprise Data Warehouse)、Singularity平台及Hadoop平台,以

    下簡要介紹eBay如何運用這三個平台來進行巨量資料的管理:

    1、 企業資料倉儲:主要是用來分析一般結構性資料,如顧客的

    消費紀錄、商品銷售資料等交易紀錄。

    2、 Singularity 平台:主要用來分析半結構性資料,如用戶的行

    為紀錄、網頁瀏覽 Log 記錄。

    3、 Hadoop 平台:主要用來處理非結構性資料,如用戶的行為紀

    錄、Log 檔記錄、買賣雙方電子郵件的內容以及商品描述。

    提出假說:

    是否能形成

    統計學上的

    邏輯?

    製作原始資料:

    使用 Sqoop 等,將

    整批資料彙入

    Hadoop 環境。

    統計:

    改變各種條件

    計算利潤。

    分析:

    製作簡單的應

    用程式,進行

    可視化分析。

  • 第二章 文獻檢閱

    13

    (三) 愛評網( iPeen)的成功經驗

    在紅谷資訊旗下的美食資訊分享平台愛評網( iPeen),為了

    對大量的會員資料進行儲存與管理,在巨量資料分析策略運用,

    先解決儲存容量的問題,其後再建立資料分析的模型、進行資料

    的即時分析。此外,也導入智慧型裝置應用程式與巨量資料科技

    的結合,將店家與消費者兩者進行虛實整合(Online to Offline,

    O2O),創造新的商業服務。透過巨量資料技術的導入,愛評網可

    完整蒐集消費者行為、消費時間、金額等,並整合現有的網路社

    群資源,對大量的銷售資訊進行更細緻的分析。進言之,藉由最

    後的分析資訊,進一步與實體通路的消費行為做整合,提供店家

    某些促銷方案,有助於顧客前往消費。

    此外,城田真琴(2013)在《Big Data大數據的獲利模式:圖解、

    案例、策略、實戰》一書中也整理巨量資料目前及未來可運用的領域

    及相關案例,簡要說明如下:

    (一) 精確推薦商品與服務

    依照使用者的屬性或是消費紀錄等資料,來推薦最適合消費

    者的產品,如社群網站Facebook中「你可能認識的人」功能。

    (二) 行為定位廣告

    藉由網站的瀏覽紀錄及消費紀錄,針對不同使用者的屬性,

    提供不同的網路廣告服務,如Yahoo!的網路廣告服務。

    (三) 以地點為基礎的行銷

    利用安裝在智慧型手機或裝置的產品中的GPS來進行行銷,如

    日本某保險公司,在事先取得客戶同意的前提,利用GPS定位客戶

    的所在位置,並推薦與其此行相符的保險商品。

    (四) 揪出盜刷

    分析龐大的信用卡使用紀錄,找出顧客可能遭到盜刷的模

    式,建立警示盜用的模型。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    14

    (五) 顧客流失分析

    某些企業會依會員制合約的方式提供服務與產品,在取得顧

    客資料基礎上,預測可能流失的顧客;或是當顧客出現流失的徵

    兆時,可適時改善業務流程作為因應。

    (六) 預測設備故障

    利用安裝於硬體設備的各種感測器,蒐集設備使用紀錄或是

    耗損狀態等資料來進行資料分析,檢驗即將故障或可能發生狀況

    的徵兆。

    (七) 服務改善

    收集使用者對網路服務的使用情形,若是從未使用網路服務

    或功能,可能會遭到刪減;而較為頻繁使用的則功能可能會進一

    步強化,如Google Apps。

    (八) 預測路況

    運用汽車的實際行駛位置及車速等資訊,提供使用者道路路

    況即時訊息,如日本的豐田、日產、本田等車廠公司皆已應用。

    (九) 預測電力需求

    透過智慧型電表監控用電的狀況找出電力消費模式,以便於

    提供電力公司知曉各家庭用電狀況及需求,對於家戶使用者而

    言,也可強化節能減碳的環保意識。

    (十) 預測感冒流行

    製藥公司可針對Twitter上跟感冒相關的推文,透過篩選進行

    語意分析,挑選出可能已經感冒的使用者,再依據各行政區進行

    統計。

    儘管國內外已經有不少企業引入巨量資料的分析技術,然而就臺

    灣企業而言,導入巨量資料的技術仍以電子製造、電信業等大型企業

    為主,其他中小企業,面對巨量時代的來臨,較難以跟上此一股潮流,

  • 第二章 文獻檢閱

    15

    主要原因可能因中小企業在資金、相關巨量技術背景的人才不足,此

    為我國產業須重視的課題。

    第二節 政府部門運用巨量資料分析的經驗

    隨著巨量資料的分析運用在企業界蓬勃發展,政府機關也逐漸開

    始運用巨量資料以追求良善治理(good governance)(廖洲棚、陳敦

    源、蕭乃沂、廖興中,2013)。政府可使用最新科技來更好的運用巨

    量資料、並藉此提升政府績效、治理能力,而又不會使財政負擔過重

    (Shindelar, 2014)。

    一、 政府部門運用巨量資料分析之實例

    從公共治理的角度來看,政府有義務將施政績效與治理能力提昇

    來達到更好的公共治理,而巨量資料分析方法的出現正是一個能夠強

    化政府公共治理能力的利器。然而,政府在追求良善治理的同時亦承

    擔保護公民權利的責任,因此需更謹慎地考量巨量資料分析在公部門

    的運用,特別是那些需要在分析過程進一步限制以及控制的程序

    (Executive Office of the President, 2014: 22)。對於政府而言,巨量

    資料可依據資料產生的來源而區分為內部資料與外部資料。以內部資

    料來說,政府本身擁有非常大量的資料,舉凡財稅、健康保險、教育、

    衛生福利等資料都是屬於政府內部設置之系統或設備產生的數位資料

    外部資料則是與公共治理相關但非由政府擁有之系統或設備產生的數

    位資料,例如公開於網際網路的新聞媒體資料、研究機構公開的調查

    資料、民眾公開於網路上討論分享的數位資料等等。對民主國家而言,

    為使政府施政能反映民意需求,當有愈來愈多民眾願意透過網路分享

    或討論公共事務時,這些散佈在網際網路上的民意資料也是另一股重

    要的政府外部資料的來源,如果政府能夠有效的運用這股新興的技術

    進行資料的深入分析,勢必能夠大幅提昇政府的施政績效與治理能力。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    16

    (一) 外部巨量資料分析

    對於政府而言,來自於政府外部的民意資料正是改善政府治

    理能力的重要資訊,然而因為外部資料來源非常雜亂且數量十分

    巨大,無法用一般資料庫方法進行分析,巨量資料分析方法可以

    將雜亂的資料做進一步的分析,俾協助公共管理者在面對此一數

    位資料積累趨勢時,能有一全新的分析步驟與思維邏輯,從容在

    資料洪流中萃取出有價值的經營管理資訊,特別是發掘公眾需求

    的資訊,以協助管理者改善服務遞送流程,降低遞送成本,以提

    高服務效能和滿足服務對象的需要( Australian Government

    Information Office, 2013)。舉例而言,由聯合國新發起的行動計

    畫,全球脈動(Global Pulse)運用巨量資料來改善發展中國家的

    生活,其在一項報告中提到巨量資料提供發展中國家的機會包

    括:(1)預警:在危機時刻快速回應,在電子媒體的使用時察覺

    異常。(2)即時察覺:設計更能反應現實情況的計畫與政策。(3)

    即時反饋:檢查哪些政策和計劃失敗,即時監控它們,並利用這

    些反饋進行必須的更改(Bifet, 2013)。至於,其他國家對於外部

    巨量資料分析應用及發展的重點,則分別列舉介紹如後:

    1、 政府運用外部巨量資料分析之改革建議

    美國白宮在2012年公告了一份行政機關運用數位資料的「概

    念性架構圖」,要求在進行資料的使用時必須遵守四項要點:(1)

    以資訊為中心(Information centric movement)、(2)以顧客為

    中心(Customer-centric)、(3)共享平台(Shared platforms)與

    (4)安全與隱私(Security and privacy)。而歐盟及英國在策略

    建議上也提出了一些具體作為,將其分成(1)建構數據分析架構

    (2)培養數據分析人才(3)提升軟、硬體數據研究(4)數據的

    隱私與安全性,以下分別敘述之:

    (1) 建構巨量資料分析架構:

    歐盟(European Union)在提升數據價值的策略上提出培養

    一個串連的歐洲數據系統(coherent European data ecosystem)歐

  • 第二章 文獻檢閱

    17

    洲的大學與研究機構、大型企業、中小企業持續增加但各自分

    散,使企業或公共服務無法從自己的組織或外部組織獲取所需情

    報,若能夠建立一個運作良好的數據系統,可以顯著改進研究或

    公共服務帶來的影響,並使企業真正受益於巨量資料帶來的效

    益。若要建立完善的數據系統,首要條件是不同行動者例如大型

    企業、中小企業、及政府機關相互對話,確認目前情形並建立共

    同願景。建立委員會可透過聚集相關利害關係人,訂定數據分析

    的發展路線圖,操控可用資源來促進各方參與者的合作,此委員

    會也將成為公私協力的平台。舉行年度重大活動對串連相關利害

    參與者也有幫助。建立歐洲數據系統(coherent European data

    ecosystem)之後,需要了解數據市場的發展,便需要數據市場

    監測工具(data market monitoring tool),數據市場監測工具可

    以測量出因數據分析活動而產生創業公司、中小企業,產生的工

    作 職 缺 , 以 及 因 數 據 產 品 或 服 務 產 生 的 收 益 ( European

    Commission, 2014)。

    而在英國政府方面,英國政府提出應將大量的數據管理與儲

    存,需要良好的資料傳輸速度,英國政府正在推動橫跨英國的高

    速寬頻(superfast broadband)投資,試圖在2018年達成高速寬

    頻涵蓋率99%,不只使居民更方便,也吸引投資、旅遊、經商,

    政府也進一步考慮如何讓個人或企業在偏僻的地方也可以使用

    高速寬頻。做為大量數據的持有者,政府需要具備足夠的數據儲

    存空間,英國政府已經建立一個G-Cloud採購框架(G-Cloud

    procurement framework),任何中央的資訊科技採購皆需優先考

    慮公共雲(UK Government, 2013)。

    (2) 培養數據分析人才

    英國政府將確保中小學生在畢業前學會編寫電腦程式與應

    用程式(app)的能力,也改革數學課程,設定核心知識如統計、

    概率、模型建構等,確保學生具有分析的基礎知識。在高等教育

    方面,英國許多大學皆開設巨量資料分析學程,或與企業合作培

    養實務技能;開設培訓巨量資料分析的博士學程與博士後研究。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    18

    為了讓即將進入職場的學子了解巨量資料分析相關職務的職涯

    藍圖,巨量資料分析產業已開始開設實習機會、並架設介紹數據

    分析職務的網站,英國政府則是製作該產業相關職務的職涯藍圖

    介紹做為宣傳。政府內部行政人員對於數據分析技術的不熟悉,

    將透過政府設計的公共服務改革計畫(Civil Service Reform

    Plan )提升政府資料分析職務人員的數據分析能力( UK

    Government, 2013)。

    (3) 提升巨量資料分析研究的軟硬體設施

    歐盟提出刺激數據的研發與研究首先可以2020年為目標,探

    索在委員會下協調移轉巨量資料知識與技術的可能性,建立巨量

    資料服務的範圍,並嘗試在2016年完全運作。還有,應基於不同

    行業(公部門、交通、醫療、零售、金融等)的需求,以不同的

    格式、語言、來源的數據進行巨量資料分析技術的研究。為了增

    加巨量資料分析的相關性,建立歐洲數據價值鏈平台(European

    Data Value Chain Platform)可使相關參與者有對話以及進行公私

    協力的場所。另外,試圖減少阻礙創新的因素,方法如:實驗、

    投資、公部門購買數據服務等(European Commission, 2013)。

    而在Iron Mountain在2012年的報告書上提到,政府部門應在預算

    可行下建構自動化檔案管理技術來解決問題,以降低檔案管理責

    任的負擔,以提供先進的解決方案,來支持數據備份,恢復和歸

    檔需求(Adelaide O‘Brien, 2012)。

    研究發展方面,政府將協助企業與組織取得歐洲的展望2020

    年(Horizon, 2020)計劃的投資,展望2020年計劃是EU希望提

    高科技技術的研究計劃。除了研究本身,政府亦發展研究的配套

    措施,例如,英國研究理事會(Research Councils UK, RCUK)

    開發了一個網路平台,讓民眾可以簡單地取得研究成果,此網路

    平台也可讓企業或團體尋找可以合作發展可商業化知識的大學

    (European Commission, 2013)。

  • 第二章 文獻檢閱

    19

    此外,創造良好的巨量資料分析環境可以透過建立對巨量資

    料分析有利的法律與政策環境,包含推動開放數據(open data)

    的政策;透過修正網路隱私法規、讓使用者擁有更多決定如何使

    用數據的控制權來解決隱私爭議;建立完善的法規與讓利害關係

    人對話以解決智慧財產權問題;以協調與投資網路安全技術增進

    網路安全。可以加強標準化與發展統一機器可處理的格式來促進

    數據資料的可互通性( interoperability),使不同來源的數據資

    料能互融並創造更多用途;透過開設大學學程、巨量資料分析業

    界與學術機構合作,培養數據分析家(data-experts);發展歐洲

    開放數據的網站和開放數據(open data)的基礎設施,使可用的

    數據資料更多,促進巨量資料技術的創新(European Commission,

    2013)。

    (4) 隱私與安全性要求

    英國政府目前正在推行免除審核的信息自由法案,此法案可

    以防止未出版研究不恰當地公開,並保護真正敏感的資訊。另外

    也修法允許為了分析而複製已取得的作品做為非商業研究用途

    而不侵犯智慧財產權,此修正將提升資料分析(data mining)的

    效率,有利於大型研究的發展。在隱私爭議部分,英國政府主導

    使用身分確認(Identity Assurance, IDA),政府承諾將與隱私權

    倡議團體、相關產業、消費者團體合作發展公共服務的身分確認

    使用(UK Government, 2013)。

    透過各個國家的對外部巨量資料的策略建議,可以知道政府積

    極地在推動巨量資料,除了建構出數據的架構及框架外,培養數據

    分析人才也是政府應關注的策略作為。此外,巨量資料所帶來隱私

    及資料的安全性,更是政府推動巨量資料分析過程應關注的重要議

    題。

    2、 政府運用外部巨量分析實例

    學 者 Shindelar ( 2014 ) 分 別 以 美 國 住 房 與 城 市 發 展部

    (Department of Housing and Urban Development, HUD)、聯邦緊

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    20

    急事務管理署(Federal Emergency Management Agency, FEMA)

    與國家海洋與大氣管理局(National Oceanic and Atmospheric

    Administration, NOAA)三個機關為例,說明在使用巨量資料分析

    時政府機關的共同需求和個別要件。因為巨量資料對於機關的顧

    客而言是非常有用的資訊,管理者必須在符合白宮要求的條件

    下,提供最佳的資訊內容,來達到更精進的公共服務內容,上述

    三個機關在美國白宮運用巨量資料四個要點下所進行的實際作為

    整理於表2。美國除了上述機關,另有國家科學基金會(National

    Science Foundation, NSF)、國家衛生研究所(National Institutes of

    Health, NIH)、國防部(Department of Defense, DoD)、國防部

    先進研究計畫機構(Defense Advanced Research Projects Agency,

    DARPA)、能源部(Department of Energy, DoE)、美國地質調查

    局(United States Geological Survey, USGS)、及其他6個聯邦機

    構 3。

    表 2:美國政府政府機關運用巨量資料使用要點

    個案

    使用要點

    居住與城市發展

    部門(HUD)

    危機管理部門

    (FEMA)

    海洋與大氣管理

    部門(NOAA)

    資訊中心途徑

    ( information

    -Centric)

    實際作為:

    以網路應用程式

    介面或APIs將讓

    資訊的呈現不受

    限制,使資料上

    傳、更動更具彈

    性。

    實際作為:

    結合巨量資料與資訊

    科技協助部門作危機

    管理(例如 Sandy 颶

    風來襲時用 GIS 協助

    危機管理);用感知

    器、GIS 和傳播媒體

    實際作為:

    用水壓計與浮標

    等收集海洋的資

    訊來監測與預測

    天氣變化;NOAA

    的巨量資料政策

    是投資在超級電

    3 White House(2012) .OBAMA ADMINISTRATION UNVEILS ―BIG DATA‖

    INITIATIVE: ANNOUNCES $200 MILLION IN NEW R&D INVESTMENTS,

    Retrieved May 21, 2014。取自

    http://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_press_releas

    e_final_2.pdf.

    http://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_press_release_final_2.pdfhttp://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_press_release_final_2.pdf

  • 第二章 文獻檢閱

    21

    個案

    使用要點

    居住與城市發展

    部門(HUD)

    危機管理部門

    (FEMA)

    海洋與大氣管理

    部門(NOAA)

    好處:

    節省資料複製的

    人力與成本、創造

    有用的資料架構

    讓其他部門也可

    使用。

    即時提供民眾災難資

    訊。

    好處:

    危機發生時資訊會大

    量湧入,有效率的處

    理、組織、運用這些

    資訊相當重要。

    腦上,用以協助天

    氣預測。

    好處:

    不斷湧入的資訊

    可有效率的處理

    運用,從地方天氣

    預測到長期環境

    政策都需要用這

    些資訊。

    顧客中心途徑

    (customer-

    Centric)

    實際作為:

    建立新線上平台

    讓使用者反應機

    關績效與服務的

    感想

    好處:

    HUD 資訊的使用

    者包含機關內部

    成員、大眾、各級

    政府,所以多著重

    於跨機關

    (organization)或

    機關內部協調與

    研究顧客需求。

    好處:

    民眾與各級政府機關

    都需要即時與正確的

    災難資訊,使雲端成

    為上述需求的最佳的

    解決方式。

    好處:

    氣候的全球連動

    特性使 NOAA 提

    供的氣候資訊受

    到國際關注,不同

    國家的人都可能

    使用 NOAA 提供

    的資訊。

    共享平台

    (shared

    platforms)

    實際作為:

    HUD user

    eBookstore(下載

    資訊用)& HUD

    實際作為:

    以 the public Amazon

    Elastic Compute

    Cloud(EC2)作資料

    實際作為:

    用網頁來提供資

    訊給使用者,但行

    動載具越趨重

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    22

    個案

    使用要點

    居住與城市發展

    部門(HUD)

    危機管理部門

    (FEMA)

    海洋與大氣管理

    部門(NOAA)

    User Forum(分享

    資訊或對新政策

    或研究發表評論

    用)

    創造、發現與儲存;

    以 AGOL( the Arc GIS

    Online for

    Organizations)作為提

    供資料給民眾的使用

    者介面,可獲得文字

    或地圖資訊。

    要,故投資超級電

    腦以更完善處理

    巨量資料並提供

    給使用者。

    安全性與隱私

    (security and

    privacy)

    實際作為:

    一方面想提供資

    訊給使用者、一方

    面得顧及安全性

    與隱私,故運用持

    續監測、電子認

    證、密碼等 IT 等

    工具來提升安全

    性。

    實際作為:

    部分系統在政府防火

    牆外,故努力在隱私

    法限制與政府資訊兩

    者間求取平衡。

    實際作為:

    在新的網路安全

    中心實行即時監

    測以提升資訊安

    全,但 NOAA 較

    無個資外洩的疑

    慮。

    資料來源:整理自 Shindelar(2014)。

    此外,在聯合國全球脈動(UN Global Pulse)在2012年白皮書

    報告中提到,在社會科學與公共政策應用上,巨量資料可達到一種

    預測能力,例如,2008年Google所推出的Google流感趨勢(Google

    Flu Trends),透過使用者上網查詢類似流感症狀的頻率來預測流

    感活動的水平,而使用者使用搜索查詢的頻率較高的地區也與流行

    流感的地區相同,而這也成為美國政府疾病控制及預防中心監測的

    一部分數據觀察。在環境防災方面,美國聯邦應急管理署(United

    States‘ Federal Emergency Management Agency,FEMA)透過監測

    Twitter和注意在不同地理位置上被龍捲風破壞的程度,來控制救災

    物資的調度,以提升救災的即時性(UN GLOBAL PULSE, 2012)。

  • 第二章 文獻檢閱

    23

    (二) 內部巨量資料分析

    政府本身即是蘊涵著非常大量資料的組織,舉凡財稅、健康

    保險、犯罪紀錄等資料庫,都是內部巨量資料分析可以著重的地

    方。相對於政府外部的巨量資料,政府內部的巨量資料是相對較

    為結構化可分析的資料,因此運用政府內部資料進行巨量資料分

    析,對於政府而言是較為方便且可行的。

    1、 政府運用內部資料進行巨量分析之建議

    政府有義務讓民眾享有最優質的服務,在日新月異的科技變

    革中,儲存在政府內部的巨量資料,也能夠運用巨量資料分析方

    法進行較佳的分析,進一步改善政府的施政品質。2009年聯合國

    全球脈動(UN Global Pulse)提出利用巨量資料來改善發展中的

    國家,包含以下幾項策略建議:(1)研究分析即時性數據資料的

    創新方法和技術去發現早期新發現的漏洞;(2)編輯一個自由、

    開放的資源技術工具箱來用於分析即時資料和分享其假設;(3)

    建立一個脈動實驗室的綜合性和全球網絡去試驗在國家層級方面

    的方法。綜上,政府在運用內部巨量資料分析,同樣的也必須做

    好以下四點:(1)建構巨量資料分析架構、(2)培養數據分析

    人才、(3)提升巨量資料分析研究的軟硬體設施、(4)隱私與

    安全性要求。在內部巨量資料分析方面,各國政府也試圖提出以

    下幾項運用巨量資料分析的領域:

    (1) 醫療領域

    美國白宮總統辦公室(Executive Office of the President)在

    2014年的建議書「巨量資料的機會與價值保護(Big Data: Seizing

    Opportunities, Preserving Values)」,提及公部門必須把握巨量

    資料分析方法所創造的機會,利用新科技改善政府服務,例如在

    健康保健(Health Care Delivery)方面,政府能夠利用健康保險

    給付資料與門診資料進行更佳的數據分析,達成「學習型健保系

    統( learning health care system);在新藥物與治療方面也可以

    運用數據分析進行新藥治癒趨勢的預測,達到更好的醫療品質。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    24

    在臺灣,政府也正在研擬未來對於巨量資料的應用,於2012年起

    正式將「政府公開性資訊(open data)開放」 4來達到強化民眾

    監督與公私資訊流通,以發展新的加值服務與商業模式。具體來

    說,未來在防災救護、公共衛生、交通分流資訊、水資源運用與

    長期照護等等公共政策都可以將GIS結合巨量資料分析,以精進

    公共服務過程(林蔚君、詹雅慧,2013)。詹大千與金傳春(2013)

    也針對GIS系統應用在流行病學領域上進行討論,認為行動載具

    的普及與社群媒體的發展,對於流行病的防治與監測,可以利用

    GIS與巨量資料的應用來得到較過去權威式公共衛生治理更佳

    的防治效果。

    (2) 警政領域與國土安全方面

    美國白宮總統辦公室的巨量資料分析建議書提議在執法

    (Law Enforcement)方面,藉由運用巨量資料分析不同警政資

    料庫系統,建立警政部門的犯罪地圖,據以追蹤與預測非法活

    動。在國土安全(Homeland Security)方面,政府可以藉由出入

    境資料的分析比對,使用巨量分析方法做出預測,將能讓政府不

    用再透過大海撈針的途徑,就能有效的辨識出可能造成危害的特

    定人士,亦即利用巨量資料分析方法防範未然,事前預警,將可

    能的傷害降到最低(Executive Office of the President, 2014)。

    (3) 精進公共服務的可能性

    美國白宮發起的「巨量資料研究與發展倡議(Big Data

    Research and Development Initiative)」計畫,其目的是提升巨

    量資料分析工具與技術以增進美國國防安全、教育、生物醫學等

    國家能力(王豐勝、黃彥文,2013)。澳洲政府亦於2013年3月

    成 立 「 資 料 分 析 卓 越 中 心 」 ( Data Analytics Centre of

    4 國家發展委員會(2012 年 1 月 18 日)。101 年 1 月 18 日行政院科技會報辦公室

    舉辦「我國公開資料加值(Open Data)推動策略會議」。國家發展委員會,2014

    年 4 月 26 日,取自 http://www.ndc.gov.tw/m1.aspx?sNo=0027913。

    http://www.ndc.gov.tw/m1.aspx?sNo=0027913

  • 第二章 文獻檢閱

    25

    Excellence),進行跨單位資訊、技能的共享,以發展具全局性

    的政府政策(劉龍龍、葉乃嘉、何志宏、余孝先,2013)。澳洲

    政府認為巨量資料分析方法能夠帶來新的願景,特別是精進公共

    服務方面,藉由巨量分析將能強化既有公共服務、創造公私部門

    夥伴關係的建立與協力的機會,巨量資料分析方法能夠更快速找

    到服務標的人口,並且運用大量資料分析服務的提供與實際服務

    提供之間的差距,藉以做為公共服務改善的依據(Australian

    Government Information Office, 2013)。因為巨量資料分析的即

    時性特性,如果能夠發展一套能夠協作且能各部門間能夠彼此協

    作的系統或是機制,必定能夠大幅提昇公共服務的品質。

    然而,政府在運用巨量資料分析方法精進公共服務的同時,

    也必須特別注意「隱私」議題,不論在健康保險、醫療、國土安

    全或警政的公共服務提供,政府在進行進一步的數據分析與應用

    時,都會涉及到民眾的個人隱私,過度的監控將會有違憲與違法

    的疑慮,消極的不作為則無法精進公共服務,政府如何能夠在監

    控(surveillance)與公共利益(public interest)之間取得一個平

    衡,也是政府目前在運用巨量分析所必須面臨的一個重大挑戰。

    聯合國全球脈動(UN Global Pulse)也提到巨量數據的發展的挑

    戰與機遇,包含了有預警作用、用來檢驗數字的異常,與即時的

    意識以及即時的反饋來檢驗政策的可行性和進行檢討(Fan &

    Bifet, 2012)。

    2、 運用內部巨量資料分析實例

    Decker(2014)將政府運用巨量資料在政策分析和公共管理

    研究上,稱之為「資料海嘯」(data tsunami),巨量資料的分析

    包括了資料分析、預測分析或者是商業上的智慧,也就是說巨量

    資料主要特色是一個龐大的規模(Pirog, 2014)。事實上,已有

    若干國家的政府開始重視前述巨量資料分析的潛力,並逐步將其

    應用 在 許多 不 同的公 共決策 中。 例 如:美 國衛生 人力 部

    (Department of Health and Human Services)利用巨量資料分析過

    去行政訴訟的資料,藉以改善其決策品質;美國國家衛生研究院

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    26

    (National Institutes of Health)則是透過建立病患巨量資料系統,

    協助 研 究人 員 儲存與 分析病 患的健 康數據 ;美國 能源 部

    (Department of Energy)則是建立巨量資料的平台,收集國際間

    相關的大氣數據,藉以提升對全球大氣過程與氣候模型的瞭解;

    英國Age UK慈善機構,運用巨量資料分析發掘郵寄資料和捐贈金

    額本益比最高的潛在捐贈者,除節省郵寄資料的費用開支外,並

    為其設計適當的宣傳活動,以提高募款成功機率;美國安全局和

    英國政府通訊總部為了國家安全目的,會利用巨量資料來優化緊

    急情況的疏散及犯罪的預測疑慮,例如利用人群照片來猜測波士

    頓馬拉松爆炸的嫌犯(Pirog, 2014)。

    此外,Yiu(2012)認為巨量資料分析有以下五種可應用於公

    部門的面向,包括:分享(sharing)、學習( learning)、個人化

    (personalizing)、解決(solving)以及成長創新( innovating for

    growth)等五項。有關此五項應用說明分述如下:

    (1) 分享:透過巨量資料的平台,可以有效地協助政府各機關分

    享彼此的資訊,提升其解決問題的能力並縮減反應民眾需求

    的時間。

    (2) 學習:管理階層可以透過巨量資料的分析,發掘單位在管理

    過程中未發現的可能問題或重要關鍵,進而針對可能的方向

    提出修正與調整。

    (3) 個人化:強調服務提供者可透過巨量資料分析發現特定民眾

    的特質,以便針對其個人的特質與需求進行客製化的微調。

    (4) 問題解決:可以針對過去大量的資料進行分析並發掘隱藏其

    中的可能樣態或趨勢,進而提出相對應的解決方案。此外,

    針對這些過往的資料進行分析,可協助政府對於未來的趨勢

    進行預測,並研擬可能的因應對策。

    (5) 在成長創新方面,利用巨量資料分析可以發掘以往政府運作

    浪費或低效率的部分,俾透過資源重新分配的方式,達到整

    體績效最大化的程度。

  • 第二章 文獻檢閱

    27

    資源的缺乏與意識型態居於政策制定的主導地位可能會誤認為巨

    量資料分析產生的數據對於政策決策者沒有影響力,然而資料的分析

    和科學證據的支持在一個資源受限的環境反而變得更重要。政府預算

    的缺乏,使政府資源需要排列出優先順序,因此更要求有效的政策研

    究以確保資源配置良好、維持有效的政策並消除不具效率的政策、找

    到能以低成本帶來正面影響的政策,因而,Decker(2014)主張政府

    可以且必須使用巨量資料進行分析,以證明其有效地管理公共資源。

    二、 政府運用巨量資料分析之導入流程

    從公共管理的角度出發,政府如何在有限的資源上做最佳的分

    配,所有的決定都必須仰賴證據的支持(evidence based),也因此資

    料蒐集與分析也越來越被重視。惟巨量資料分析和傳統的政策研究分

    析是截然不同的,舉例而言,巨量資料分析的資料是利用持續增加且

    變動的資料,幫助決策者看清這些變動資料的特性,進行持續性的資

    料對話(Decker, 2014)。而這股巨量資料的衝擊正朝向政府席捲而來,

    政府越來越重視巨量資料的蒐集與分析,而公部門本身便是資料(不

    論是結構化資料或是非結構化資料)大量聚集的所在地,政府如何運

    用這個本身擁有的利基(Niche)進行公共服務的精進與再進化,已是

    刻不容緩的議題。

    為了瞭解巨量資料分析在政府部門應如何進行運作,廖洲棚、陳

    敦源、蕭乃沂與廖興中(2013)進行了一個探索性的研究,以巨量資

    料分析方法進行網路民意的探勘,並評估將巨量資料分析結果導入政

    府決策分析之流程,以達到回應民意之目的。其進行之研究分別運用

    兩項巨量資料分析技術,進行資料的探勘,幫助公共管理者掌握民眾

    對於公共議題的可能偏好。

    (一) 日誌檔案分析

    日誌檔案分析是巨量資料分析最早使用的資料分析技術

    (Eaton et al., 2012),在此應用中,面臨著重要的挑戰包含了(1)

    系統的能力;(2)算法的設計;(3)商業模式(Fan & Bifet, 2012)。

  • 政府應用巨量資料精進公共服務與政策分析之可行性研究

    28

    此分析方法主要是針對網站使用者進行分析,使用者進行網站內

    容的使用、登入伺服器的軌跡、瀏覽紀錄、購物行為、使用者的

    基本資料等資料進行分析。這種分析方法可以讓管理者針對特殊

    使用者的使用行為或特質進行分析,瞭解使用者的行為與需求,

    提供更好的服務,並且可以作為未來商業模式改善或精進的依

    據。例如美國Amazon購物網站便運用巨量資料分析方法進行商業

    模式的改善,優化商品推薦的功能,推薦購買相同類型產品的使

    用者與其類似特質使用者所購買的產品,依據使用者瀏覽歷史,

    比對同類型使用者瀏覽商品的相關性,使得商品推薦的功能能夠

    更加貼近使用者的喜好(丁正中、李彥錚,2013;鄭婷方,2014)。

    網站使用者的資料通常包含使用者基本資料格式(Access log)、

    進入日誌(Analysis of access)、錯誤日誌(Error log)與喜好日

    誌(Referrer log)(蕭元哲、葉上葆,2003:213-215)。由上述

    可知,網站的日誌檔案分析主要是以分析網站內部記錄包含質化

    及量化資料(也可稱為日誌資料),以持續改善並瞭解客戶及潛

    在客戶在網路上使用的經驗,進一步達成預期之效果、提供更好

    的服務。

    網站日誌檔案分析在企業網站運用上非常的普及,但政府官

    方網站在