應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

鄔賀銓:智慧城市的數(shù)據(jù)管理

2012-10-25 14:38 物聯(lián)網(wǎng)世界

導(dǎo)讀:中國工程院原副院長、秘書長鄔賀銓出席了無錫物聯(lián)網(wǎng)大會并發(fā)表主題演講。他在以“智慧城市的數(shù)據(jù)管理”主題演講中認(rèn)為,智慧城市每天產(chǎn)生大量的數(shù)據(jù),大數(shù)據(jù)的收集、存儲和分析處理及使用對智慧城市是很大的挑戰(zhàn),這不僅是技術(shù)也是法律和政策需要關(guān)注的問題。大數(shù)據(jù)的挖掘?qū)χ腔鄢鞘械慕?jīng)濟發(fā)展和社會管理是無形的管理。

中國工程院原副院長、秘書長鄔賀銓

  中國工程院原副院長、秘書長鄔賀銓出席了無錫物聯(lián)網(wǎng)大會并發(fā)表主題演講。他在以“智慧城市的數(shù)據(jù)管理”主題演講中認(rèn)為,智慧城市每天產(chǎn)生大量的數(shù)據(jù),大數(shù)據(jù)的收集、存儲和分析處理及使用對智慧城市是很大的挑戰(zhàn),這不僅是技術(shù)也是法律和政策需要關(guān)注的問題。大數(shù)據(jù)的挖掘?qū)χ腔鄢鞘械慕?jīng)濟發(fā)展和社會管理是無形的管理。

  什么是智慧城市?最初是無線城市,無線設(shè)施是數(shù)字城市設(shè)施的關(guān)鍵組成,但無線城市僅僅是數(shù)字城市的第一步,數(shù)字城市可能要求比電信網(wǎng)絡(luò)有更多的有線寬帶設(shè)施。

  智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效。對人力與社會資源和傳統(tǒng)及現(xiàn)代設(shè)施的投資,促進可持續(xù)經(jīng)濟發(fā)展和高質(zhì)量生活,同時通過提供參與治理的機會實現(xiàn)對自然資源叢明的管理,這時一個城市就被稱為智慧城市。

  智慧城市本身應(yīng)該是可測量的,可監(jiān)控的,可分析的。另外是能整合的,還是創(chuàng)新的,以及協(xié)作的。

  那么智慧城市跟物聯(lián)網(wǎng)以及跟未來網(wǎng)絡(luò)有什么關(guān)系呢?物聯(lián)網(wǎng)是智慧城市網(wǎng)絡(luò)能力的基礎(chǔ)。但智慧城市的網(wǎng)絡(luò)能力內(nèi)涵更為豐富,具有對未來網(wǎng)絡(luò)所期待的特征。可以從圖上看到,傳感網(wǎng)僅僅是未來網(wǎng)絡(luò)的一部分,除了英特爾以外,未來網(wǎng)絡(luò)還應(yīng)該包括,數(shù)據(jù)與內(nèi)容、物品與傳感器、用戶與知識等等。未來感知包括服務(wù)感知、數(shù)據(jù)感知、環(huán)境感知和社會與經(jīng)濟感知。

  物聯(lián)網(wǎng)底層有很多感知對象和感知的單元,通過網(wǎng)絡(luò)把它們匯集,然后通過應(yīng)用領(lǐng)域?qū)崿F(xiàn)更智慧的決策。智慧城市的信息要有非常強大的基礎(chǔ)設(shè)施,包括有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、移動網(wǎng)絡(luò),有時候還需要利用衛(wèi)星等等手段。除了傳統(tǒng)手段以外,靠近用戶端有物聯(lián)網(wǎng)網(wǎng)端,有時候還需要云計算平臺的支撐。

  智慧城市的信息基礎(chǔ)設(shè)施是下一代互聯(lián)網(wǎng)和未來網(wǎng)絡(luò),我們希望這個網(wǎng)絡(luò)更安全,能夠具有移動性的普適計算,能夠跨越物力與Cyber空間,而且還是自治連網(wǎng)。

  那么智慧城市跟云計算是什么關(guān)系呢?這個圖上可以看到,我們國家很多智慧城市都以建立云計算基地和提供云服務(wù)為主要目標(biāo)。像北京有祥云工程,上海有“云海計劃”,天津有六云產(chǎn)業(yè)和三云應(yīng)用,重慶希望建立云端智能城市,廣州有天云計劃。

  我舉個例子,比如上海的智慧閔行,閔行有很多很多的數(shù)據(jù)庫,然后建立閔行區(qū)私有云和民生云,希望通過數(shù)據(jù)挖掘,智能圖像識別和網(wǎng)絡(luò)檢索的技術(shù),來實現(xiàn)智慧政務(wù)、智慧醫(yī)療、智慧交通。

  早年我們沒有談云計算,八十年代談數(shù)據(jù)庫,九十年代談IDC,現(xiàn)在我們更多是談云計算,實際上更多的是云服務(wù)。在云計算上面有Iaas系統(tǒng),上面有Paa市系統(tǒng),再上面有SaaS系統(tǒng)。但是我個人認(rèn)為,僅僅做iaaS僅僅是數(shù)字房地產(chǎn),房地產(chǎn)隨著時間是增值的,那么Iaas隨著時間會貶值,更多的應(yīng)該做paas,提供很多的開發(fā)環(huán)境,利用這個環(huán)境開發(fā)企業(yè)需要的軟件。對于更多的中小企業(yè),即使有Paas自身也不會開發(fā),因此需要提供Saas,這里面就需要提供非常多的軟件。

  通常,云計算一般企業(yè)來講可以利用共有云,對于大企業(yè)來講,往往自己建自己的云,但并不妨礙跟共有云發(fā)生關(guān)系。更多企業(yè)既想把一些裝置放在公用平臺上,但又擔(dān)心安全,所以經(jīng)常是使用私有云。

  你看美國政府,政府IT預(yù)算25%要投到云計算平臺上。

  下面是我報告的重點,要講一下智慧城市的數(shù)據(jù)管理。這個圖上大家可以看到,互聯(lián)網(wǎng)上的一分鐘可以干一些什么?到2015年,大概1個人要花五年時間,才能看完在互聯(lián)網(wǎng)上一秒鐘所傳的所有視頻。

  那么互聯(lián)網(wǎng)上一天可以干什么呢?對Tvitter,一天新增2億條微博,7個TB。50億個單詞,幾乎是60年來紐約時報單詞量的兩倍。對于Facebook,一天可以上載2.5億張照片,相當(dāng)于300個TB。那么在中國淘寶網(wǎng)站一天又交易數(shù)千萬筆,大概數(shù)據(jù)量是20個TB。全世界互聯(lián)網(wǎng)上一天的信息量如果裝在DVD光盤上,要裝1.68億張光盤,大概是80萬個硬盤,約占800EB。

  那么互聯(lián)網(wǎng)流量的變化。1998年平均一個網(wǎng)民一個月的流量才一個MB,到2000年,達(dá)到10MB,到2008年平均一個網(wǎng)民是1000MB,到2014年是10000MB。

  2011年4月美國國會圖書館收集了235TB無數(shù)據(jù)。全球新產(chǎn)生的數(shù)據(jù)年增40%,全球信息總量每兩年就可以翻番。而對新增數(shù)據(jù)的處理能力以及其利用率的增長則不足5%。而且所有數(shù)據(jù)量的90%的數(shù)字內(nèi)容屬于非結(jié)構(gòu)化內(nèi)容。

  最近兩個月在YOUTube上上載的視頻超過了ABC、NBC和CBS電視臺自子948年以來247/365連續(xù)播出的內(nèi)容。

  那么什么是大數(shù)據(jù)呢?大數(shù)據(jù)是指沒有辦法在容許的時間內(nèi)用常規(guī)的軟件工具對它技術(shù)抓取、管理和處理的數(shù)據(jù)。也就是說,你在規(guī)定的時間里頭用常規(guī)軟件工具做不到的。大數(shù)據(jù)目前的標(biāo)準(zhǔn)是支單一數(shù)據(jù)集的大小在幾十TB到數(shù)PB之間。

  大數(shù)據(jù)本身有四個特征,超量、高速、變異、價值。大數(shù)據(jù)的應(yīng)用領(lǐng)域很廣泛,有醫(yī)療、交通、財務(wù)、物流、安全等等,應(yīng)該說想得到的領(lǐng)域都可以發(fā)生很多應(yīng)用。

  比如企業(yè),企業(yè)有管理部門、開發(fā)部門、銷售部門、服務(wù)部門、這些部門是有交互的,如果通常的企業(yè)管理可能很難得到最優(yōu)化,如果利用大數(shù)據(jù)管理,可以改善它的管理,性能上可以提高40%-60%。

  美國有一個公司InFormatica為幫助美國一家零售公司把交易型的數(shù)據(jù)與社交媒體產(chǎn)生的數(shù)據(jù)能夠關(guān)聯(lián)分析,找到“最佳客戶”并分析他們的購買行為。亞馬遜公司從銷售數(shù)據(jù)分析適搭配在一起買的商品。

  硅谷有個氣候公司,從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù),將各地的降雨、氣溫和土壤狀況及歷年農(nóng)作物產(chǎn)量做成精密圖表,從而預(yù)測任一農(nóng)場的明年產(chǎn)量,向農(nóng)戶出售個性化保險,如果出現(xiàn)未能預(yù)測的惡劣天氣損壞莊稼,氣候公司將及時賠付。

  我曾經(jīng)在山東壽光的菜市場看到,當(dāng)?shù)赜幸粋€顯示屏,北京黃瓜3塊錢,當(dāng)?shù)攸S瓜1塊錢。我問農(nóng)民說,你怎么不到北京去賣呢?他說,我要去北京賣,價格8毛錢都賣不出去。我說信息化對你沒有用嗎?他說,不是,信息化只有我知道的,別人不知道的信息對我才有用的,因此所有的市場信息都應(yīng)該是個性化的。

  美國紐約的警察分析交通擁堵跟犯罪發(fā)生地點的關(guān)系,能有效改進治安。美國紐約的交通部門從交通違規(guī)和事故的統(tǒng)計數(shù)據(jù)終發(fā)現(xiàn)規(guī)律。

  我們的電信運營商也擁有大量的手機數(shù)據(jù),通過對手機數(shù)據(jù)的挖掘,不針對個人而是著眼于群體行為,可以從中分析出:這個時候有多少人在這個地方。

  前一段時間我去廣東,廣東省委領(lǐng)導(dǎo)提出來現(xiàn)在的經(jīng)濟下行了,究竟農(nóng)民工走了多少?往往這個數(shù)據(jù)統(tǒng)計不準(zhǔn)確。因為經(jīng)濟好的時候,人們不會多吃鹽,經(jīng)濟不好的時候,也不會少吃鹽,所以鹽的銷量相應(yīng)反映出人的數(shù)量,那么為了核實這個數(shù)字,我問了一下廣東的通信公司,我說你們能不能從用戶活躍數(shù)量上判斷結(jié)果。結(jié)果從這個上面判斷出這個數(shù)字,也是20%左右。所以通過數(shù)據(jù)可以很好的反映人的來源。

  比如說我們可以很好的掌握,現(xiàn)在在天安門廣場有多少人,我可以知道多少人來自河南,多少人來自四川的,多少人來自江蘇的。如果你是來旅游的,一兩個小時就走了,如果上訪的,可能三四個小時,這個時候上訪部門就要注意了。

{$PAGE$}

  還有根據(jù)手機在馬路上走的運行速度可以判斷這條馬路是不是堵,實際上這些都是可以挖掘的數(shù)據(jù)。

  3000億美元,美國保健的年度潛在價值,相當(dāng)于戲班言年度醫(yī)療保健開支兩倍。2500億歐元,歐洲公共管理的潛在年度價值,比希臘GDP的兩倍還多。所以世界經(jīng)濟論壇上大數(shù)據(jù)就是新財富,大數(shù)據(jù)的價值堪比石油。

  當(dāng)然了,要挖掘大數(shù)據(jù)不是那么容易的事,首先要進行數(shù)據(jù)管理,數(shù)據(jù)來自不同的地方和不同標(biāo)準(zhǔn),數(shù)據(jù)量的大小、結(jié)構(gòu)形式、實時性都不一樣,會增加采集、編索與整合的困難,需要對傳統(tǒng)的數(shù)據(jù)傳輸工具ETL無流程進行重新設(shè)計。

  數(shù)據(jù)存儲,傳統(tǒng)的集中式數(shù)據(jù)庫、數(shù)據(jù)倉庫系統(tǒng)已經(jīng)不能有效的處理大數(shù)據(jù)的存儲和分析,需要分布式處理,Hadoop就是分布式結(jié)構(gòu)化數(shù)據(jù)存儲方案。

  數(shù)據(jù)挖掘,為了處理具有高維特征的圖像等多媒體數(shù)據(jù),將高維數(shù)據(jù)看成位于一個相對低維子流形上,利用流形的性質(zhì)將數(shù)據(jù)降維后度量與處理。

  總的來說,物聯(lián)網(wǎng)也好,智慧城市也好,數(shù)據(jù)挖掘是重點,今天我看到無錫這個展覽會,我們很多都關(guān)注數(shù)據(jù)感知、應(yīng)用,實際上幾乎沒有看到數(shù)據(jù)挖掘,沒有看到智能決策,實際上這是需要智能決策的。首先在數(shù)據(jù)收集層不僅僅是收集傳感器的數(shù)據(jù),需要手機政府和市民的數(shù)據(jù),才知道這個時候這個地方發(fā)生了什么,然后才對得出傳感器的數(shù)據(jù)有一個合理的解釋。

  獲得這些數(shù)據(jù)以后,不是簡單從數(shù)據(jù)分析,需要建立一些模型進行仿真,得出的結(jié)果需要有可視化的表現(xiàn),甚至要增強現(xiàn)實。

  另外是不是發(fā)布?是不是在發(fā)布之前進行仿真?我發(fā)布之后有什么樣的后果?這都需要在數(shù)據(jù)挖掘上做的。

  比如說藍(lán)藻爆發(fā)監(jiān)測模型。通過傳感器捕獲太湖水里的成份,我們根據(jù)經(jīng)驗可以知道,藍(lán)藻的發(fā)生強度跟溶解氧有比較高的相關(guān)程度,跟水溫有比較高的相關(guān)程度,跟電導(dǎo)率有比較高的相關(guān)程度,但跟氨氮、PH值、硝酸鹽沒有這么高,這些可以作為參考。但僅僅這些還不夠,還需要圖像,根據(jù)視頻結(jié)果,一起來結(jié)合分析,才有可能得出是不是會有藍(lán)藻爆發(fā)的結(jié)果。

  而且我剛才說了,不僅僅基于傳感器,還基于人工采集的數(shù)據(jù),基于衛(wèi)星遙感的數(shù)據(jù),通過多元的數(shù)據(jù)收集,才能保證確認(rèn)這個事件的可靠性。收了這些數(shù)據(jù)以后,需要有數(shù)據(jù)湖泊模型,通過跟歷史的比對,進行分析挖掘,得出結(jié)果以后進行網(wǎng)絡(luò)發(fā)布,所以這是一個復(fù)雜的過程,我們需要合理的制定感知數(shù)據(jù)的存儲期。

  我們城市有大量的攝像頭,很多城市提出來存三個月,那幾十個攝像頭存儲這是需要非常大的資源,這就需要壓縮去掉重復(fù)用于的數(shù)據(jù)。比如關(guān)注某個倉庫有沒有異常事件,那絕大部分是沒有人的,這段可以壓縮掉。而且要堅固歷史數(shù)據(jù)和新數(shù)據(jù),提供一個使數(shù)據(jù)精度隨時間逐漸降低的數(shù)據(jù)老化方法。另外存進行還要考慮以什么樣的規(guī)律挖出來。

  數(shù)據(jù)的隱私和保護也是非常重要的問題,這里有技術(shù)性問題,一些數(shù)據(jù)可能需要加密,這要分配密鑰,而加密對于傳感器來講需要采用高能效的加密算法,當(dāng)然還有可介入性認(rèn)證,可信性認(rèn)證、數(shù)據(jù)完整性認(rèn)證、隱私增強技術(shù)和身份管理等等。

  法律上規(guī)定有些數(shù)據(jù)必須開放,老百姓也能看見。還有責(zé)任性、數(shù)據(jù)擁有權(quán)。從經(jīng)濟角度要有行為規(guī)范,為了商業(yè)利益也要有隱私保護。在社會倫理上要保證公眾有知情權(quán)、保證消費者有權(quán)利,保證消費者的主張。

  數(shù)據(jù)訪問認(rèn)證與安全管理有網(wǎng)絡(luò)訪問控制、網(wǎng)絡(luò)數(shù)據(jù)保密、網(wǎng)絡(luò)數(shù)據(jù)完整性、網(wǎng)絡(luò)可用性、網(wǎng)絡(luò)不可否認(rèn)性等等。

  另外在大數(shù)據(jù)的挖掘里頭很重要的一點,要解析非結(jié)構(gòu)的信息。文字信息我們比較好過濾,有一個關(guān)鍵詞就可以選擇了。有一個小企業(yè),它做不到每個員工一人一臺電腦,很多時候是兩三個員工一臺電腦,有一個員工覺得很不方便,就向領(lǐng)導(dǎo)發(fā)了一個短信,他說我申請一臺獨立電腦。計算機一分析“臺獨”,實際上計算機本身沒有這個智能,它需要上下文關(guān)聯(lián),通過工具找出真正的含義。把復(fù)雜的、模凌兩可的矛盾的數(shù)據(jù)導(dǎo)出可理解的內(nèi)容,這就需要進行大量的解釋。

  另外大數(shù)據(jù)的量非常大,我們不能等它存在計算機數(shù)據(jù)庫里再調(diào)出來分析,我們需要在一邊輸入,一邊分析。過去分析是把數(shù)據(jù)帶進程序,現(xiàn)在我們是把程序帶進數(shù)據(jù),就是實時進行工作。

  剛才說到分析結(jié)果要進行可視化,只有可視化才能更直觀,更能夠被決策者所看得見,也能夠在發(fā)布的時候,讓老百姓所能理解。舉個例子,上海延安路上我們布了很多很多攝像頭,每個攝像頭后面都連著一個電視屏幕,往往在交通監(jiān)控中心,一面墻上放了很多很多電視屏幕,再多也不可能把整個上海交通電視屏放上去,只能每十秒鐘更換一次,可能每一個點要半小時/一小時看到一次。

  現(xiàn)在我要把整個錄像合成一個視頻,我就可以看到延安路上交通狀況如何。我還可以合成全上海的視頻情況,在某一個經(jīng)緯度上對應(yīng)某一條路上,在某一個時段上演,哪個時候車最多?哪個時候行車速度最慢?因此可視化能夠讓我們直觀看到上海市同一個時間交通流量圖。

  這是籃球場的半場,NBA統(tǒng)計2011-2012年投籃位置和投籃命中率的關(guān)系,這里面點值越大,表示在那個點上發(fā)生投籃概率最大。顏色發(fā)紅的表示投籃的成功率最高,你可以看到在半圓以外投籃率都很高,在籃板下投籃也比較高,其他地方并不是很高,這就是很簡單的可視化的例子。

  其實在城市里頭有多種多樣的物聯(lián)網(wǎng),我們不太可能把電力、交通、工業(yè)、海水的合為一個物聯(lián)網(wǎng)。一個城市有這么多物聯(lián)網(wǎng)組成,關(guān)鍵是這些信息能不能共享?所以這是城市數(shù)據(jù)管理一個很重要的內(nèi)容。

  往往某個地方發(fā)生火災(zāi)了,可能打119,如果交通部門不去,那堵車了,救火車開不進去,如果供水部門不去,那個地方開不了水,如果120不去,可能不能急救,所以城市的服務(wù)系統(tǒng)應(yīng)該是互相關(guān)聯(lián)的

  最后,我們正在進入寬帶時代和移動互聯(lián)網(wǎng)時代,將要面對后摩爾時代、后PC時代,云計算時代和物聯(lián)網(wǎng)時代及大數(shù)據(jù)時代也將向我們走來,網(wǎng)絡(luò)技術(shù)正走向換代發(fā)展的轉(zhuǎn)折點。

  無線城市、數(shù)字城市、寬帶城市、感知城市是智慧城市的必要條件;

  智慧城市是城鎮(zhèn)化進程的下一階段,是城市信息化的新高度,是現(xiàn)代城市發(fā)展的園景。

  智慧城市每天產(chǎn)生大量的數(shù)據(jù),大數(shù)據(jù)的收集、存儲和分析處理及使用對智慧城市是很大的挑戰(zhàn),這不僅是技術(shù)也是法律和政策需要關(guān)注的問題。大數(shù)據(jù)的挖掘?qū)χ腔鄢鞘械慕?jīng)濟發(fā)展和社會管理是無形的管理。

  好,謝謝大家?。ㄎ?物聯(lián)網(wǎng)世界網(wǎng))