信息管理專業(yè)建立大數(shù)據(jù)實驗平臺的思考論文
隨著大數(shù)據(jù)、商務智能技術(shù)的快速發(fā)展與廣泛應用，作為綜合型應用型人才的信息管理專業(yè)的本科生必須在掌握理論知識的前提下了解和熟悉大數(shù)據(jù)存儲、處理、分析與可視化的實踐操作，這就對建立大數(shù)據(jù)實驗平臺提出了要求。本文探討大數(shù)據(jù)實驗平臺建立的必要性與可行性，并通過大數(shù)據(jù)系統(tǒng)的調(diào)研情況，給出大數(shù)據(jù)實驗平臺建立的初步構(gòu)想。
一、引言
隨著大數(shù)據(jù)應用范圍的擴大，相應的人才需求也存在很大缺口，此時在信息管理學院建立大數(shù)據(jù)開發(fā)實驗室，包括云存儲平臺建設、基于云存儲平臺的教育資源建設、大數(shù)據(jù)開發(fā)平臺建設、大數(shù)據(jù)分析工具與資源建設，能應用云存儲技術(shù)實現(xiàn)教育資源的有效應用;能促進學生了解大數(shù)據(jù)開發(fā)的Hadoops環(huán)境，以及該環(huán)境下的平臺建設;并能在該平臺下進行大數(shù)據(jù)分析實踐。本校信息管理學院包括信息管理與信息系統(tǒng)、電子商務、信息安全等專業(yè)，在此實驗平臺上，根據(jù)不同的教學目標開發(fā)針對不同專業(yè)的學生的開放性實驗課程尤為重要。
二、必要性與可行性
當前“大數(shù)據(jù)技術(shù)”充滿了新的機遇和挑戰(zhàn)，其在企業(yè)IT基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析和服務這些關(guān)鍵規(guī)劃領(lǐng)域的應用，將會對社會經(jīng)濟發(fā)展帶來長遠深刻的影響。大數(shù)據(jù)指的是從各種各樣的數(shù)據(jù)中快速獲得有價值信息的能力，具有數(shù)據(jù)量大、種類繁多、價值稀疏、處理速度快的特征，這些特征對目前社會各個行業(yè)的信息架構(gòu)、系統(tǒng)的沖擊非常大。大數(shù)據(jù)技術(shù)對整個社會經(jīng)濟發(fā)展來說既是機遇也是挑戰(zhàn)。
(一)必要性
根據(jù)IDC在2011年6月發(fā)布的《數(shù)字宇宙》(Digital Universe)研究報告，2011年全球新建和復制的信息量超過1.9 ZB(1.8萬億GB)，五年時間增加了近九倍。隨著數(shù)據(jù)量的指數(shù)級增長、數(shù)據(jù)源種類(包括結(jié)構(gòu)化數(shù)據(jù)源和非結(jié)構(gòu)化數(shù)據(jù)源，如社交媒體、富媒體文件以及地理空間信息)的飛速增加，以及數(shù)據(jù)產(chǎn)生速度的加快(如實時傳感器數(shù)據(jù))，傳統(tǒng)的數(shù)據(jù)庫和架構(gòu)無法處理、管理和分析如此龐大的數(shù)據(jù)集。政府、金融、電信、互聯(lián)網(wǎng)等大數(shù)據(jù)應用的行業(yè)先鋒目前均面臨大數(shù)據(jù)的問題。不僅如此，隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能手機、平板電腦的飛速發(fā)展，大數(shù)據(jù)技術(shù)擁有了更為廣泛的數(shù)據(jù)資源。因此，IT產(chǎn)業(yè)界及行業(yè)用戶都亟需針對大數(shù)據(jù)設計和優(yōu)化大數(shù)據(jù)存儲、管理和查詢平臺，來替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫平臺。在技術(shù)發(fā)展的前沿階段進行實驗平臺建設對我學院師生具有重要意義。
該實驗平臺能夠為學生提供一個了解最前沿技術(shù)的機會，不僅能夠提高學生學習興趣、自學能力，還為學生就業(yè)、更好地規(guī)劃未來的職業(yè)發(fā)展提供了機會。大數(shù)據(jù)技術(shù)的機遇與挑戰(zhàn)帶來了很大的人才缺口，目前大數(shù)據(jù)技術(shù)平臺開發(fā)、方案實施人才緊缺;由于云存儲、大數(shù)據(jù)技術(shù)帶來的信息安全問題，也亟需大量信息安全領(lǐng)域的人才;由于大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)、電子商務、移動互聯(lián)方面的應用，對了解大數(shù)據(jù)技術(shù)的電子商務專業(yè)人才也更青睞。通過本實驗平臺的培養(yǎng)，感興趣的優(yōu)秀學生還可以嘗試考取與大數(shù)據(jù)技術(shù)密切相關(guān)的Hadoop專業(yè)認證——Cloudera Certified Developer/Administrator for Apache Hadoop，為學校、學院在該領(lǐng)域帶來正面影響，增加更多合作和就業(yè)的機會。
該實驗平臺能夠為信息系統(tǒng)專業(yè)試點班培養(yǎng)計劃的很多核心課程(包括管理統(tǒng)計學中的業(yè)務報表與分析、商務智能方法與應用、商務智能實踐、數(shù)據(jù)挖掘和BA綜合實訓等)形成較好的前后銜接關(guān)系，能夠豐富實踐教學環(huán)節(jié)，深化教學大綱的內(nèi)容，從建設更合理的'課程建設體系來說具有很大的必要性。
近幾年學生就業(yè)壓力越來越大，迫切需要對教學內(nèi)容和實踐環(huán)節(jié)不斷突破創(chuàng)新，才能具備持續(xù)發(fā)展能力。因此在原有課程體系和實踐教學環(huán)境的基礎(chǔ)上增設本實驗平臺非常必要。
(二)可行性
教學計劃中的相關(guān)程序設計課程為學生學習云存儲技術(shù)、熟悉大數(shù)據(jù)開發(fā)平臺、了解最新大數(shù)據(jù)技術(shù)的發(fā)展、進行大數(shù)據(jù)平臺基礎(chǔ)上的開發(fā)、實現(xiàn)對大數(shù)據(jù)的分析、可視化演示打好了基礎(chǔ)。
英特爾Apache Hadoop平臺是目前大多數(shù)大數(shù)據(jù)處理的技術(shù)基礎(chǔ)，目前該技術(shù)已經(jīng)發(fā)展成熟，并隨之產(chǎn)生很多基于該平臺的大數(shù)據(jù)處理工具，可供實驗室建設實驗平臺使用。
三、建立大數(shù)據(jù)實驗平臺的基本構(gòu)想
(一)實驗平臺人員
實驗平臺人員負責實驗平臺的建設、維護，實驗設計與指導人員由在大數(shù)據(jù)相關(guān)領(lǐng)域、課程建設以及實踐教學方面都有著豐富的經(jīng)驗的教師與實驗室工作人員構(gòu)成，同時與大數(shù)據(jù)企業(yè)進行合作，獲得其核心技術(shù)人員的支持、培訓和大力配合，可以共同組成一個經(jīng)驗豐富、精煉實干的建設團隊。
(二)軟件調(diào)研
大數(shù)據(jù)的特點為4個“V”：第一，“Volume”，指的數(shù)據(jù)量大，包括大的數(shù)據(jù)塊，或數(shù)據(jù)總量巨大，從TB躍升到PB;第二，“Variety”，指的是數(shù)據(jù)種類繁多，包含大量非結(jié)構(gòu)化數(shù)據(jù)，例如網(wǎng)絡日志、音頻、視頻、地理信息等;第三，“Value”，價值稀疏性，大量數(shù)據(jù)中有價值數(shù)據(jù)很少;第四，“Velocity”，指的是處理速度快，這與傳統(tǒng)數(shù)據(jù)挖掘有很大區(qū)別。選擇有數(shù)據(jù)分析基礎(chǔ)、在業(yè)內(nèi)發(fā)展領(lǐng)先的企業(yè)進行調(diào)研并選擇適合高校規(guī)模的合作企業(yè)是建立實驗平臺的重要工作。
很多公司給出了可供使用的大數(shù)據(jù)平臺：IBM?誖 InfoSphere?誖BigInsightsTMBasic Edition是一款基于開放源碼Apache Hadoop的分析平臺，用于分析大量本機格式的非常規(guī)數(shù)據(jù)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化內(nèi)容，以實現(xiàn)最大程度的靈活性;IBM?誖InfoSphere?誖 Streams是一個高級計算平臺，幫助用戶開發(fā)的應用程序快速攝取、分析和關(guān)聯(lián)來自數(shù)千個實時源的信息;惠普公司Vertica分析平臺6.1，能夠通過Hadoop分布式文件系統(tǒng)連接器來優(yōu)化大數(shù)據(jù);ClearStory Data大數(shù)據(jù)分析新創(chuàng)公司，通過Clearstory，公司客戶可以將自身的數(shù)據(jù)與行業(yè)的公共數(shù)據(jù)融合，尋找統(tǒng)計上的新視角，目標是取代目前市場上的主流數(shù)據(jù)可視化工具，包括QlikView和Tableau等老牌工具;Informatica 9.1提供首款Hadoop編譯器Hparse，這是一種針對Hadoop而優(yōu)化的數(shù)據(jù)轉(zhuǎn)換環(huán)境，該軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復雜而多樣的數(shù)據(jù)源;Datameer：Hadoop海量數(shù)據(jù)分析平臺允許用戶在缺乏技術(shù)知識的情況下能夠分析大量數(shù)據(jù);Infochimps平臺以其完備的基礎(chǔ)設施和專業(yè)知識，為客戶提供端到端的大數(shù)據(jù)解決方案，Infochimps是一家位于美國德克薩斯州奧斯丁的創(chuàng)業(yè)公司，2012年2月從數(shù)據(jù)市場轉(zhuǎn)型為大數(shù)據(jù)平臺提供商后獲得谷歌投資;甲骨文大數(shù)據(jù)機——Oracle Big Data Appliance集成系統(tǒng)融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R;微軟SQL Server新增PDW功能，可以幫助客戶擴展部屬數(shù)百TB級別數(shù)據(jù)的分析解決方案;亞馬遜將MapReduce作為一項服務，其彈性MapReduce編程是一項能夠迅速擴展的Web服務，運行在aws的亞馬遜彈性計算云和亞馬遜簡單存儲服務上;Teradata是企業(yè)級數(shù)據(jù)倉庫(EDW)的領(lǐng)導者，在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很大成果，因此收購了Aster Data——一家提供SQL-MapReduce框架的公司。Aster Data是高級分析和管理各種非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的市場領(lǐng)導者和開拓者，為Teradata帶來了大數(shù)據(jù)分析市場商機。
(三)方案實施
實驗平臺的設計同時立足于大數(shù)據(jù)技術(shù)的發(fā)展的前沿性與本學院學生專業(yè)特點，與學生前序的理論、實踐課程均有良好的銜接，符合人才培養(yǎng)計劃，深化了教學大綱的內(nèi)容，并針對不同專業(yè)學生設計實踐學時、內(nèi)容和難度。
本實驗平臺可以同大數(shù)據(jù)行業(yè)中的公司科研部門共同合作建設，雙方確定在人才培養(yǎng)、師資培訓、共建實驗室和實訓基地、推動大學生校外實習和社會實踐活動的開展等方面開展全面、廣泛、長期、深入的合作。該實驗室建設將豐富實踐教學體系，也可推動學院科研項目立項、新課題研究、專項基金申請和聯(lián)合開展商用項目開發(fā)等;該實驗室使師生能接觸高新大數(shù)據(jù)開發(fā)平臺，了解最新大數(shù)據(jù)技術(shù)的發(fā)展，進行大數(shù)據(jù)平臺的開發(fā)，實現(xiàn)對大數(shù)據(jù)的分析、可視化演示，增強學生的動手能力并提升就業(yè)質(zhì)量;與此同時，提升了教師的項目管理能力和教學能力。
四、結(jié)論
實踐教學平臺建設是一項可以推動課程建設和專業(yè)建設的可行工作，在轉(zhuǎn)變觀念、定位于應用型人才培養(yǎng)的今天，實踐教學平臺的建設更是一項必須的工作，而一個高水平的實驗平臺可以為教師們的教學和科研活動提供良好的物質(zhì)保證，經(jīng)過大數(shù)據(jù)平臺建設可以使課程建設工作再上一個臺階，同時也會使教師們的研究水平更上一個臺階。
【信息管理專業(yè)建立大數(shù)據(jù)實驗平臺的思考論文】相關(guān)文章：
創(chuàng)新教育下高職院校建立實驗室信息管理平臺的分論文07-02
社會保障信息管理平臺建設思考論文07-04
面向教育技術(shù)專業(yè)學生建立開放性實驗室的思考論文07-03
大數(shù)據(jù)與信息管理論文04-06
科技特派信息管理及服務平臺應用論文11-04
初探實驗教學平臺的研究論文04-17