時間：2023-06-08 09:14:24
緒論：在尋找寫作靈感嗎？愛發(fā)表網(wǎng)為您精選了8篇大數(shù)據(jù)開發(fā)的過程，愿這些內(nèi)容能夠啟迪您的思維，激發(fā)您的創(chuàng)作熱情，歡迎您的閱讀與分享！
關(guān)鍵詞：大數(shù)據(jù)技術(shù)；大數(shù)據(jù)管理模塊組成技術(shù)；技術(shù)分析；分支技術(shù)探析
自從我國各領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)產(chǎn)生應(yīng)用需求之后，已有多個企業(yè)并計算機技術(shù)開發(fā)應(yīng)用領(lǐng)域人員開始對多個情境下的大數(shù)據(jù)技術(shù)的需求、應(yīng)用以及發(fā)展做出了應(yīng)有的貢獻。在大數(shù)據(jù)技術(shù)日趨成熟之際，人們對大數(shù)據(jù)的認知成熟度需要得到普遍提升，而計算機技術(shù)領(lǐng)域的專業(yè)人員也需要站在專業(yè)角度，對大數(shù)據(jù)技術(shù)的構(gòu)成進行深入了解。這不僅對大數(shù)據(jù)技術(shù)的普及應(yīng)用和持續(xù)發(fā)展有益，更對各領(lǐng)域的個人發(fā)展、順應(yīng)時代潮流以及個人的專業(yè)素養(yǎng)提升有極大幫助意義。本文中筆者結(jié)合自身對于大數(shù)據(jù)相關(guān)技術(shù)的正確認知，對大數(shù)據(jù)技術(shù)發(fā)展認識基礎(chǔ)上的分支技術(shù)體系展開深入討論。
1基于分布式大數(shù)據(jù)管理模塊構(gòu)成的技術(shù)探究
我們在深入挖掘大數(shù)據(jù)技術(shù)對其進行了解之前，首先要了解它主要需要解決什么問題，以及能夠解決什么問題。一方面，在大數(shù)據(jù)技術(shù)出現(xiàn)之前，IT行業(yè)各類技術(shù)發(fā)展速度不是很快，系統(tǒng)化應(yīng)用過程中的各類軟件框架體系也足夠完善，普通的單個服務(wù)器為基礎(chǔ)平臺的數(shù)據(jù)庫之計算能力，也足夠支撐各類系統(tǒng)計算業(yè)務(wù)。但隨著各行業(yè)數(shù)據(jù)越來越多，單機計算能力上限已經(jīng)被多個行業(yè)的計算軟件“觸頂”。在這種情況下，大數(shù)據(jù)管理模塊技術(shù)開始被人們所關(guān)注，下面分析支持它進行計算的細分技術(shù)。首先，在大量數(shù)據(jù)儲存方面，HDFS的分布式儲存可以解決數(shù)據(jù)儲存的困難。它可以讓多個主機對同一任務(wù)進行同時計算。那么，它的實現(xiàn)需要周邊便衍生了許多與管理和緩存有關(guān)的技術(shù)。包括：“yarn”技術(shù)可以在程序開發(fā)中幫助人解決資源難資源調(diào)節(jié)難題；“flume”可以幫助解決傳輸數(shù)據(jù)的問題；“sqoop”可以轉(zhuǎn)換分布式儲存數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫之間的數(shù)據(jù)；“oozie”可以幫助業(yè)務(wù)程序資源調(diào)節(jié)計算任務(wù)；“kafka”則提供了訂閱機制的消息隊列；“zookeeper”可以有效地幫助用戶快速完成對主備服務(wù)的選擇；“hive”在HDFS的基礎(chǔ)上提供了數(shù)倉的功能?！癶base”基“hdf”來實現(xiàn)一個列式數(shù)據(jù)庫。然后從數(shù)據(jù)處理過程來看，對于數(shù)據(jù)庫計算技術(shù)方面的大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用，是在普通數(shù)據(jù)庫技術(shù)存在和被應(yīng)用基礎(chǔ)上對計算業(yè)務(wù)進行邏輯處理的過程。對于單一的業(yè)務(wù)處理，可以通過編寫健壯的代碼進行定時的任務(wù)進行相應(yīng)數(shù)據(jù)的結(jié)算。若業(yè)務(wù)冗雜，需要定時獲取多種數(shù)據(jù)采集分析，則通過代碼實現(xiàn)各個JOB維護成本太高。在“Hadoop2.0”完美解決該問題，采用HQL自動生成數(shù)據(jù)的mapreduce任務(wù)基礎(chǔ)上，多個領(lǐng)域的項目實踐過程中，就會出現(xiàn)多個reduce任務(wù)就會被批量刪除掉的情況。因此，Hadoop技術(shù)正在走在被淘汰的路上。那么，Hadoop現(xiàn)在是一個可以用硬件集群上進行大規(guī)模數(shù)據(jù)處理的優(yōu)秀工具，但是若開發(fā)人員需要處理動態(tài)數(shù)據(jù)集、點對點分析多進程數(shù)據(jù)，那么Google已經(jīng)為我們展示了大大優(yōu)于MapReduce范型的技術(shù)選擇。因此毫無疑問，Percolator、Dremel和Pregel將成為大數(shù)據(jù)技術(shù)未來發(fā)展的主流技術(shù)。
2支撐大數(shù)據(jù)管理模塊組成的各類技術(shù)詳析
為了能夠更好地架構(gòu)大數(shù)據(jù)項目，技術(shù)人員、項目經(jīng)理、架構(gòu)師等大數(shù)據(jù)管理模塊開發(fā)流程中不同角色人員為了選擇合適的技術(shù)，必須了解大數(shù)據(jù)各種技術(shù)之間的關(guān)系，以便選擇合適的語言，實現(xiàn)相應(yīng)的功能。那么，筆者在下面對幾點中提到的大數(shù)據(jù)分支技術(shù)進行詳細分析。
2.1HDFS技術(shù)
與普通編程語言應(yīng)用編寫系統(tǒng)相比，HDFS主要改革在數(shù)據(jù)儲存形式方面，HDFS即Hadoop是以流式的數(shù)據(jù)查找和提取模式對文件型數(shù)據(jù)進行規(guī)?；瘍Υ妫掖髷?shù)據(jù)管理模塊應(yīng)用中的數(shù)據(jù)通常是占用內(nèi)存過大的單元數(shù)據(jù)，HDFS運行于多個主機集群中，屬于是管理網(wǎng)絡(luò)中跨多臺及其進行數(shù)據(jù)儲存的文件系統(tǒng)支撐基礎(chǔ)。我們從HDFS技術(shù)應(yīng)用的過程來分析使用數(shù)據(jù)塊的益處：在程序運行過程中，HDFS上的文件會被劃成64MB大的多個分塊，每一個數(shù)據(jù)塊都可以存儲不同的數(shù)據(jù)。文件型數(shù)據(jù)塊不需要儲存在同一個磁盤上，因此它們可以利用集群上的任意一個磁盤實現(xiàn)存儲。所以這從根本上大幅提升了大量數(shù)據(jù)管理的效率。而HDFS技術(shù)也可以提高系統(tǒng)中對數(shù)據(jù)儲存的容錯力。在業(yè)務(wù)處理方面HDFS的優(yōu)點更為明顯：HDFS的應(yīng)用可以做到簡化儲存子系統(tǒng)的設(shè)計，將每個服務(wù)器的儲存子系統(tǒng)控制單元設(shè)置為“塊”，因此可實現(xiàn)簡化儲存管理，用一個單獨的系統(tǒng)就可以管理這些塊的元數(shù)據(jù)，這就大幅減輕了服務(wù)器的數(shù)據(jù)管理壓力。
2.2yarn技術(shù)
Hadoop集群管理員希望能根據(jù)不同的業(yè)務(wù)組或不同的用戶對集群yarn作業(yè)的資源進行控制，也就是對yarn的資源池進行劃分，達到資源管控、任務(wù)管控的效果。yarn技術(shù)管理分配資源細節(jié)如下：yarn默許提供了多種資源分配的策略，用于分配的資源可以是節(jié)點的數(shù)量、內(nèi)存的大小、CPU核數(shù)，它主要將MP1中JobTracker的資源管理和作業(yè)資源調(diào)節(jié)兩個功能分散，分別由ResourceManager和ApplicationMaster進程來實現(xiàn)管理，以負責整個集群的資源管理和資源調(diào)度，并負責處理應(yīng)用程序提出的事件，比如調(diào)節(jié)任務(wù)及數(shù)據(jù)資源、監(jiān)視運行任務(wù)情況和出錯信息等，具體作用體現(xiàn)在“模塊提交作業(yè)”“初始化作業(yè)”“分配任務(wù)和運行”“更新模塊運行相關(guān)數(shù)據(jù)”等方面。而Flume可以通過運行可靠的服務(wù)模塊，用于有效地收集和移動日志數(shù)據(jù)，使用簡單的可擴展數(shù)據(jù)模型，被允許收集日志數(shù)據(jù)，導進到HDFS中并實現(xiàn)在線分析應(yīng)用程序。因此，HDFS是Hadoop應(yīng)用程序中主要的分布式儲存系統(tǒng)。
2.3sqoop技術(shù)
sqoop解決了分布式寄存數(shù)據(jù)與普通數(shù)據(jù)之間的轉(zhuǎn)換。它屬于可以將Hadoop和關(guān)系型數(shù)據(jù)庫之間實現(xiàn)數(shù)據(jù)導進導出的工具型技術(shù)。它可以通過sqoop把數(shù)據(jù)從普通數(shù)據(jù)庫，包括Mysql數(shù)據(jù)庫和Oracle數(shù)據(jù)庫中導進到HDFS中，反之亦可。sqoop通過Hadoop的MapReduce導進導出數(shù)據(jù)庫中的數(shù)據(jù)，因此它提供了很高的并行優(yōu)勢以及良好的容錯性。通過sqoop技術(shù)的應(yīng)用，開發(fā)大數(shù)據(jù)管理模塊的人員可以將數(shù)據(jù)從普通數(shù)據(jù)庫中導出，并導進到HDFS中。導進到HDFS的數(shù)據(jù)形式為數(shù)據(jù)庫表、查詢結(jié)果，以及從HDFS中導出的文件形式則是數(shù)據(jù)庫表或者集合類型的文件。在HDFS導進數(shù)據(jù)的多個進程可以并發(fā)運行，這時的輸出的可以是多個文件輸出結(jié)果。這些文件可能是標準的文本文件，也可以是Avro或者SequeenceFiles的記錄文件。總結(jié)來說，sqoop是可以在大數(shù)據(jù)系統(tǒng)運行模塊中將db數(shù)據(jù)與hadoop之間交換數(shù)據(jù)，而將其應(yīng)用于系統(tǒng)開發(fā)過程中，則需要開發(fā)人員參照較為冗雜的使用文檔。在優(yōu)點顯著的同時，sqoop也有些許缺點。因為hbase技術(shù)顯然采用的是基于HDFS為核心的列式數(shù)據(jù)庫存儲數(shù)據(jù)的形式，是多種分布式、可以擴展的大數(shù)據(jù)儲存方式，它能夠為各種大數(shù)據(jù)集上隨機和及時的閱讀、寫數(shù)據(jù)進行訪問功能，并且能夠?qū)崿F(xiàn)分布式的列型數(shù)據(jù)儲存，能快速地索引查詢數(shù)據(jù)。較其他普通的數(shù)據(jù)庫處理技術(shù)而言，hbase對于寫入的時間更為隨意，因此hbase總會有很多超時的現(xiàn)象，這成為了許多開發(fā)者在程序開發(fā)后的運行測試中的詬病。因此，此項技術(shù)目前仍然正在進行持續(xù)的優(yōu)化。最后是接收數(shù)據(jù)的“Hive”技術(shù)應(yīng)用模塊，acheHive提供完整的HiveQL查詢功能之外，還是一個數(shù)據(jù)倉庫系統(tǒng)。而zookeeper可以實現(xiàn)類似“主從后臺事件列序”“分配事件”“協(xié)調(diào)負載”等多種功能。
2.4Oozie的應(yīng)用特點和優(yōu)點
Oozie是用于Hadoop平臺開源的技術(shù)，用工作流資源調(diào)節(jié)引擎，用來管理Hadoop作業(yè)，它是屬于Web應(yīng)用程序。因為Oozie的工作流必須在一個有固定流程的無環(huán)結(jié)構(gòu)中，所以，使用Oozie時，若前一個任務(wù)執(zhí)行失敗，后一個任務(wù)將不會被資源調(diào)節(jié)。優(yōu)點是當用戶需要執(zhí)行多個關(guān)聯(lián)的MR任務(wù)時，只需要將MR執(zhí)行順序?qū)懭雡orkflow.xml文件，然后使用Oozie提交本次任務(wù)，Oozie會托管此任務(wù)流。而Oozie對工作流的指定，與JbossjBPM提供的jPDL一樣，提供了類似的流程定義語言hP?DL，它可以利用XML文件格式來定義流程。對于工作流系統(tǒng)，一般會有很多不同功能的節(jié)點，比如分支，并發(fā)等等。Oozie的控制流節(jié)點和動作節(jié)點可以讓開發(fā)者定義流程的開始與結(jié)束，并能夠以及控制流程和定位具體數(shù)據(jù)地址。
2.5Kafka的特點和應(yīng)用優(yōu)點
Kafka可以用于即時構(gòu)建數(shù)據(jù)流傳輸程序以及流式數(shù)據(jù)處理、應(yīng)用程序。它具有水平可擴展性、容錯性、速度極快的特點。此外，它的運行過程具備三個特點：“消息”“持久化”“流處理”。客戶端服務(wù)器通過使用TCP協(xié)議進行模塊間的數(shù)據(jù)交互，具體的數(shù)據(jù)流的寫入過程則有支持多種語言的特征，此外，它還支持主題和日志功能，一個主題可以有零個、一個或多個用戶寫入數(shù)據(jù)。對于每個主題，Kafka可以維護一個模塊日志，每一個分區(qū)都成為一個有序且不可變的記錄序列，不斷添加到結(jié)構(gòu)化的提交日志中，這使得Kafka技術(shù)應(yīng)用有“用戶在應(yīng)用程序過程別容易使用”的特點。
3大數(shù)據(jù)管理模塊技術(shù)成熟之上的應(yīng)用領(lǐng)域
嚴格意義上講，大數(shù)據(jù)技術(shù)是數(shù)據(jù)分析的前沿技術(shù)，那么，從大量、各類的數(shù)據(jù)中，及時獲取有價值的信息的技術(shù)應(yīng)用，就是大數(shù)據(jù)技術(shù)得到發(fā)展的緣由和最終意義，對于大數(shù)據(jù)技術(shù)在實際生產(chǎn)和生活中的應(yīng)用領(lǐng)域大致分為以下幾個方面：第一，移動互聯(lián)網(wǎng)出現(xiàn)后，為了提升移動設(shè)備用戶的用體驗，在移動設(shè)備的用戶點擊行為數(shù)據(jù)記錄過程中，應(yīng)用到了大數(shù)據(jù)技術(shù)。第二，在數(shù)據(jù)記錄、保存方面，大數(shù)據(jù)技術(shù)在音樂文件保存、視頻資料保存、監(jiān)控錄像數(shù)據(jù)保存方面對大數(shù)據(jù)技術(shù)進行了應(yīng)用。第三，在交通方面，如百度、高德、Google等電子地圖為了人們出現(xiàn)更加便利，在應(yīng)用大數(shù)據(jù)技術(shù)過程中同樣利用大數(shù)據(jù)技術(shù)挖掘并提取、計算了大量有價值的信息。第四，隨著移動設(shè)備的加入，人們的社交行為產(chǎn)生了大量的數(shù)據(jù)，這為人們生活環(huán)境安全性的鞏固促進了大數(shù)據(jù)技術(shù)發(fā)展。第五，人們使用搜索引擎搜索數(shù)據(jù)期間，搜索引擎為向用戶提供更多有價值的信息，應(yīng)用了大數(shù)據(jù)技術(shù)。
4結(jié)束語
綜上所述，對于大數(shù)據(jù)技術(shù)的成熟的認識，要從大數(shù)據(jù)技術(shù)應(yīng)用過程以及解決問題過程中應(yīng)用的不同技術(shù)展開分析，這不僅能讓我們在當下社會跟上IT行業(yè)發(fā)展的步伐，更能減輕我們學習、實踐、應(yīng)用大數(shù)據(jù)技術(shù)過程中的恐懼心理和畏難情緒，助力我們的專業(yè)能力步步高升。
參考文獻：
[1]彭宇,龐景月,劉大同,等.大數(shù)據(jù):內(nèi)涵、技術(shù)體系與展望[J].電子測量與儀器學報,2015,29(4):469-482.
關(guān)鍵詞：大數(shù)據(jù)：軟件工程技術(shù)：數(shù)據(jù)分析
1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)
大數(shù)據(jù)技術(shù)事實上是將人類日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來之后分類處理，設(shè)定不同類別的存儲空間，按照類別存儲。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個類別，諸如分析技術(shù)、機器學習技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當前的科學技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對數(shù)據(jù)信息進行分類整理，應(yīng)用相應(yīng)的計算機算法，將相似特性的數(shù)據(jù)劃分為一類，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對該技術(shù)的發(fā)展起到了促進作用[1]。大數(shù)據(jù)時代，社會各個領(lǐng)域都已經(jīng)實現(xiàn)了信息化發(fā)展，人們對軟件工程的概念越來越熟悉。事實上，軟件工程的歷史始于20世紀的中期，其研究重點是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運行，其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計、軟件的技術(shù)維護等方面。因此，在軟件設(shè)計的過程中，要控制好技術(shù)開發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長，不同項目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。
2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)
處于大數(shù)據(jù)時代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點，還具有很強的實用性價值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對于傳統(tǒng)的技術(shù)要不斷摒棄，對軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的，對各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進行處理，對工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問題是需要高度重視的，否則，就會對軟件工程技術(shù)造成不良影響，引起嚴重的后果。
2．1軟件服務(wù)工程
在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開發(fā)的基本原則，按照服務(wù)項目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對軟件工程的進行技術(shù)維護。在具體的服務(wù)工作中，需要軟件開發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對網(wǎng)絡(luò)數(shù)據(jù)進行編程，使得軟件具有互操作性，對于數(shù)據(jù)主動協(xié)調(diào)，使其符合動態(tài)場景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。
2．2軟件開源
軟件開源更為注重用戶對軟件技術(shù)的體驗。在對軟件開源進行研究的過程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價值不是很高。一些研究人員在研究軟件工程技術(shù)的時候，就是將軟件開源作為突破口，將開發(fā)項目劃分為多個模塊，將每個模塊分給指定的研究人員進行開發(fā)。
2．3群體軟件工程
群體軟件工程是通過網(wǎng)絡(luò)的方式進行軟件開發(fā)，具體的實施中采用工程眾包的形式，使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個分布式軟件開發(fā)模型，這個工程項目的運行中，可以通過網(wǎng)絡(luò)實現(xiàn)，對各項任務(wù)進行分配，也可以進行創(chuàng)造性的查詢，通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時，在軟件工程開發(fā)過程中，軟件工程可以在任何階段通過眾包進行開發(fā)[4]。
3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向
3．1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展
大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級和創(chuàng)新，尋求開發(fā)的研究途徑是非常必要的。計算機網(wǎng)絡(luò)的發(fā)展意味著計算機可以在開放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會有所提升。通過網(wǎng)絡(luò)運行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。
3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域
軟件工程技術(shù)在當今許多科學領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運行，可以使用數(shù)據(jù)平臺對信息進行收集并分析。比如，用戶在進行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過對數(shù)據(jù)模型的分析，預測股票的變化趨勢。
4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)
在軟件開發(fā)過程中，必須有足夠的硬件和軟件基礎(chǔ)來支持數(shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對硬件和軟件就有了新的要求。專家學者在分析數(shù)據(jù)流的時候，還對在線服務(wù)進行了研究。數(shù)據(jù)流是重點內(nèi)容，主要是對數(shù)據(jù)流的使用方法進行研究，對支撐數(shù)據(jù)流的軟件和硬件進行研究[6]。從軟件工程開發(fā)的角度而言，軟件運行中都會產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對原始數(shù)據(jù)進行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對數(shù)據(jù)流的分析要高度重視[7]。
5密集型數(shù)據(jù)科研第四范式
第四種科學研究范式是指根據(jù)實際情況建立獨立的科學研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時間內(nèi)同時實現(xiàn)數(shù)據(jù)信息的存儲、數(shù)據(jù)信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中，首先需要對集成大數(shù)據(jù)的軟件服務(wù)價值進行估計，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計方法，建立新的大數(shù)據(jù)信息統(tǒng)計方法和分析方法[8]。此外，有必要從多個方面研究大數(shù)據(jù)的處理，對大數(shù)據(jù)信息進行管理并深入分析，討論大數(shù)據(jù)的價值以及存在的可變性，這對軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時候，必須更新傳統(tǒng)的軟件開發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。
6結(jié)語
在當今大數(shù)據(jù)時代，軟件工程技術(shù)的研究已經(jīng)區(qū)域復雜。隨著數(shù)據(jù)的指數(shù)的不斷增長，軟件技術(shù)對硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此，在對軟件工程技術(shù)的研究中，就需要對大數(shù)據(jù)技術(shù)的特點進行研究，基于此研究軟件工程技術(shù)，使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開發(fā)軟件技術(shù)的過程中，要從應(yīng)用領(lǐng)域的需求出發(fā)對大數(shù)據(jù)技術(shù)進行分析，在大數(shù)據(jù)開發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開發(fā)理論，促進軟件技術(shù)更好地發(fā)展。
關(guān)鍵詞：能力本位；大數(shù)據(jù)專業(yè)；課程體系
高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強、綜合素養(yǎng)高的技能型人才[1-4]，以能力為本位的大數(shù)據(jù)專業(yè)課程教學始終貫穿于高職大數(shù)據(jù)專業(yè)教育的全過程，這也是促進新常態(tài)下高職大數(shù)據(jù)專業(yè)教育教學發(fā)展的主要因素。但是，就目前的發(fā)展態(tài)勢來看，高職培養(yǎng)的大數(shù)據(jù)專業(yè)人才的數(shù)量和質(zhì)量遠遠未能達到市場和企業(yè)的需求，究其原因，主要是因為高職大數(shù)據(jù)專業(yè)課程尚未形成體系，未能在有限的教學課時內(nèi)有機整合交叉重復的課程內(nèi)容，從而未能突出體現(xiàn)學生綜合能力的培養(yǎng)[5-9]。因此，構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系勢在必行。
1高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的必要性
國務(wù)院于2015年8月印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》指出，“建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系……重點培養(yǎng)職業(yè)工程師等大數(shù)據(jù)專業(yè)人才”。為了在一定程度上滿足市場和企業(yè)對大數(shù)據(jù)技術(shù)相關(guān)人才的需求，截至2020年12月，全國共有289所高職院校開設(shè)了大數(shù)據(jù)專業(yè)。由于我國高職院校大數(shù)據(jù)專業(yè)開設(shè)的時間短、起步晚、底子薄，大數(shù)據(jù)技術(shù)專業(yè)人才總體上來說是短缺的[1-4]。此外，由于人才培養(yǎng)目標和就業(yè)定位仍然不夠明確，尚未形成系統(tǒng)性的師資團隊、高效的實踐教學平臺和標準化的課程體系，未能有效構(gòu)建和運用交叉學科的知識體系和課程內(nèi)容。因此，不完善的課程體系和課程內(nèi)容導致教師只著重計算機領(lǐng)域知識的教學，缺乏適合學生學習系統(tǒng)性的大數(shù)據(jù)課程教學計劃，忽略了大數(shù)據(jù)專業(yè)學生技能的培養(yǎng)，不能適應(yīng)大數(shù)據(jù)時代市場和企業(yè)對大數(shù)據(jù)專業(yè)高技能型人才的需求。目前我國高職院校大數(shù)據(jù)專業(yè)教學和人才培養(yǎng)仍處于摸索階段，如何從培養(yǎng)學生深度的思維能力和解決廣度問題綜合能力的角度出發(fā)，構(gòu)建基于能力本位的大數(shù)據(jù)專業(yè)課程體系是擺在高職院校面前的一個重要課題[1-9]。
2基于能力本位高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的可行性分析
2.1面向計算思維能力的高職大數(shù)據(jù)專業(yè)課程體系。計算思維能力即在管理學和教育學基本理論的基礎(chǔ)上，充分、綜合運用計算機專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進行深度上和廣度上的抽象、挖掘、歸納，從而求得最優(yōu)解的一種思維能力[5]。高職大數(shù)據(jù)專業(yè)教育的培養(yǎng)目標本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強、綜合素養(yǎng)高的技能型人才。計算思維能力完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學的內(nèi)在本質(zhì)，即將高職大數(shù)據(jù)專業(yè)課程劃分為一種包括通識教育、大類教育、基本認知等模塊課程在內(nèi)的螺旋遞推式的計算思維課程體系，通識教育課程包括數(shù)據(jù)科學數(shù)學基礎(chǔ)、人工智能導論、操作系統(tǒng)、統(tǒng)計學、管理學基礎(chǔ)、計算機組成原理、數(shù)據(jù)科學導論、大數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫原理、大數(shù)據(jù)編程算法等課程，充分、綜合運用管理學領(lǐng)域、教育學領(lǐng)域、計算機專業(yè)領(lǐng)域的基本概念、基本理論、基本方法、基本手段和基本過程對所需求解的大數(shù)據(jù)分析、處理、應(yīng)用問題進行深度上和廣度上的抽象、挖掘、歸納。因此，通過構(gòu)建面向計算思維能力的高職大數(shù)據(jù)專業(yè)課程體系并在實際的教學活動中加以實踐，促進學生熟練掌握大數(shù)據(jù)的基本概念、基本理論、基本知識、基本方法、基本手段、基本過程和基本技能[6]，從而具備初步的項目開發(fā)經(jīng)驗和能力。2.2面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系。高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強、綜合素養(yǎng)高的技能型人才，即高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是以能力為本位的?；诿嫦蛴嬎闼季S能力的高職大數(shù)據(jù)專業(yè)課程體系，面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系是指將大數(shù)據(jù)主干課程劃分為專業(yè)骨干、專業(yè)實踐等模塊課程，它們屬于應(yīng)用能力培養(yǎng)的范疇，專業(yè)骨干課程可開設(shè)的課程主要包括大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)采集、存儲與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù)，專業(yè)實踐課程可開設(shè)課程包括大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等。這是高職大數(shù)據(jù)專業(yè)基于能力本位的課程體系整體框架中的核心課程，也是后期以“專業(yè)拓展”“綜合拓展”等模塊課程為標志的工程能力培養(yǎng)課程開設(shè)的前提[5-7]。面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系側(cè)重于大數(shù)據(jù)應(yīng)用框架的部署和理解，課程內(nèi)容完美地體現(xiàn)了培養(yǎng)學生的大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等方面的核心能力。2.3面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系。工程能力是指在計算思維能力和應(yīng)用能力的基礎(chǔ)上，學生通過團隊協(xié)作解決實際工作中較為復雜綜合性的工程項目開發(fā)問題的能力。因此，面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系包含專業(yè)拓展、綜合拓展等模塊課程，它們屬于工程能力培養(yǎng)的范疇，即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學家等工程項目設(shè)計與開發(fā)人才[6]。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系通過項目小組團隊協(xié)作的形式，以工程項目與企業(yè)真實案例為驅(qū)動，促使學生搭建大數(shù)據(jù)工程項目設(shè)計與開發(fā)的框架，細化框架內(nèi)部細節(jié)，集思廣益，形成最終的工程項目解決方案，并充分運用所學的專業(yè)骨干、專業(yè)實踐等模塊課程中的大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)采集、存儲與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù)、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等課程的核心知識，實施大數(shù)據(jù)工程項目的大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用、作業(yè)調(diào)度、工程維護、代碼調(diào)錯等，從而完美地實現(xiàn)培養(yǎng)學生解決實際工程問題能力的目標[7-9]。
3基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建途徑
3.1構(gòu)建支撐計算思維能力培養(yǎng)的立體化課程資源。面向計算思維能力的課程體系是高職大數(shù)據(jù)專業(yè)發(fā)展的一個基礎(chǔ)性課程體系，這是大數(shù)據(jù)專業(yè)能力向應(yīng)用能力與工程能力縱深發(fā)展的延伸性課程，目的在管理學和教育學基本理論的基礎(chǔ)上，充分、綜合運用計算機專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進行深度上和廣度上的抽象、挖掘、歸納，使學生掌握大數(shù)據(jù)專業(yè)的通識教育、大類教育、基本認知等模塊課程，從而為學生拓展應(yīng)用能力與工程能力打下基礎(chǔ)。因此，需要構(gòu)建支撐計算思維能力培養(yǎng)的立體化課程資源，其主要形式是利用移動互聯(lián)網(wǎng)設(shè)置集課程資源、線上線下資源、實踐課程資源為一體的立體化課程體系教學資源模式[5]，并利用移動互聯(lián)網(wǎng)構(gòu)建多樣化的線上線下網(wǎng)上教學環(huán)境、學生線上線下學習平臺。課程教學資源以線上線下和任務(wù)與項目驅(qū)動的實踐課程形式為主，學生在教師的啟發(fā)和引導下自主學習，時時講解、時時操作。在此立體化課程資源支撐下，按照“計算思維形成→基本技能訓練→計算思維能力培養(yǎng)”的要求，充分運用混合式翻轉(zhuǎn)教學方式，對一些重點難點的課程內(nèi)容進行反復教學，實施數(shù)據(jù)挖掘與人工智能結(jié)合的大數(shù)據(jù)專業(yè)基礎(chǔ)知識的實際操作，對學生進行個別指導，加深學生對基本知識點的掌握和理解。3.2搭建支撐應(yīng)用能力培養(yǎng)的實訓平臺。高職大數(shù)據(jù)專業(yè)實踐性、應(yīng)用性極強，面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系要求搭建適當?shù)闹螒?yīng)用能力培養(yǎng)的實訓平臺以強化學生的應(yīng)用能力。搭建支撐應(yīng)用能力培養(yǎng)的實訓平臺，重點是學校應(yīng)根據(jù)大數(shù)據(jù)專業(yè)人才培養(yǎng)目標和計算思維能力培養(yǎng)需求，從硬件環(huán)境、軟件環(huán)境、線上線下網(wǎng)絡(luò)教學平臺等方面入手，構(gòu)建集大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等于一體的核心能力培養(yǎng)平臺[5-6]，大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)課程采用線上線下模式、理實一體化的教學方式，主要用于大數(shù)據(jù)專業(yè)的“專業(yè)骨干”“專業(yè)實踐”等模塊課程的實訓教學；軟件條件方面，利用搭建的實訓環(huán)境，以學生分組協(xié)作形式，可以選擇并行分布式處理軟件Hadoop和Spark，實施大數(shù)據(jù)預處理、模型的建立模型、參數(shù)的選擇，為學生提供大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)方面的實訓項目，使學生掌握基本方法和技巧，理解基本工作原理，從而可以較好地培養(yǎng)學生應(yīng)用能力。3.3設(shè)計支撐工程能力培養(yǎng)的綜合性工程項目。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學家等工程項目設(shè)計與開發(fā)人才，它是圍繞學生的工程項目開發(fā)能力而設(shè)置的。因此，學校應(yīng)結(jié)合大數(shù)據(jù)專業(yè)的人才培養(yǎng)總體目標、計算思維能力培養(yǎng)目標和應(yīng)用能力培養(yǎng)目標，設(shè)計支撐工程能力培養(yǎng)的綜合性工程項目[6-9]，在每個項目中設(shè)置相應(yīng)的實驗，力求做到課程與崗位能力對接，檢驗學生對實踐知識的掌握情況以及解決問題的思想、手段和方法，從而為工程項目開發(fā)打下堅實的基礎(chǔ)。在綜合性工程項目類型方面，把支撐工程能力培養(yǎng)的綜合性工程項目分為設(shè)計性實驗和綜合性實驗，合理規(guī)劃工程能力培養(yǎng)計劃、培養(yǎng)標準以便較好地適應(yīng)工程能力培養(yǎng)的新形勢，讓學生在“練中學、學中練”，考察學生的實際工程項目開發(fā)能力，力求工程項目開發(fā)能力與企業(yè)標準對接。3.4創(chuàng)新基于學生能力本位的教學模式和教學方法。面向計算思維能力、應(yīng)用能力、工程能力培養(yǎng)的高職大數(shù)據(jù)專業(yè)課程體系是一種螺旋遞推式的課程體系，它完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學的內(nèi)在本質(zhì)?；趯W生能力本位的教學模式和教學方法是實現(xiàn)高職大數(shù)據(jù)專業(yè)課程教育教學內(nèi)在本質(zhì)的重要條件。因此，高職院校要從大數(shù)據(jù)專業(yè)人才培養(yǎng)和學生實際需求出發(fā)，制作精美的教學視頻，充分利用微課、翻轉(zhuǎn)課堂、多媒體、遠程協(xié)作、虛擬現(xiàn)實、系統(tǒng)仿真、探究式、啟發(fā)式、逆向式、互動式等教學方式、方法和手段[1-4]，按照“思維培養(yǎng)—應(yīng)用細化—工程開發(fā)”的教學模式，圍繞大數(shù)據(jù)專業(yè)的課程教學內(nèi)容，充分利用網(wǎng)絡(luò)資源，隨時調(diào)整教學細節(jié)，合理安排課時，及時記錄教學過程中的反饋信息，使得師生之間的良好互動和溝通達到一定的廣度和深度，為學生掌握大數(shù)據(jù)專業(yè)課程的精髓和將來適應(yīng)工作崗位打下堅實基礎(chǔ)。3.5加強基于學生能力本位的師資隊伍建設(shè)。高質(zhì)量的專業(yè)教師隊伍是構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的良好保障，因此高職院校要圍繞學生的計算思維能力培養(yǎng)、應(yīng)用能力培養(yǎng)、工程能力培養(yǎng)[5-9]，加強基于學生能力本位的師資隊伍建設(shè)，讓教師在教學與科研中取長補短，豐富知識結(jié)構(gòu)，相互促進，相互提高，從而為教師專業(yè)素質(zhì)和創(chuàng)新實踐能力提供保障，提升教師授課水平。
4結(jié)語
高職大數(shù)據(jù)專業(yè)課程體系的構(gòu)建為提升學生的計算思維能力、應(yīng)用能力、工程能力提供了科學的發(fā)展平臺，對高職專業(yè)人才培養(yǎng)和課程改革具有重要的意義，同時也能使學生成為有知識、有能力的社會主義事業(yè)建設(shè)者和接班人。大數(shù)據(jù)對當今社會的重要意義以及大數(shù)據(jù)專業(yè)人才的不足決定了大數(shù)據(jù)專業(yè)人才培養(yǎng)任重道遠，但是不足也是動力，也給未來高職大數(shù)據(jù)專業(yè)預留了很大的發(fā)展空間。
參考文獻:
[1]林宛楊.“職教20條”建設(shè)背景下大數(shù)據(jù)課程體系改革[J].電腦知識與技術(shù),2020,16(36):170-171,176.
[2]劉建華,胡文瑜,唐鄭熠,等.數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)專業(yè)課程體系探索[J].科教文匯,2021(2):115-116.
[3]周黎鳴,林英豪,李征,等.新工科背景下大數(shù)據(jù)專業(yè)課程建設(shè)[J].計算機時代,2021(1):102-105.
[4]馬曉磊,霍恩澤.面向“互聯(lián)網(wǎng)+產(chǎn)學交融”的交通大數(shù)據(jù)課程體系建設(shè)[J].高教學刊,2021(7):86-89.
[5]崔琳,吳孝銀,張志偉.面向?qū)W生計算思維培養(yǎng)的數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)專業(yè)課程體系建設(shè)模式探究[J].無線互聯(lián)科技,2020(4):121-122.
[6]戴牡紅.面向工程能力培養(yǎng)的大數(shù)據(jù)教學研究[J].軟件工程,2021,24(1):47-50.
[7]袁利平,楊陽.基于能力本位的教師教育課程體系建構(gòu)[J].河北師范大學學報（教育科學版）,2020,22(5):85-92.
[8]王姝,蘇志東.基于能力本位的反向課程設(shè)計方法應(yīng)用研究[J].微型電腦應(yīng)用,2020,36(9):77-82.
關(guān)鍵詞：大數(shù)據(jù)； 職業(yè)崗位； 工作任務(wù)； 培養(yǎng)目標
中圖分類號：G712 文獻標識碼：A 文章編號：1009-3044（2016）33-0154-02
Abstract： By investigation and study， analyze the occupational positions of big data technology and application major in higher vocational education， describe each post job， sift typical work tasks from these jobs， refine the professional ability of work tasks， finally determine the personnel training goals and specifications， lay a foundation for the subsequent specialty construction.
Key words： Big Data； occupational positions； work tasks； training objective
1 引言
S著云時代的來臨，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模逐年擴大。2016年教育部增補了“大數(shù)據(jù)技術(shù)與應(yīng)用”高等職業(yè)教育（?？疲I(yè)，正是適應(yīng)市場行情需求做出的正確抉擇。面對高職學歷層次，如何有效定位大數(shù)據(jù)專業(yè)面向崗位和培養(yǎng)目標，成為要開設(shè)該專業(yè)的高職院校需要考慮的問題。下面將結(jié)合本校調(diào)查探討該專業(yè)的建設(shè)。
2 職業(yè)崗位分析
高職“大數(shù)據(jù)技術(shù)與應(yīng)用”專業(yè)人才培養(yǎng)所面向的職業(yè)崗位應(yīng)該是應(yīng)用型技術(shù)人才所從事的崗位，經(jīng)過調(diào)查和討論分析，適合面向下列崗位進行培養(yǎng)，具體實施時可以選擇其中2～3個方面的崗位重點培養(yǎng)。
2.1 大數(shù)據(jù)運維工程師
保證大數(shù)據(jù)平臺的正常運行，通過系統(tǒng)監(jiān)控、集群配置等技術(shù)手段，保證大數(shù)據(jù)平臺能夠長期穩(wěn)定的支撐企業(yè)大數(shù)據(jù)業(yè)務(wù)的工作任務(wù)。要求會部署大數(shù)據(jù)平臺、監(jiān)控大數(shù)據(jù)平臺、測試大數(shù)據(jù)系統(tǒng)以及具有一定安全管控能力。
2.2 ETL工程師
主要從事數(shù)據(jù)的預處理工作。通過數(shù)據(jù)抽取、整理、傳輸、加載、校驗等技術(shù)手段，結(jié)合工具，實現(xiàn)數(shù)據(jù)的清洗，保證高效地為大數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)資源的工作任務(wù)。
2.3 大數(shù)據(jù)應(yīng)用開發(fā)工程師
主要從事軟件應(yīng)用開發(fā)工作。通過對大數(shù)據(jù)進行分析處理、結(jié)合軟件開發(fā)流程，按照業(yè)務(wù)需求完成大數(shù)據(jù)應(yīng)用開發(fā)的相關(guān)軟件設(shè)計與實現(xiàn)的工作任務(wù)。具備文檔編寫、系統(tǒng)測試等方面的能力。
2.4 數(shù)據(jù)可視化工程師
主要從事大數(shù)據(jù)可視化設(shè)計與開發(fā)。通過數(shù)據(jù)可視化報表技術(shù)、商業(yè)智能報表工具、常用web開發(fā)框架以及程序開發(fā)語言，能夠進行可視化應(yīng)用的設(shè)計、開發(fā)與展示，直觀的為客戶呈現(xiàn)大數(shù)據(jù)的價值。
2.5 大數(shù)據(jù)售后/技術(shù)支持工程師
主要從事售后服務(wù)及技術(shù)支持工作。熟悉大數(shù)據(jù)平臺的搭建和維護工作，能夠閱讀和理解平臺日志，能夠快速分析和定位故障，對大數(shù)據(jù)平成故障排查，采取相應(yīng)措施，保障大數(shù)據(jù)平臺穩(wěn)定運行。
2.6 大數(shù)據(jù)實施工程師
主要從事大數(shù)據(jù)平臺部署工作。通過綜合運用服務(wù)器、交換機、存儲、虛擬化、云計算、大數(shù)據(jù)等基礎(chǔ)知識，保證快速、高效地完成大數(shù)據(jù)平臺環(huán)境等搭建和部署的工作任務(wù)。涉及大數(shù)據(jù)系統(tǒng)以及云平臺的搭建、測試及安全管控。
3 典型工作任務(wù)分析
從以上職業(yè)崗位分析概況為以下9個典型工作任務(wù)。
1）大數(shù)據(jù)平臺部署：配置和管理網(wǎng)絡(luò)設(shè)備，完成網(wǎng)絡(luò)搭建；配置和管理服務(wù)器和存儲，設(shè)備維護；操作系統(tǒng)的安裝和配置；大數(shù)據(jù)平臺的搭建、部署、測試及調(diào)優(yōu)。
2）大數(shù)據(jù)平臺運維：大數(shù)據(jù)平臺的日常維護，使用工具完成大數(shù)據(jù)平臺的軟硬件平臺運行狀態(tài)監(jiān)控，大數(shù)據(jù)平臺的故障應(yīng)急處理，保證平臺正常、穩(wěn)定、高效運行。
3）大數(shù)據(jù)售后技術(shù)支持：根據(jù)項目售前技術(shù)方案與客戶溝通業(yè)務(wù)具體需求，撰寫項目實施方案和測試方案；熟練操作使用Hadoop、Spark等大數(shù)據(jù)組件和模塊的功能，根據(jù)組件安裝手冊進行系統(tǒng)部署并解決安裝部署中的問題；能夠進行項目整體規(guī)劃、執(zhí)行、風險管理、項目驗收等項目管理相關(guān)工作，熟練使用常見項目管理工具；具備網(wǎng)絡(luò)的規(guī)劃與設(shè)計能力，熟練操作網(wǎng)絡(luò)操作系統(tǒng)、主流數(shù)據(jù)庫。
4）大數(shù)據(jù)系統(tǒng)測試：完成測試文檔編寫（如測試用例、測試報告等），完成測試文檔編寫（如測試用例、測試報告等），使用自動化測試工具完成大數(shù)據(jù)系統(tǒng)相關(guān)測試工作。
5）大數(shù)據(jù)安全管控：對數(shù)據(jù)進行細?；跈?quán)管理與配置，熟練管理系統(tǒng)認證kerberos組件和通過LDAP、AD對用戶進行統(tǒng)一認證管理，對大數(shù)據(jù)系統(tǒng)進行審計管理，對HDFS數(shù)據(jù)、元數(shù)據(jù)和其他敏感數(shù)據(jù)進行加密操作，制定和實施大數(shù)據(jù)安全策略。
6）數(shù)據(jù)預處理：使用工具從數(shù)據(jù)源采集或抽取所需數(shù)據(jù)，使用工具對數(shù)據(jù)進行轉(zhuǎn)換、清洗、校驗操作，使用工具完成數(shù)據(jù)傳輸、建庫、校驗和加載，分布式ETL過程調(diào)優(yōu)。
7）可視化設(shè)計與開發(fā)：使用web開發(fā)框架進行可視化應(yīng)用開發(fā)，根據(jù)行業(yè)領(lǐng)域需求進行可視化設(shè)計，使用BI工具進行商業(yè)智能報表設(shè)計、開發(fā)與展示。
8）大數(shù)據(jù)應(yīng)用開發(fā)：搭建好大數(shù)據(jù)程序開發(fā)的環(huán)境，根據(jù)用戶需求利用開發(fā)語言進行大數(shù)據(jù)分析和預處理，進行大數(shù)據(jù)應(yīng)用程序開發(fā)，完成功能性測試，集成和展示開發(fā)成果。
9）大數(shù)據(jù)文檔編寫：按照正確格式和行業(yè)要求書寫文檔，熟練對文檔進行編輯、排版。
4 培養(yǎng)目標定位
通過對典型工作任務(wù)所需職業(yè)能力的分析，本校側(cè)重于大數(shù)據(jù)運維、數(shù)據(jù)清洗、應(yīng)用_發(fā)這些方面能力的培養(yǎng)，進而得出該專業(yè)的培養(yǎng)目標：本專業(yè)培養(yǎng)適應(yīng)生產(chǎn)、建設(shè)、服務(wù)、管理第一線需要的，具有市場急需的大數(shù)據(jù)分析、數(shù)據(jù)倉庫管理、數(shù)據(jù)可視化、應(yīng)用開發(fā)等能力的應(yīng)用型人才，培養(yǎng)具備大數(shù)據(jù)平臺搭建與運維、數(shù)據(jù)采集、數(shù)據(jù)加工、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等專業(yè)實踐能力，具有良好的職業(yè)道德、創(chuàng)業(yè)精神和健全的體魄，適應(yīng)我國社會大數(shù)據(jù)應(yīng)用發(fā)展所需的應(yīng)用型專門人才。
該培養(yǎng)目標對專業(yè)素質(zhì)要求如下：
1）具有敬業(yè)精神和職業(yè)道德觀念，具有創(chuàng)新精神；
2）具有良好的職業(yè)素養(yǎng)，有團隊合作精神，有較高的職業(yè)行為能力；
3）善于觀察，勤于思考、勤于學習，有良好的查閱科技文獻、手冊、工具書及進行檢索的能力，具有大數(shù)據(jù)文檔編寫能力。
4）具有大數(shù)據(jù)平臺部署能力，能通過綜合運用服務(wù)器、網(wǎng)絡(luò)、存儲等設(shè)備完成大數(shù)據(jù)平臺環(huán)境等搭建和部署的工作能力。
5）能夠通過系統(tǒng)監(jiān)控、集群配置等技術(shù)手段，保證大數(shù)據(jù)平臺能夠長期穩(wěn)定的支撐企業(yè)大數(shù)據(jù)業(yè)務(wù)的工作能力。
6）能夠進行數(shù)據(jù)的抽取、整理、傳輸、加載、校驗、清洗等處理。
7）具有大數(shù)據(jù)應(yīng)用開發(fā)能力，按照業(yè)務(wù)需求完成大數(shù)據(jù)應(yīng)用開發(fā)的相關(guān)軟件設(shè)計與實現(xiàn)的工作能力。
5 結(jié)語
專業(yè)建設(shè)是一個系統(tǒng)工程，從調(diào)查所面向的職業(yè)崗位開始，再分析典型工作任務(wù)，得出完成工作任務(wù)所需的職業(yè)能力以及所需的知識、技能，確定培養(yǎng)目標和規(guī)格，再確定學習領(lǐng)域開設(shè)的課程，完成人才培養(yǎng)方案的制訂。前面對“大數(shù)據(jù)技術(shù)與應(yīng)用”專業(yè)進行了人才培養(yǎng)目標定位研究，為后期的專業(yè)建設(shè)奠定了基礎(chǔ)，當然專業(yè)建設(shè)還需要在實踐中不斷探索和改進。
參考文獻：
[1] 傅偉，等. 基于工作過程系統(tǒng)化的高職專業(yè)建設(shè)內(nèi)涵探析[J]. 職教論壇，2010（9）：40-42.
1、軟件服務(wù)下的大數(shù)據(jù)
隨著互聯(lián)網(wǎng)運用的逐漸廣泛化，社會中的各個行業(yè)都具有了自己的數(shù)據(jù)種類，這就致使大量的數(shù)據(jù)在互聯(lián)網(wǎng)的服務(wù)中產(chǎn)生。軟件服務(wù)工程會產(chǎn)生密集型數(shù)據(jù)，其中包括流式密集型的數(shù)據(jù)以及歷史密集型的數(shù)據(jù)。如世界最大的電信數(shù)據(jù)倉庫中心目前已經(jīng)建立超過1200TB的數(shù)據(jù)；中國移動通信的業(yè)務(wù)流程超過8190個，實現(xiàn)了辦公自動化和標準化的業(yè)務(wù)流程。“程序=數(shù)據(jù)結(jié)構(gòu)+算法”的程序設(shè)計思想為傳統(tǒng)軟件工程的管理思想模式，集程序的運行過程就是數(shù)據(jù)結(jié)構(gòu)的組織與算法的問題，這種模式將程序運行過程中的數(shù)據(jù)忽視，而將重點放在了程序的正確性和效率性，在很大程度上把程序的生命周期縮短。縱觀軟件理論的漫長發(fā)展史，諸多學者一致認為詳細的文檔和完整的程序構(gòu)成了軟件，其中完善的文檔信息為軟件的核心部分，包括工程數(shù)據(jù)、文檔以及通用規(guī)范等等，把整個軟件的設(shè)計重點放在了文檔是否質(zhì)量合格以及開發(fā)模式是否具備標準化上面。由此，推動了軟件設(shè)計的標準化，從整體上把軟件的質(zhì)量有效提升[1]。
隨著系統(tǒng)業(yè)務(wù)的擴容和用戶的使用，對軟件進行大規(guī)模的數(shù)據(jù)處理提出了更為嚴格的要求。越來越多的大型互聯(lián)網(wǎng)企業(yè)更加重視軟件服務(wù)中的歷史密集型數(shù)據(jù)和流式密集型數(shù)據(jù)，將大數(shù)據(jù)分析作為服務(wù)，更加注重從用戶的體驗上進行數(shù)據(jù)的收集。大數(shù)據(jù)背景下，行業(yè)逐漸加大了數(shù)據(jù)的處理難度，使得處理數(shù)據(jù)更具精細化，對技術(shù)的標準要求也更為嚴格。當前大數(shù)據(jù)時代下軟件工程的研究課題為，如何更好的把大數(shù)據(jù)平臺作為服務(wù)，把大數(shù)據(jù)的分析作為服務(wù)、把數(shù)據(jù)的價值作為服務(wù)[2]。要從軟件發(fā)展創(chuàng)新模式來進行海量數(shù)據(jù)的處理，PaaS服務(wù)平臺、服務(wù)提供方以及服務(wù)消費者三方，會產(chǎn)生海量離線密集型數(shù)據(jù)和線上流式數(shù)據(jù)。各項級別的用戶在進行交流或者進行操作以及各項系統(tǒng)日志數(shù)據(jù)等，其通常對軟件的有效開發(fā)、運行、管理等各方面都有著重要影響，另外，大數(shù)據(jù)還對軟件服務(wù)的具體周期具有決定性作用。
從根本上講，只是在規(guī)模和量上來進行數(shù)據(jù)的衡量，對其的研究沒有標識，尤其是比較缺乏語義化的處理。因此，要對研究思維及方法進行不斷創(chuàng)新，以此對相關(guān)數(shù)據(jù)實施組織與處理，并形成具有領(lǐng)域性的智能主體。通過對大數(shù)據(jù)的有效創(chuàng)新，將知識作為載體，可以提供相應(yīng)的數(shù)據(jù)平臺，從而確保以大數(shù)據(jù)為中心來進行現(xiàn)代軟件工程管理的創(chuàng)新[3]。
2、大數(shù)據(jù)時代背景下軟件工程管理模式
軟件工程的發(fā)展經(jīng)歷了三個階段，經(jīng)典的CS模式-BS模式-軟件服務(wù)工程。其中產(chǎn)生于大數(shù)據(jù)背景下的面向服務(wù)的軟件工程，以服務(wù)為基礎(chǔ)，能夠以較快的速度進行應(yīng)用和共享服務(wù)的構(gòu)建，對于分布式程序的開發(fā)具有很好的適應(yīng)性。這種模式的不同之處在于能夠把應(yīng)用服務(wù)化，資源虛擬化，將外界服務(wù)接口統(tǒng)一化，有效解決大數(shù)據(jù)環(huán)境背景下的一系列問題。這種軟件服務(wù)工程設(shè)計模式廣泛應(yīng)用于移動互聯(lián)網(wǎng)、大數(shù)據(jù)等新興領(lǐng)域。項目管理是受到進度、費用以及品質(zhì)的影響，滿足客戶的需求而進行的活動規(guī)劃、指導和監(jiān)督。其中項目控制與系統(tǒng)工程為項目管理兩個至關(guān)重要的研究領(lǐng)域，二者有交叉重疊部分，項目控制主要負責輸入進度、規(guī)劃和費用，而系統(tǒng)工程蛀牙負責技術(shù)層面的輸入。通過文檔的形式來體現(xiàn)工程的管理，其中包括系統(tǒng)工程管理計劃和系統(tǒng)文檔樹[4]。
系統(tǒng)文檔樹通過樹形結(jié)構(gòu)來描述項目所需要的，以系統(tǒng)工程為對象的各個系統(tǒng)工程文件之間的相互關(guān)系。在提案階段，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說明書來進行系統(tǒng)文檔樹的準備，從而為根據(jù)后續(xù)的進度和成本來進行文本化任務(wù)的確定提供便利的條件。由項目經(jīng)理進行系統(tǒng)文檔樹的批準，并更新維護項目管理的全生命周期。而系統(tǒng)工程管理計劃主要用于描述系統(tǒng)工程的進度與任務(wù)的，在提案過程中，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說明書來進行系統(tǒng)工程過程的描述，以及如何有效計劃、組織、集成、測量系統(tǒng)工程需求。項目管理計劃同樣由項目經(jīng)理進行批準，并更新維護項目管理的全生命周期。系統(tǒng)工程管理計劃主要由軟件系統(tǒng)工程過程、開發(fā)項目規(guī)劃與控制，以及軟件工程專業(yè)集成三類關(guān)鍵要素構(gòu)成，其中開發(fā)項目規(guī)劃與控制為必須要實現(xiàn)的系統(tǒng)工程任務(wù)[5]。
3、總結(jié)
綜上所述，面臨著互聯(lián)網(wǎng)的進一步發(fā)展，其促使軟件的更新速度相應(yīng)加快，大數(shù)據(jù)背景下通常對軟件的自身安全及性能具有更高的要求。因此，要想打造一個健壯、高效且安全的軟件工程，不僅僅要加大技術(shù)的支持力度，還需要不斷創(chuàng)新軟件工程管理辦法，形成一套科學的配套理論以及技術(shù)標準。當前規(guī)模較大的軟件重用技術(shù)不斷發(fā)展，并實現(xiàn)了應(yīng)用，再加上大量積累的軟件資源，未來軟件的集約化生產(chǎn)以及軟件數(shù)據(jù)的挖掘?qū)兊闹陵P(guān)重要。傳統(tǒng)化的軟件工程的管理方式已無法滿足當前生活的相關(guān)需要，大數(shù)據(jù)環(huán)境背景下探究新型的軟件工程管理方法具有十分重要的現(xiàn)實意義。
【軟件工程碩士論文參考文獻】
[1]張宇航.大數(shù)據(jù)系統(tǒng)中的軟件工程管理方法探究[J].中國高新技術(shù)企業(yè)，2016，(23):93-94.
[2]楊淼.面向商業(yè)模式的大數(shù)據(jù)信息管理方法研究[D].天津大學，2014.
[3]梁峰.基于數(shù)據(jù)倉庫技術(shù)的電力公司營銷數(shù)據(jù)分析梳理平臺的設(shè)計與實現(xiàn)[D].電子科技大學，2015.
[4]王建民.領(lǐng)域大數(shù)據(jù)應(yīng)用開發(fā)與運行平臺技術(shù)研究[J].軟件學報，2017，28(6):1516-1528.
關(guān)鍵詞：大數(shù)據(jù)；人力資源；網(wǎng)絡(luò)共享
一、“互聯(lián)網(wǎng)+”的重要標志：大數(shù)據(jù)時代
“互聯(lián)網(wǎng)+”行動計劃日益滲透到各行各業(yè)，它代表著時展方向，對人力資源管理帶來了創(chuàng)新變革。隨著科學技術(shù)水平的不斷提高，大數(shù)據(jù)應(yīng)用已經(jīng)在各行各業(yè)中體現(xiàn)出不可替代的價值，形成了“大數(shù)據(jù)+人力資源管理”的管理思維方式。大數(shù)據(jù)應(yīng)用的出現(xiàn)意味著數(shù)據(jù)能夠廣泛滲透到各行各業(yè)及各個業(yè)務(wù)職能領(lǐng)域中；同時海量數(shù)據(jù)的應(yīng)用掀起了新一輪的消費者盈余浪潮，并使得生產(chǎn)率有所增長。隨著互聯(lián)網(wǎng)及云計算等科技的興起及普遍使用，大數(shù)據(jù)作為新時代的產(chǎn)物，在越來越多、越來越復雜的海量數(shù)據(jù)下成功塑造出這一全新的概念。大數(shù)據(jù)的主要特征有數(shù)據(jù)體量巨大、數(shù)據(jù)類型繁多、價值密度低和處理速度快。大數(shù)據(jù)作為海量數(shù)據(jù)的集合體，存在三種分類方式：（1）半結(jié)構(gòu)化數(shù)據(jù)。例如用windows系統(tǒng)進行處理的文字、電子郵件及在網(wǎng)上閱覽的新聞等信息。（2）結(jié)構(gòu)化數(shù)據(jù)。例如企業(yè)財務(wù)系統(tǒng)、人事系統(tǒng)等數(shù)據(jù)都是結(jié)構(gòu)化的數(shù)據(jù)。（3）非結(jié)構(gòu)化數(shù)據(jù)。例如移動終端、傳感器及社交網(wǎng)絡(luò)等產(chǎn)生的數(shù)據(jù)。大數(shù)據(jù)時代給人力資源管理帶來了新的思維和機遇，以大數(shù)據(jù)的思維模式，整合各類數(shù)據(jù)，挖掘數(shù)據(jù)價值。因此，“大數(shù)據(jù)+人力資源管理”必定是人力資源管理的發(fā)展趨勢
二、大數(shù)據(jù)應(yīng)用在人力資源管理中的作用
1.大數(shù)據(jù)應(yīng)用使數(shù)據(jù)具有廣泛的可獲取性及高透明度。
部分制造商正在試圖通過集成多種系統(tǒng)的數(shù)據(jù)，并試圖通過從客戶和外部供應(yīng)商獲取數(shù)據(jù)來共同完成產(chǎn)品的制造。例如汽車制造行業(yè)，汽車的零部件通過全球供應(yīng)商集中提供。企業(yè)及其供應(yīng)鏈合作伙伴通過這種高度集成的平臺可以在產(chǎn)品的初期設(shè)計階段就開始相互協(xié)調(diào)工作。
2.大數(shù)據(jù)通過改變決策的制定方式對競爭產(chǎn)生影響。
大數(shù)據(jù)應(yīng)用能夠使決策制定產(chǎn)生根本性的轉(zhuǎn)變。大數(shù)據(jù)可以通過利用可控實驗，使企業(yè)能夠?qū)僭O(shè)進行驗證，并對數(shù)據(jù)顯示的結(jié)果進行分析，從而達到利用大數(shù)據(jù)指導投資決策及運作方式的目的。大數(shù)據(jù)應(yīng)用對面向用戶的企業(yè)有著極其重要的影響作用，面向用戶的企業(yè)通過對數(shù)據(jù)的分析和劃分來對用戶進行定位，而大數(shù)據(jù)應(yīng)用可以使用戶質(zhì)量實現(xiàn)質(zhì)的飛躍，使用戶的實時性及個性化制定成為現(xiàn)實。新一代的零售商已經(jīng)采取利用大數(shù)據(jù)應(yīng)用，并且通過互聯(lián)網(wǎng)的點擊量對用戶進行定位和跟蹤，同時能夠影響并更新用戶的個人愛好，通過實時模仿其可能發(fā)生的行為對自己的產(chǎn)品進行改進和完善。
3.大數(shù)據(jù)對數(shù)據(jù)管理所做的改變及替代趨勢。
大數(shù)據(jù)應(yīng)用通過提高機器的分析能力及算法，能夠使制造商獲得更高的生產(chǎn)率。例如部分制造商利用大數(shù)據(jù)算法對生產(chǎn)線的傳感數(shù)據(jù)進行分析，為減少及避免損失創(chuàng)建自動調(diào)節(jié)過程，以達到減少成本過高的人工干預并實現(xiàn)生產(chǎn)率的提高。
4.基于大數(shù)據(jù)應(yīng)用的新型商業(yè)模式產(chǎn)生。
大數(shù)據(jù)的廣泛應(yīng)用促使許多在價值鏈中生存的新型公司產(chǎn)生，通過商業(yè)交易創(chuàng)建具有高價值的“排出數(shù)據(jù)”，這種商業(yè)模式已被大量新型公司采用[1]。
三、大數(shù)據(jù)應(yīng)用在人力資源管理中的價值
大數(shù)據(jù)應(yīng)用使得人力資源管理系統(tǒng)的數(shù)據(jù)來源得到拓寬，并使人力資源的信息采集能力得到提升，使數(shù)據(jù)量最大化。大數(shù)據(jù)應(yīng)用對人力資源管理的精確性、客觀性及針對性都有十分重要的作用。大數(shù)據(jù)應(yīng)用為人事工作提供更加全面的量化參考基礎(chǔ)。在組織人事工作的過程中，利用大數(shù)據(jù)的分析方式可以對人員流動、績效考核結(jié)果及人員培訓需求等進行有效分析。利用大數(shù)據(jù)的優(yōu)勢結(jié)合全面的人力資源信息并對其進行反復持續(xù)地深入挖掘，利用人才分析或人力資源核算等方法，使大數(shù)據(jù)為人力資源管理工作發(fā)揮出戰(zhàn)略性的預判能力。在大數(shù)據(jù)時代下，人力資源管理系統(tǒng)已經(jīng)打破了傳統(tǒng)的組織形式并開始向普通員工靠近，從而在與員工交流的過程中產(chǎn)生更多的交互性數(shù)據(jù)，這樣不僅可以優(yōu)化人力資源的組織結(jié)構(gòu)，同時為員工服務(wù)創(chuàng)造出有利的條件，使員工能積極參加到認識管理工作中，并且使人力資源管理有更加規(guī)范的工作流程。人才的核心競爭力在大數(shù)據(jù)時代下正發(fā)生著巨大的變化，利用大數(shù)據(jù)可以建立高效的人才數(shù)據(jù)管理模式。在大數(shù)據(jù)新時代下數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)之一。通過對大數(shù)據(jù)應(yīng)用的使用使得企業(yè)的一切信息都能夠被錄入和存儲，并且通過對企業(yè)及員工群體的信息進行有效分析和總結(jié)。
四、大數(shù)據(jù)下人力資源共享網(wǎng)絡(luò)的組織模式設(shè)計
1.人力資源共享網(wǎng)絡(luò)的構(gòu)建框架。
人力資源共享網(wǎng)絡(luò)的構(gòu)建包括以下四個部分：確定共享網(wǎng)絡(luò)的目標、選擇共享伙伴、組織共享網(wǎng)絡(luò)結(jié)構(gòu)和共享網(wǎng)絡(luò)的運行及反饋與平臺的設(shè)計開發(fā)。其中選擇共享伙伴與構(gòu)建共享網(wǎng)絡(luò)平臺的設(shè)計開發(fā)是人力資源共享網(wǎng)絡(luò)建設(shè)的核心部分，因此，對二者進行深入分析[2]。
2.人力資源共享網(wǎng)絡(luò)的伙伴選擇。
在人力資源共享網(wǎng)絡(luò)的建設(shè)過程中，共享網(wǎng)絡(luò)的伙伴可能是任何行業(yè)的人員或企業(yè)，因此，在選擇過程中，通過對人力資源狀況進行識別與評估，對候選共享伙伴進行初步確定，同時在此基礎(chǔ)上根據(jù)海量信息及經(jīng)驗制定合理的共享伙伴評價體系與指標，從多方面對伙伴進行綜合性的評價，最終確定合適的共享伙伴名單。影響人力資源共享網(wǎng)絡(luò)選擇共享伙伴的因素有很多，根據(jù)不同的人力資源情況會出現(xiàn)不同的選擇側(cè)重點，在選擇過程中應(yīng)根據(jù)共享網(wǎng)絡(luò)的建設(shè)目的及各組織進行合作的宗旨，從而確定對共享伙伴選擇中的評價體系。
3.人力資源共享網(wǎng)絡(luò)的平臺設(shè)計及組織結(jié)構(gòu)。
在確定網(wǎng)絡(luò)共享伙伴之后，開始對網(wǎng)絡(luò)組織進行詳細設(shè)計，其中包括網(wǎng)絡(luò)共享平臺的設(shè)計及組織結(jié)構(gòu)設(shè)計：
（1）人力資源共享網(wǎng)絡(luò)組織結(jié)構(gòu)。
在人力資源共享網(wǎng)絡(luò)組織的運行過程中，應(yīng)建立各項功能機構(gòu)并且執(zhí)行網(wǎng)絡(luò)共享合作協(xié)議，使共享成員組織之間能夠有效而具體地開展人力資源共享活動。人力資源網(wǎng)絡(luò)共享組織一般具有兩個層次的功能機構(gòu)：一是從微觀上根據(jù)具體的人力資源網(wǎng)絡(luò)共享需求及合作項目、目標組建人力資源網(wǎng)絡(luò)共享合作團隊，并且形成人力資源共享體系，運用不同的網(wǎng)絡(luò)共享方式實現(xiàn)需求者與人力資源擁有者之間的網(wǎng)絡(luò)共享；二是從宏觀的層次上建立由共享成員組織共同參與的高層管理機構(gòu)，對整個人力資源網(wǎng)絡(luò)共享組織內(nèi)部的工作負責并進行協(xié)調(diào)[3]。
（2）人力資源網(wǎng)絡(luò)共享平臺的設(shè)計開發(fā)。
人力資源網(wǎng)絡(luò)共享的平臺設(shè)計開發(fā)工作主要有以下幾個環(huán)節(jié)：利用網(wǎng)絡(luò)服務(wù)器將人力資源擁有的能夠進行編碼的知識及每個成員組織提供的相應(yīng)人力資源信息進行傳遞；通過網(wǎng)絡(luò)共享平臺的各個內(nèi)部子系統(tǒng)的運作，對人力資源編碼化的知識進行處理加工并且對共享成員間人力資源的需求進行匹配；最后通過網(wǎng)絡(luò)或人工傳輸，對每個網(wǎng)絡(luò)共享團隊的實踐活動進行指導。人力資源共享網(wǎng)絡(luò)平臺由以上各環(huán)節(jié)共同構(gòu)成。
五、大數(shù)據(jù)下人力資源網(wǎng)絡(luò)的協(xié)調(diào)機制
人力資源網(wǎng)絡(luò)共享平臺的開發(fā)設(shè)計作為共享成員之間進行人力資源及知識共享的基礎(chǔ)平臺環(huán)境，還需要能夠支持整個網(wǎng)絡(luò)共享組織運行的協(xié)調(diào)機制，通過與協(xié)調(diào)機制的配合才能夠使得共享網(wǎng)絡(luò)組織的運行目標得到實現(xiàn)。協(xié)調(diào)機制在人力資源網(wǎng)絡(luò)共享組織中主要強調(diào)以下幾點：配合并協(xié)調(diào)人力資源網(wǎng)絡(luò)共享平臺的運作過程；通過網(wǎng)絡(luò)共享文化培養(yǎng)及激勵機制等方式對各共享成員組織間的合作關(guān)系進行協(xié)調(diào)，達到使每個共享成員都能夠以有效的目標優(yōu)化方式與其他成員合作共同達成目的。協(xié)調(diào)機制主要包括網(wǎng)絡(luò)目標分解、網(wǎng)絡(luò)組織結(jié)構(gòu)及具體執(zhí)行等層次的內(nèi)容。因此，人力資源網(wǎng)絡(luò)共享組織的協(xié)調(diào)機制主要在向前協(xié)調(diào)及向后協(xié)調(diào)兩個方面進行作用[4]。
1.人力資源共享網(wǎng)絡(luò)組織協(xié)調(diào)機制的向前協(xié)調(diào)作用。
人力資源網(wǎng)絡(luò)共享組織的向前協(xié)調(diào)主要強調(diào)根據(jù)各共享成員的差異在共享網(wǎng)絡(luò)組織構(gòu)建過程中預先設(shè)計合理的協(xié)調(diào)機制，以達到協(xié)調(diào)管理各共享成員組織與人力資源網(wǎng)絡(luò)共享整體運作的關(guān)系。
2.人力資源共享網(wǎng)絡(luò)組織協(xié)調(diào)機制的向后協(xié)調(diào)作用。
人力資源網(wǎng)絡(luò)共享的向后協(xié)調(diào)機制主要包括發(fā)現(xiàn)、分析及解決問題三個部分。協(xié)調(diào)機制在人力資源網(wǎng)絡(luò)共享組織中主要著手解決在共享網(wǎng)絡(luò)運行中已經(jīng)存在的沖突或問題。作為一種反饋模式被動地對事后出現(xiàn)的問題進行解決。在人力資源網(wǎng)絡(luò)共享組織的運行過程中存在大量需要處理的共享伙伴之間的制約及依賴關(guān)系，因此，全面、正確地對其進行形式化描述并對整個運行過程進行有效的維持，從而減少共享成員組織間出現(xiàn)沖突的情況以降低協(xié)調(diào)工作量。
六、結(jié)束語
在大數(shù)據(jù)時代背景下，人力資源的管理工作已經(jīng)不僅僅是人與人之間的交流合作，對海量數(shù)據(jù)的分析整理越來越重要。在大數(shù)據(jù)應(yīng)用的幫助下人力資源管理部門對員工的了解及考核變得更加方便，通過對數(shù)據(jù)的利用將員工的表現(xiàn)以科學化、數(shù)據(jù)化的考核方式進行，使得人力資源管理部門對員工的分析更加客觀、科學。實現(xiàn)大數(shù)據(jù)應(yīng)用對人力資源管理的價值最大化，同時建設(shè)人力資源共享網(wǎng)絡(luò)，使人力資源管理工作能夠利用大數(shù)據(jù)的應(yīng)用價值促進自身的發(fā)展。
參考文獻：
[1]王衛(wèi)明，孫劍平，陳昊，等.制造業(yè)發(fā)展中人力資源及資金投入的影響研究[J].南京理工大學學報：自然科學版，2013，（6）.
[2]董小華.人力資源服務(wù)業(yè)發(fā)展問題初探[J].中國人力資源開發(fā)，2013，（5）.
[3]王艷輝，陳建安.以人力資源審計工具提升戰(zhàn)略人力資源準備度[J].中國人力資源開發(fā)，2013，（1）.
大數(shù)據(jù)挖掘
大數(shù)據(jù)涉及到存儲、計算、發(fā)覺、安全這樣的過程，往往數(shù)據(jù)來自三個層面：網(wǎng)絡(luò)數(shù)據(jù)，網(wǎng)絡(luò)傳感器上面的數(shù)據(jù)，還有一些既不是網(wǎng)絡(luò)也不是傳感器，比如政府以及企業(yè)部門所收集的很多數(shù)據(jù)。
三源數(shù)據(jù)在數(shù)據(jù)庫里應(yīng)根據(jù)所需應(yīng)用進行選擇有用的數(shù)據(jù)，在應(yīng)用的時候還需選用可用的數(shù)據(jù)，然后通過變換，把復雜度降下來，以便利用，再抽出所需的數(shù)據(jù)，最終融合得出關(guān)鍵的東西。數(shù)據(jù)挖掘涉及到這么一個過程。
實際上大數(shù)據(jù)的產(chǎn)業(yè)涉及到許多方面，首先是大數(shù)據(jù)平臺。涉及到大數(shù)據(jù)平臺，便需要寬帶的存儲設(shè)施，需要有云計算平臺。首先是光纖寬帶系統(tǒng)，如今光纖傳輸能力不斷增加，我們還希望光網(wǎng)絡(luò)能力提升，自動交換光網(wǎng)絡(luò)便應(yīng)運而生。
現(xiàn)在移動通信也發(fā)展很快，去年年底4G牌照被批準發(fā)放，現(xiàn)在LET在國內(nèi)多處布網(wǎng)和商用。而國際上已經(jīng)啟動了第五代通信網(wǎng)絡(luò)應(yīng)用，光纖的發(fā)展為大數(shù)據(jù)提供了很好的平臺。
除了光纖和通信以外，計算機也是少不了的。50年代大型計算機，60年代小型計算機，80年代個人計算機，90年記本電腦，現(xiàn)在手機就相當于一個計算機。世界上第一臺計算機于1946年誕生，當時占地面積170平方米，其能力相當于會計手上拿的計算機；1975年美國國防部拿500萬美元買了一臺當時最先進的超級計算機，相當于現(xiàn)在的iPhone 4；1985年美國防部更新了超級計算機，相當于iPad 2；90年代買1G的閃存要1800美元，而現(xiàn)在只要0.25美分，所以隨著計算機能力提升，大數(shù)據(jù)處理能力也相應(yīng)提升。
另外大數(shù)據(jù)也離不開軟件，軟件發(fā)展從單機到網(wǎng)絡(luò)。軟件的代碼在早期阿波羅登月飛行器軟件時整個只有4000行代碼，現(xiàn)在波音飛機的軟件有2萬行，高鐵有上十億的行代碼，我們用的智能手機操作系統(tǒng)也是上百萬行的代碼。隨著軟件能力的提升，也方便了對大數(shù)據(jù)的挖掘。
當然，除了軟件以外，云計算也是大數(shù)據(jù)里會用到很重要的一個基礎(chǔ)設(shè)施。事實上，我們需要使用的是云服務(wù)，云計算下面有基礎(chǔ)設(shè)施，稱為基礎(chǔ)設(shè)施之服務(wù)，提供服務(wù)器、存儲器和網(wǎng)絡(luò)。
現(xiàn)在每個單位都可能會有信息化系統(tǒng)，自建信息化系統(tǒng)很不劃算，利用率不高，因此委托第三方進行信息化系統(tǒng)，這樣就構(gòu)成了云計算的基礎(chǔ)設(shè)施之服務(wù)。在云計算上面通常都會增加平臺之服務(wù)，里面提供很多工具，有利于用戶在里面利用這些工具開發(fā)所需軟件，盡管提供了這些工具，但是對于一些中小企業(yè)來講，它仍然沒有能力利用這些工具開發(fā)軟件，因此在云計算上面可以向更多公司提供可以租用的軟件，像客戶關(guān)系管理、HR人力資源管理等等，對于一些更大企業(yè)可以自身在云計算開發(fā)自己事務(wù)性企業(yè)管理上用的很多軟件。
大數(shù)據(jù)處理
有了前面說的寬帶化、軟件、計算機和云計算之后，是不是就一定能完全處理大數(shù)據(jù)呢？大數(shù)據(jù)比較難處理的是怎么實現(xiàn)語義的分析，我們從數(shù)據(jù)上可以收集很多數(shù)據(jù)，但是如何讓計算機來理解這些東西還是有一定困難的，比如一個公司可能做不到每個員工一臺計算機，而有個崗位員工覺得一臺單獨計算機對他來說很重要，他跟老板申請一立電腦，后臺網(wǎng)絡(luò)一掃描――“”。這說明它沒有語義理解，只是簡單根據(jù)某個詞的組合，這實際上不是大數(shù)據(jù)所需要的，我們需要加上理解。
更重要的不僅僅是對文字，比較困難的是對圖象。當然現(xiàn)在有一定的進展，例如Google與斯坦福的合作，讓計算機去“看”貓，用很多張圖讓計算機“看”，計算機“看”了10天以后就發(fā)現(xiàn)很多圖片里面都有一只動物，盡管樣子不一樣，但是基本是一個類型，所以計算機學會了這是貓，然后再把2萬張從來沒有看過照片給計算機“看”，它的識別率是15%。從應(yīng)用上來說這還是遠遠不夠的，但是這也表明訓練計算機識別圖象仍然是有可能的，未來大數(shù)據(jù)分析就是要訓練我們的計算能力能夠代替人去處理有需要理解的一些文字、照片、圖片、視頻。
此外，大數(shù)據(jù)還有虛擬化和可視化。收集的數(shù)據(jù)，只有通過可視化、虛擬化方式才能被大多數(shù)人理解。
大數(shù)據(jù)的產(chǎn)品包括了軟硬件服務(wù)，關(guān)系數(shù)據(jù)庫的軟件，以及一些數(shù)據(jù)集成、數(shù)據(jù)資料服務(wù)，還有大數(shù)據(jù)開發(fā)平臺，數(shù)據(jù)可視化平臺，應(yīng)用分析和應(yīng)用視頻服務(wù)以及一些視頻軟件和大數(shù)據(jù)專業(yè)咨詢培訓服務(wù)。
那么，大數(shù)據(jù)的產(chǎn)業(yè)設(shè)施究竟有多大呢？按照相關(guān)咨詢公司估計，到2017年全世界大數(shù)據(jù)市場大概超過500億美元。到2016年，中國大數(shù)據(jù)應(yīng)用的市場大概是100多億，這里主要是應(yīng)用，還沒有完全包括所有的產(chǎn)品設(shè)施。
大數(shù)據(jù)產(chǎn)業(yè)
狹義的大數(shù)據(jù)產(chǎn)業(yè)主要與大數(shù)據(jù)分析和建立的設(shè)施有關(guān)，廣義的大數(shù)據(jù)產(chǎn)業(yè)更廣泛，包括大數(shù)據(jù)硬件，網(wǎng)絡(luò)設(shè)備、存儲器，關(guān)系數(shù)據(jù)庫、非關(guān)系數(shù)據(jù)庫一些分析軟件，還有跟大數(shù)據(jù)有關(guān)的服務(wù)，但是廣義大數(shù)據(jù)產(chǎn)業(yè)里還要再拓展兩層，首先是傳統(tǒng)的產(chǎn)業(yè)，利用了的大數(shù)據(jù)應(yīng)用而增值，可以用到工業(yè)、農(nóng)業(yè)、商貿(mào)、交通、建筑，以及教育、環(huán)保等等，此外大數(shù)據(jù)在制造業(yè)上，有豐田公司利用數(shù)據(jù)分析車的切線的例子。
大數(shù)據(jù)在風電行業(yè)也有很好的應(yīng)用，通過風電的檢測能很好地發(fā)現(xiàn)風怎么樣，怎么樣很好的利用；在零售業(yè)大數(shù)據(jù)也有廣泛應(yīng)用，沃爾瑪通過大數(shù)據(jù)分析知道買A商品的用戶、買B商品的用戶有多少，憑這些大數(shù)據(jù)開發(fā)很好有助于零售業(yè)的開發(fā)。
大數(shù)據(jù)在醫(yī)療研發(fā)上一年可以減少200億美元的開支，在醫(yī)療商業(yè)模式上也會節(jié)省幾十億美元。總的來講有很大的成本節(jié)省。
麥肯錫公司總結(jié)，大數(shù)據(jù)可以給美國醫(yī)療保健每年提供3000億美元的價值，給歐洲公共管理提供2500億美元管理上的價值，給服務(wù)提供商帶來6000億美元年度盈余，零售商帶來60%的利潤增加，給制造業(yè)帶來50%成本的下降。所以很多人都說，大數(shù)據(jù)是新財富，價值堪比石油。
那么，誰將從大數(shù)據(jù)里面受益呢？第一便是制造業(yè)，因為企業(yè)多；第二就是政府，我國大數(shù)據(jù)的一個特征就是希望是開放的，如果政府能夠適當開放所掌控的數(shù)據(jù)，全世界都會從開放的數(shù)據(jù)當中受益，麥肯錫公司認為這大概會給全球經(jīng)濟每年帶來23000億到53000億美元的紅利。
關(guān)鍵詞：計算機網(wǎng)絡(luò)專業(yè)；大數(shù)據(jù)；云計算；Hadoop
中圖分類號：G642.0；TP393 文獻標識碼：A 文章編號：2095-1302（2016）12-0-02
0 引 言
隨著云計算、物聯(lián)網(wǎng)以及“互聯(lián)網(wǎng)+”技術(shù)的興起，數(shù)據(jù)正以前所未有的速度在不斷增長和累積，互聯(lián)網(wǎng)大數(shù)據(jù)正在實時影響人們的工作、生活乃至社會發(fā)展。2012年 3月，美國奧巴馬政府公布“大數(shù)據(jù)研發(fā)計劃”，旨在提高和改進人們從海量、復雜的數(shù)據(jù)中獲取知識的能力，發(fā)展收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)。2014年大數(shù)據(jù)高速發(fā)展，中國互聯(lián)網(wǎng)三巨頭BAT（百度、阿里、騰訊）紛紛建立大數(shù)據(jù)研究院、大數(shù)據(jù)實驗室等，提供大數(shù)據(jù)專業(yè)服務(wù)，一批大數(shù)據(jù)專業(yè)分析公司應(yīng)運而生。我國的開放、共享和智能的大數(shù)據(jù)時代已經(jīng)來臨，同時對專業(yè)人才的需求也日益增長。
大數(shù)據(jù)的發(fā)展與計算機網(wǎng)絡(luò)密切相關(guān)，因此適時調(diào)整高職計算機網(wǎng)絡(luò)專業(yè)方向的培養(yǎng)目標，可以更好的適應(yīng)大數(shù)據(jù)發(fā)展要求。大數(shù)據(jù)背景下計算機網(wǎng)絡(luò)專業(yè)學生的目標是培養(yǎng)具有計算機網(wǎng)絡(luò)、大數(shù)據(jù)及云計算的專業(yè)知識，實踐能力強、職業(yè)道德素養(yǎng)高，具備云平臺的管理能力和網(wǎng)絡(luò)軟件開發(fā)能力，能夠從事網(wǎng)絡(luò)工程設(shè)計實施、網(wǎng)絡(luò)高級管理維護、網(wǎng)絡(luò)開發(fā)、云平臺組建及管理以及大數(shù)據(jù)存儲、計算及分析等崗位的高級技能型人才[1]。
1 大數(shù)據(jù)與云計算
根據(jù)維基百科的定義，大數(shù)據(jù)[2，3]是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)主要具有4V特征[2]，即數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)種類繁多（Variety）、流動速度快（Velocity）、價值密度低（Value）。
從技術(shù)角度上看，大數(shù)據(jù)必然無法用單臺計算機處理，必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。目前應(yīng)用最為廣泛的大數(shù)據(jù)分布式處理平臺就是Hadoop，Hadoop是由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能夠?qū)Υ罅繑?shù)據(jù)進行分布式存儲、分析和處理的云計算平臺，已經(jīng)在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域得到了廣泛運用。例如Yahoo使用4 000個節(jié)點的Hadoop集群來支持廣告系統(tǒng)和Web搜索的研究；Facebook使用1 000個節(jié)點的集群運行Hadoop，存儲日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機器學習；百度用Hadoop處理每周200 TB的數(shù)據(jù)，進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作；淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。
2 課程體系改革研究
2.1 課程體系現(xiàn)狀
目前，高職院校計算機網(wǎng)絡(luò)專業(yè)類課程大多圍繞計算機網(wǎng)絡(luò)工程和計算機網(wǎng)絡(luò)開發(fā)兩條主線，主要課程包括網(wǎng)絡(luò)基礎(chǔ)、路由器及交換機配置與管理、Windows網(wǎng)絡(luò)服務(wù)器配置與管理以及動態(tài)網(wǎng)站開發(fā)相關(guān)技術(shù)等。這些課程內(nèi)容傳統(tǒng)，課程內(nèi)容嚴重同質(zhì)化，教學內(nèi)容已不能滿足大數(shù)據(jù)時代人才培養(yǎng)的要求，這些將直接影響學生的理論實踐能力和就業(yè)機會。
大數(shù)據(jù)、互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)及云計算技術(shù)的發(fā)展和應(yīng)用給高職計算機網(wǎng)絡(luò)專業(yè)人才培養(yǎng)帶來了新的要求與挑戰(zhàn)，與市場需求存在脫節(jié)現(xiàn)象。計算機網(wǎng)絡(luò)專業(yè)應(yīng)緊跟大數(shù)據(jù)、云計算等先進技術(shù)的步伐，不斷進行專業(yè)課程的創(chuàng)新性研究，重視實踐類課程和教材的研發(fā)，適時調(diào)整人才培養(yǎng)目標和專業(yè)教學計劃，以期滿足工作崗位的實際要求。
2.2 研究思路
計算機網(wǎng)絡(luò)專業(yè)經(jīng)過多年的發(fā)展，其課程體系比較成熟，形成了各自的特色教學。因此，本文的研究內(nèi)容是對原有課程體系的補充和完善。
2.2.1 有針對性的進一步優(yōu)化傳統(tǒng)的專業(yè)職業(yè)技能課程
傳統(tǒng)的專業(yè)職業(yè)技能課程已經(jīng)比較成熟，經(jīng)過了實踐的考驗，也已得到了學生的認可。盡管如此，還要有針對性的進一步優(yōu)化，使得課程體系的理實比達到更優(yōu)，提升課程教學實施的效果。
2.2.2 采用增加模式，補充完善課程體系
基于大數(shù)據(jù)和云計算技術(shù)研發(fā)新的職業(yè)技能課程，充實現(xiàn)有的課程體系。大數(shù)據(jù)和云計算緊密相聯(lián)，因此要增加云計算和大數(shù)據(jù)的理論和實踐課程。在研發(fā)課程的過程中，以崗位需求為導向，以培養(yǎng)技能型人才為目標，合理安排理論教學內(nèi)容和課時，著重開發(fā)實踐教學案例和內(nèi)容，明顯區(qū)別于本科課程教學設(shè)置。
2.2.3 課程體系相互作用，相互促進
網(wǎng)絡(luò)技術(shù)是大數(shù)據(jù)、云計算技術(shù)的基礎(chǔ)。因此計算機網(wǎng)絡(luò)傳統(tǒng)課程也是新研發(fā)課程的基礎(chǔ)。新研發(fā)課程既是傳統(tǒng)課程的有效實踐，又是對傳統(tǒng)課程的有效擴展和提升。
2.3 具體內(nèi)容
由于大數(shù)據(jù)、云計算技術(shù)是基于網(wǎng)絡(luò)的技術(shù)，因此，計算機網(wǎng)絡(luò)專業(yè)人才培養(yǎng)具有先決條件。根據(jù)以上研究思路，具體方案主要包括強化現(xiàn)有課程體系，增加基礎(chǔ)理論課程、完善知識體系，增加實踐課程、鍛煉崗位能力三個部分。
2.3.1 強化現(xiàn)有課程體系
針對現(xiàn)階段存在的問題，學校應(yīng)強化現(xiàn)有課程體系，使學生具有扎實的網(wǎng)絡(luò)管理能力和一定的網(wǎng)絡(luò)開發(fā)能力?，F(xiàn)有的課程體系使學生具備了相關(guān)能力。熟悉ISO/OSI互聯(lián)網(wǎng)模型，并掌握常見的互聯(lián)網(wǎng)協(xié)議如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能夠配置管理Windows和Linux服務(wù)器，熟悉使用常見的網(wǎng)絡(luò)命令，具備遠程網(wǎng)絡(luò)控制學習能力。掌握程序設(shè)計語言Java，具備Windows和Linux下的程序開發(fā)能力，包括編寫shell程序。能夠配置交換機和路由器，具備組建局域網(wǎng)的能力。熟悉信息安全、系統(tǒng)安全及網(wǎng)絡(luò)安全攻防技術(shù)。
2.3.2 增加基礎(chǔ)理論課程，完善知識體系
針對人才需求，增加大數(shù)據(jù)、云計算等基礎(chǔ)理論課程，完善知識體系。雖然大數(shù)據(jù)、云計算等課程教學的最終目的是培養(yǎng)實踐技能，但基礎(chǔ)理論仍非常重要，主要包括熟悉大數(shù)據(jù)的基礎(chǔ)概念和常見技術(shù)架構(gòu)；熟悉云計算原理和架構(gòu)，并了解虛擬化技術(shù)如KVM；熟悉分布式系統(tǒng)和分布式計算原理；了解大數(shù)據(jù)、云計算的最新應(yīng)用。
2.3.3 增加實踐課程，鍛煉崗位能力
在課程體系設(shè)置中，實踐課程比例應(yīng)超過理論課程。增加大數(shù)據(jù)、云計算等實踐課程，鍛煉學生的崗位能力。主要包括主流云平臺管理軟件的使用，如華為FusionSphere、VMWARE等；分布式系統(tǒng)管理、分布式并行計算以及Map/Reduce編程；Hadoop集群、HBase分布式數(shù)據(jù)庫的構(gòu)建與管理；Hadoop、HBase等案例實踐與應(yīng)用。
通過以上方法，使得計算機網(wǎng)絡(luò)專業(yè)學生在原有專業(yè)基礎(chǔ)上，掌握大數(shù)據(jù)和云計算的原理，具備云平臺的管理能力，并能基于Hadoop等云計算平臺實現(xiàn)大數(shù)據(jù)程序，對大數(shù)據(jù)進行計算分析。
2.4 Hadoop課程實施
通過以上分析可知，增加的課程內(nèi)容主要是大數(shù)據(jù)、云計算相關(guān)課程，最終采用Hadoop云計算平臺相關(guān)技術(shù)實現(xiàn)大數(shù)據(jù)的存儲、計算與分析。通過理論教學，使得學生深入了解掌握大數(shù)據(jù)技術(shù)、云計算原理及Hadoop架構(gòu)。通過實踐教學，使得學生能夠掌握Hadoop集群的配置與管理，并且能夠基于Hadoop實現(xiàn)大數(shù)據(jù)程序設(shè)計，使得學生具備基本的大數(shù)據(jù)處理能力。因此Hadoop課程是核心課程。
2.4.1 Hadoop原理
Hadoop是把大數(shù)據(jù)集分發(fā)到計算集群中各個節(jié)點上共同處理以實現(xiàn)大數(shù)據(jù)的快速處理。用戶無需了解分布式底層細節(jié)就可開發(fā)分布式程序，充分利用集群的威力進行高速運算和存儲。Hadoop最核心的設(shè)計是HDFS文件系統(tǒng)和MapReduce編程模型。HDFS為海量數(shù)據(jù)提供存儲，而MapReduce則為海量數(shù)據(jù)提供了計算。如圖1所示，Hadoop運行的基本過程如下[4，5]：
（1）客戶端可以將文件上傳至HDFS文件系統(tǒng)，NameNode則會根據(jù)文件大小和Block大小配置將文件的物理屬性分成若干個Block文件塊，并分布式存儲至DataNode數(shù)據(jù)節(jié)點，同時將塊存儲信息保存至NameNode節(jié)點，以方便文件進行資源管理。
（2）文件上傳完成后，客戶端提交具體Job任務(wù)至Hadoop集群，各DataNode節(jié)點根據(jù)任務(wù)要求可以讀取相應(yīng)的文件Split，并完成Map和Reduce計算任務(wù)，將結(jié)果作為輸出文件傳輸至HDFS文件系統(tǒng)。
（3）在任務(wù)執(zhí)行過程中，可以通過JobTracker、TaskTracker及ResourceManager監(jiān)控任務(wù)的執(zhí)行情況和資源消耗信息等。
2.4.2 Hadoop教學平臺配置與部署
Hadoop教學平臺需配置、部署一些部件?；诂F(xiàn)有實驗室的計算機和網(wǎng)絡(luò)環(huán)境，網(wǎng)絡(luò)服務(wù)器系統(tǒng)采用Linux Ubuntu，構(gòu)建Hadoop集群網(wǎng)絡(luò)。基于Cloudera Hadoop開源框架實現(xiàn)Hadoop教學平臺。
2.4.3 Hadoop分布式文件存儲及大數(shù)據(jù)處理實現(xiàn)
Hadoop分布式文件存儲及大數(shù)據(jù)處理實現(xiàn)包括：HDFS文件系統(tǒng)的使用；HBase的使用；MapReducer程序?qū)崿F(xiàn)；大數(shù)據(jù)案例分析與實現(xiàn)。
3 結(jié) 語
本文分析了大數(shù)據(jù)背景下高職計算機網(wǎng)絡(luò)專業(yè)的培養(yǎng)目標和課程體系的改革思路，在優(yōu)化計算機網(wǎng)絡(luò)專業(yè)傳統(tǒng)課程的基礎(chǔ)上，增加大數(shù)據(jù)、云計算等相關(guān)課程，并以Hadoop課程的具體教學實施來培養(yǎng)學生的實踐能力，使得學生能夠緊跟大數(shù)據(jù)、云計算的技術(shù)步伐，滿足工作崗位的要求。
參考文獻
[1]趙偉艇，夏棟梁.基于崗位能力培養(yǎng)的云計算課程群知識體系構(gòu)建研究[J].電腦知識與技術(shù)，2016，12（2）：167-169.
[2]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學報，2013（S1）：142-146.
[3]孟小峰，慈祥.大數(shù)據(jù)管理概念技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，50（1）：146-169.
[4]王錚.基于Hadoop的分布式系統(tǒng)研究與應(yīng)用[D].長春：吉林大學，2014.
[5]陳吉榮，樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計算機工程與科學，2013，35（10）：25-35.
[6]曾文英，吳積軍，曾文權(quán)，等.基于云計算的IT課程體系改革[J].計算機教育，2014（17）：40-44.
[7]鮑愛華，陳衛(wèi)衛(wèi)，劉鵬，等.云計算課程內(nèi)容體系的建設(shè)與實踐[J].計算機工程與科學，2014，36（A02）：42-45.
