我國一直以來都是農(nóng)業(yè)大國,在農(nóng)產(chǎn)品生產(chǎn)與銷售方面具有不可忽視的地位,隨著經(jīng)濟(jì)的騰飛,人們的收入持續(xù)增長,對(duì)生鮮農(nóng)產(chǎn)品、水產(chǎn)品、蔬菜水果、肉類的需求與日俱增,這種持續(xù)擴(kuò)張的消費(fèi)需求也給農(nóng)產(chǎn)品冷鏈物流的發(fā)展帶來了積極影響,因此其未來的發(fā)展前景一片光明[1]。然而,就目前情況來看,國家農(nóng)產(chǎn)品冷鏈物流管理的數(shù)字化程度仍然不高,需要充分運(yùn)用大數(shù)據(jù)技術(shù),對(duì)農(nóng)產(chǎn)品冷鏈物流管理系統(tǒng)進(jìn)行完善與優(yōu)化,依托高效且先進(jìn)的物流管理技術(shù),提高企業(yè)客戶黏性,實(shí)現(xiàn)冷鏈物流數(shù)據(jù)價(jià)值的加速提升。
目前我國冷鏈物流行業(yè)已經(jīng)進(jìn)入迅猛發(fā)展的關(guān)鍵期,特別是在農(nóng)產(chǎn)品冷鏈物流方面,發(fā)展的環(huán)境與條件日漸健全,農(nóng)產(chǎn)品冷鏈物流初步形成一定的規(guī)模。以某些生鮮農(nóng)產(chǎn)品出口企業(yè)為例,他們引進(jìn)了一些國際領(lǐng)先型管理技術(shù)如GMP及HACCP等,全程都可采用嚴(yán)格的低溫控制;某些連鎖超市也加大了對(duì)生鮮農(nóng)產(chǎn)品檢測與銷售環(huán)節(jié)冷鏈控制的力度,確保市民可以購買到更加安全有保障的產(chǎn)品[2]。然而相較于發(fā)達(dá)國家,我國的農(nóng)產(chǎn)品冷鏈物流并未建立起一體化的冷鏈物流體系,這也最終導(dǎo)致人們對(duì)健康安全食品的需求無法得到有效滿足。
盡管我國的冷鏈物流迅速崛起,但因?yàn)槠鸩酵怼⒒A(chǔ)設(shè)施不足,特別是農(nóng)產(chǎn)品冷鏈的運(yùn)輸和存儲(chǔ)設(shè)施面臨著一定的挑戰(zhàn)與困難,過度老化的設(shè)施已無法滿足市場需求。由于先進(jìn)的冷鏈物流技術(shù)并未在農(nóng)村及城市郊區(qū)等地方得到廣泛運(yùn)用,因此大多數(shù)生鮮農(nóng)產(chǎn)品不得不依賴常溫方式進(jìn)行運(yùn)輸和銷售。有關(guān)資料表明,生鮮農(nóng)產(chǎn)品,如肉類及果蔬等,若在常溫下運(yùn)輸和儲(chǔ)存,將會(huì)產(chǎn)生20%~30%的損耗率,會(huì)嚴(yán)重?fù)p害它們的品質(zhì),也會(huì)導(dǎo)致大量的資源浪費(fèi)。此外,當(dāng)前我國企業(yè)并未充分關(guān)注全程冷鏈控制,冷鏈質(zhì)量監(jiān)控手段也并不健全,操作者未嚴(yán)格執(zhí)行溫控制度的情況時(shí)有發(fā)生,導(dǎo)致農(nóng)產(chǎn)品流通期間全程溫控?zé)o法得到有效落實(shí),嚴(yán)重影響著產(chǎn)品的質(zhì)量與安全。此外,一些中小型物流企業(yè)受資金所限,無法全程應(yīng)用現(xiàn)代化的保溫制冷技術(shù)、相關(guān)監(jiān)測技術(shù)以及實(shí)施溫度控制等,導(dǎo)致無法在供應(yīng)鏈各個(gè)環(huán)節(jié)及時(shí)共享信息,難以有效跟蹤物流全過程的冷鏈信息。
基于現(xiàn)今冷鏈物流技術(shù)的應(yīng)用情況不難發(fā)現(xiàn),信息技術(shù)及數(shù)字技術(shù)并未得到廣泛運(yùn)用。第一,流通期間的產(chǎn)品信息管理存在欠缺。第二,倉儲(chǔ)過程中包括智能溫濕度在內(nèi)的各類環(huán)境因素控制存在欠缺。只有充分運(yùn)用數(shù)字信息技術(shù),才能建立起相對(duì)完善的冷鏈物流系統(tǒng)。但目前,冷鏈物流技術(shù)應(yīng)用程度普遍不高,使得農(nóng)產(chǎn)品冷鏈物流體系的發(fā)展嚴(yán)重受限。在整個(gè)冷鏈物流體系中,相關(guān)操作員工入職前后并未接受系統(tǒng)化的培訓(xùn),導(dǎo)致其對(duì)該行業(yè)的運(yùn)作流程和農(nóng)產(chǎn)品特性知之甚少,這也給其工作效率帶來了一定的負(fù)面影響。冷鏈物流企業(yè)主要通過融合傳統(tǒng)和現(xiàn)代模式實(shí)現(xiàn)技術(shù)傳承[3]。但是,僅仰賴?yán)蠁T工經(jīng)驗(yàn)已跟不上冷鏈物流前進(jìn)的步伐,一旦經(jīng)驗(yàn)存在缺陷或不夠科學(xué)合理,必將嚴(yán)重制約其發(fā)展。而要想確保農(nóng)產(chǎn)品在冷鏈運(yùn)輸中的品質(zhì),則需要具備熟練的操作技能,然而面向冷鏈物流人員的培訓(xùn)體系并不健全,培訓(xùn)方法也過于單調(diào)。
在大數(shù)據(jù)時(shí)代下構(gòu)建農(nóng)產(chǎn)品冷鏈物流系統(tǒng)平臺(tái),旨在優(yōu)化冷鏈物流企業(yè)的管理?;谵r(nóng)產(chǎn)品冷鏈物流工作實(shí)際,這一系統(tǒng)在功能設(shè)計(jì)方面需要考慮以下需求。
農(nóng)產(chǎn)品冷鏈物流系統(tǒng)需要用到多種傳感器,由此而生成的原始數(shù)據(jù)量大且類型繁多,傳統(tǒng)數(shù)據(jù)庫要有效存儲(chǔ)和管理這些數(shù)據(jù)存在一定的難度。冷鏈物流中涉及的大量數(shù)據(jù)存儲(chǔ)管理面臨的主要挑戰(zhàn)在于需要處理多種數(shù)據(jù)類型,包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。需要清洗所獲取的數(shù)據(jù)并對(duì)其進(jìn)行分類存儲(chǔ)管理,以便有效處理不同類型的信息。實(shí)際操作中,可將數(shù)據(jù)存儲(chǔ)與分析模塊劃分為以下幾個(gè)子模塊:第一,數(shù)據(jù)存儲(chǔ)管理。作為分布式文件管理系統(tǒng),HDFS不僅能存儲(chǔ)多份數(shù)據(jù),還具有一定的自動(dòng)恢復(fù)機(jī)制,這為其確保高容錯(cuò)性提供了有力保障,與此同時(shí)還支持處理百萬級(jí)文件規(guī)模。通過瀏覽器可瀏覽HDFS列表,并針對(duì)文件或文件夾完成一系列操作,如更名、下載、刪除以及查找等。冷鏈物流管理系統(tǒng)運(yùn)作期間會(huì)生成很多小文件,而這些小文件的存儲(chǔ)會(huì)使Hadoop的使用性能嚴(yán)重下降,最有效的辦法就是按照文件類別和大小進(jìn)行分組合并,以平衡存儲(chǔ)和計(jì)算性能。第二,數(shù)據(jù)倉庫管理。數(shù)據(jù)倉庫作為數(shù)據(jù)流水線,主要通過ETL多源獲取數(shù)據(jù),日常操作中其主要職責(zé)是保障ETL流程的順利和穩(wěn)定運(yùn)行[4]。Hive被用作該模塊數(shù)據(jù)倉庫的主要工具。第三,數(shù)據(jù)類別管理。這一模塊的主要功能是有效分類和處理不同數(shù)據(jù)文件。第四,數(shù)據(jù)分析管理。數(shù)據(jù)分析功能模塊致力于根據(jù)結(jié)構(gòu)化數(shù)據(jù)處理模式,快速、便捷地統(tǒng)計(jì)與分析冷鏈物流系統(tǒng)中所產(chǎn)生的大規(guī)模數(shù)據(jù)。為了尋求價(jià)值化信息,該模塊利用SQL類型的操作對(duì)冷鏈物流中的關(guān)鍵信息如濕度、溫度、時(shí)間、轉(zhuǎn)載量以及制冷技術(shù)等進(jìn)行監(jiān)測,同時(shí)對(duì)其展開深入的分析與挖掘。
農(nóng)產(chǎn)品冷鏈物流管理系統(tǒng)不僅要實(shí)現(xiàn)上述數(shù)據(jù)的存儲(chǔ)和分析需求,還需滿足大容量存儲(chǔ)和擴(kuò)展性需求,此平臺(tái)支持存儲(chǔ)大規(guī)模、多樣化的冷鏈物流數(shù)據(jù),包括非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),并對(duì)其進(jìn)行存儲(chǔ)管理。其分布式文件存儲(chǔ)能力允許數(shù)據(jù)分布在多個(gè)服務(wù)器上,以滿足數(shù)據(jù)存儲(chǔ)和分析的需求[5]。該平臺(tái)具備靈活性,能夠基于實(shí)際業(yè)務(wù)需求變化隨時(shí)增加服務(wù)器節(jié)點(diǎn),以增強(qiáng)計(jì)算與存儲(chǔ)能力。此外,該平臺(tái)不僅支持開發(fā),而且還能從多個(gè)方面為上層應(yīng)用提供相應(yīng)的服務(wù)。農(nóng)產(chǎn)品冷鏈物流系統(tǒng)平臺(tái)應(yīng)具有穩(wěn)定性,即便集群中某個(gè)節(jié)點(diǎn)宕機(jī)或一些進(jìn)程中斷導(dǎo)致服務(wù)故障,整個(gè)平臺(tái)仍然能順利運(yùn)行。不同任務(wù)和服務(wù)應(yīng)相互隔離,確保獨(dú)立運(yùn)行。此外,還應(yīng)多次備份平臺(tái)中所存儲(chǔ)的文件,以便于在遭遇損壞時(shí)可迅速恢復(fù),從而保障數(shù)據(jù)的完整性與可靠性。
農(nóng)產(chǎn)品冷鏈物流系統(tǒng)平臺(tái)利用集群多處理器所具有的分布式計(jì)算特性,來滿足農(nóng)產(chǎn)品冷鏈物流的大數(shù)據(jù)處理需求。平臺(tái)的活躍節(jié)點(diǎn)數(shù)量與計(jì)算速度呈正相關(guān),支持使用Java等編程語言進(jìn)行程序開發(fā),同時(shí)可以高效處理SQL類型數(shù)據(jù)。為了保障數(shù)據(jù)安全,避免出現(xiàn)泄露風(fēng)險(xiǎn),平臺(tái)應(yīng)建立健全相應(yīng)的安全機(jī)制。詳細(xì)記錄貨物流轉(zhuǎn)的每一環(huán)節(jié),確保信息查詢可以追溯到源頭,盡可能降低丟包風(fēng)險(xiǎn)[6]。除此之外,為有效提升用戶使用體驗(yàn),農(nóng)產(chǎn)品冷鏈物流系統(tǒng)特設(shè)可視化界面,用于呈現(xiàn)冷庫及車廂環(huán)境信息、共享車輛路徑和有關(guān)統(tǒng)計(jì)數(shù)據(jù)等,使用戶操作更加直觀便捷。
隨著大數(shù)據(jù)時(shí)代的開啟,農(nóng)產(chǎn)品冷鏈物流的功能需求也發(fā)生了一定的改變,結(jié)合農(nóng)產(chǎn)品冷鏈物流實(shí)際,設(shè)計(jì)如下功能模塊。
在大數(shù)據(jù)存儲(chǔ)及分析模塊中,通過數(shù)據(jù)處理及關(guān)聯(lián)分析、數(shù)據(jù)監(jiān)控、信息可視化等多元化功能,安全存儲(chǔ)、聚合并有效處理整個(gè)農(nóng)產(chǎn)品冷鏈物流各個(gè)環(huán)節(jié)中的海量數(shù)據(jù),從而在全流程調(diào)度中發(fā)揮積極作用,使相關(guān)管理人員能夠第一時(shí)間獲取市場供求、農(nóng)產(chǎn)品、車輛運(yùn)輸、倉庫等相關(guān)狀態(tài)信息,并在了解相關(guān)信息的基礎(chǔ)上制定科學(xué)合理的策略。第一,存儲(chǔ)數(shù)據(jù)。有效處理市場供求訂單、農(nóng)產(chǎn)品、倉庫以及車輛運(yùn)輸?shù)认嚓P(guān)信息之后,再劃分不同的數(shù)據(jù)類別進(jìn)行區(qū)別存儲(chǔ)管理,再分布式存儲(chǔ)各個(gè)類別數(shù)據(jù)并加以統(tǒng)計(jì)。[7]在農(nóng)產(chǎn)品冷鏈物流管理的各個(gè)環(huán)節(jié)中,包含農(nóng)產(chǎn)品出入庫、物流訂單、車輛、倉儲(chǔ)以及監(jiān)控農(nóng)產(chǎn)品運(yùn)輸全程的環(huán)境信息等結(jié)構(gòu)化數(shù)據(jù)。另外,在農(nóng)產(chǎn)品冷鏈物流平臺(tái)中,存儲(chǔ)包括物流訂單、駕駛過程中安全行駛視頻文件、冷庫監(jiān)測視頻文件等非結(jié)構(gòu)化數(shù)據(jù)。在存儲(chǔ)多媒體文件的過程中,還會(huì)同步存儲(chǔ)訂單和貨物的基本信息、視頻相關(guān)基本信息等相關(guān)非結(jié)構(gòu)化數(shù)據(jù)。系統(tǒng)引入HBase方式有效存儲(chǔ)文件,HBase在列的基礎(chǔ)上形成數(shù)據(jù)庫,可以大大簡化刪減數(shù)據(jù)表等相關(guān)數(shù)據(jù)的操作。第二,數(shù)據(jù)監(jiān)控。實(shí)時(shí)監(jiān)控各個(gè)農(nóng)產(chǎn)品冷鏈物流環(huán)節(jié)的有關(guān)數(shù)據(jù),第一時(shí)間預(yù)警提示非正常數(shù)據(jù)。在數(shù)據(jù)監(jiān)控的過程中,主對(duì)冷庫環(huán)境信息、訂單詳情、車廂環(huán)境、農(nóng)產(chǎn)品信息、其他數(shù)據(jù)等信息進(jìn)行有效監(jiān)控。第三,處理數(shù)據(jù)并有效分析關(guān)聯(lián)性內(nèi)容。查找、刪減并實(shí)時(shí)更新Mysql,Hive,HBase等不同類型的文件,再將相關(guān)數(shù)據(jù)加以整合以進(jìn)一步深挖相關(guān)信息,并將其轉(zhuǎn)換成服務(wù)內(nèi)容,使之在滿足不同客戶多元化需求的過程中發(fā)揮積極作用。第四,信息可視化。對(duì)于基于大數(shù)據(jù)基礎(chǔ)的農(nóng)產(chǎn)品冷鏈物流管理平臺(tái)而言,可以從農(nóng)產(chǎn)品信息、車輛運(yùn)輸信息、冷庫信息等方面著手進(jìn)行可視化展示。第四,數(shù)據(jù)倉庫。該平臺(tái)的數(shù)據(jù)倉庫平臺(tái)是Hive。將存儲(chǔ)表與HDFS的文件夾或目錄一一對(duì)應(yīng)。在Hive中引入Metastore數(shù)據(jù)存儲(chǔ)庫存儲(chǔ)數(shù)據(jù),有效進(jìn)行倉庫數(shù)據(jù)管理。其中記錄了各個(gè)數(shù)據(jù)表的路徑、名稱以及屬性等相關(guān)信息。另外,系統(tǒng)引入Mysql數(shù)據(jù)庫有效存儲(chǔ)Metastore。
只有全面了解農(nóng)產(chǎn)品冷鏈物流市場供求關(guān)系的具體情況,才能統(tǒng)籌規(guī)劃合理分配資源,進(jìn)而提高交易效率,有效規(guī)避牛鞭效應(yīng)。在重點(diǎn)關(guān)注物流資訊、市場消費(fèi)情形等信息的基礎(chǔ)上進(jìn)行市場供求關(guān)系管理。通過市場消費(fèi)情形獲取不同區(qū)域消費(fèi)人口數(shù)量并加以統(tǒng)計(jì)。有更多的人口量的區(qū)域就意味著有更大的農(nóng)產(chǎn)品需求量[8]??陀^掌握不同區(qū)域消費(fèi)群體的消費(fèi)習(xí)慣、收入水平以及對(duì)農(nóng)產(chǎn)品價(jià)格的預(yù)期數(shù)據(jù),實(shí)時(shí)了解市場成交動(dòng)態(tài),以此為基礎(chǔ)統(tǒng)籌制定生產(chǎn)和采購計(jì)劃,進(jìn)而逐步優(yōu)化配置資源。物流資訊是指匯總整理不同區(qū)域各個(gè)交通道路的物流資訊并加以分析,全方位掌握不同區(qū)域動(dòng)態(tài)的農(nóng)產(chǎn)品市場供求信息,以此為基礎(chǔ)逐步優(yōu)化物流信息,在保證物流效率的同時(shí)促成交易。
通常情況下,冷庫為了保證農(nóng)產(chǎn)品的新鮮度,設(shè)定的冷庫溫度在0~-10℃之間,這樣的溫度范圍內(nèi)能夠有效降低水的蒸發(fā)速率,抑制農(nóng)產(chǎn)品的呼吸作用。倉儲(chǔ)管理顧名思義是管理冷庫環(huán)境、出入庫農(nóng)產(chǎn)品和庫內(nèi)等信息。第一,管理冷庫環(huán)境。定期檢測冷庫的濕度、溫度以及含氧量等數(shù)據(jù),確保相關(guān)數(shù)據(jù)符合冷庫倉儲(chǔ)和運(yùn)輸需求。第二,管理農(nóng)產(chǎn)品入庫信息。整理農(nóng)產(chǎn)品入庫信息并做好入庫農(nóng)產(chǎn)品類別、批次、入庫時(shí)間、價(jià)格、數(shù)量等數(shù)據(jù)的記錄,以此為基礎(chǔ)統(tǒng)籌制定入庫調(diào)度計(jì)劃。第三,管理農(nóng)產(chǎn)品出庫信息。統(tǒng)計(jì)出庫農(nóng)產(chǎn)品批次、價(jià)格、出庫時(shí)間、類別等相關(guān)數(shù)據(jù)并做好記錄,以此為基礎(chǔ)統(tǒng)籌制定出庫調(diào)度計(jì)劃[9]。第四,做好庫內(nèi)管理。設(shè)置冷庫內(nèi)盤點(diǎn)流程,結(jié)算冷庫內(nèi)農(nóng)產(chǎn)品貨物,實(shí)時(shí)監(jiān)測當(dāng)下各個(gè)冷庫的情況,實(shí)時(shí)了解不同冷庫實(shí)際庫存余量。另外,把冷鏈物流管理的核心放在對(duì)訂單派送流程的有效管理上,內(nèi)容包括冷鏈物流配送貨物信息、運(yùn)輸車輛基本信息以及配送事故的處理等。
確保農(nóng)產(chǎn)品品質(zhì)的關(guān)鍵在于完成采摘和加工之后將其立即置于冷庫冷藏。這一過程中需要加強(qiáng)對(duì)很多數(shù)據(jù)信息的管理,如產(chǎn)品、存儲(chǔ)、加工以及流通環(huán)節(jié)信息等。所處環(huán)境不同,各類農(nóng)產(chǎn)品的保鮮時(shí)間也存在顯著差異[10]。因此,系統(tǒng)內(nèi)必須記錄和存儲(chǔ)各類農(nóng)產(chǎn)品的相關(guān)信息,這些信息需涵蓋農(nóng)產(chǎn)品的細(xì)節(jié)(包括品名、產(chǎn)地、批次以及采摘時(shí)間等)、加工情況(包括農(nóng)場和企業(yè)信息以及包裝時(shí)間等,還有記錄生產(chǎn)過程信息)、存儲(chǔ)信息(包括倉庫與車廂內(nèi)的溫濕度記錄、出入庫時(shí)間、訂單信息以及派送記錄等),以及流通環(huán)節(jié)的管理信息(包括收購價(jià)格、購進(jìn)數(shù)量、不同經(jīng)銷商情況以及認(rèn)證標(biāo)準(zhǔn)等)。
當(dāng)今,農(nóng)產(chǎn)品冷鏈物流可謂蓬勃發(fā)展,由此而生成的數(shù)據(jù)類型和數(shù)量也與日俱增,對(duì)農(nóng)產(chǎn)品冷鏈物流系統(tǒng)的數(shù)據(jù)分析與處理能力提出了更高的要求。本文在深入分析大數(shù)據(jù)環(huán)境下農(nóng)產(chǎn)品冷鏈物流管理系統(tǒng)對(duì)大規(guī)模數(shù)據(jù)處理需求的基礎(chǔ)上,提出與該系統(tǒng)平臺(tái)相適應(yīng)的功能設(shè)計(jì),為科學(xué)合理地運(yùn)用大數(shù)據(jù)技術(shù),完善并改進(jìn)冷鏈物流企業(yè)管理信息系統(tǒng),滿足企業(yè)物流的高水平管理需求,全面提高物流管理成效奠定了堅(jiān)實(shí)的理論基礎(chǔ)。