過程工業公司收集制造數據已經有幾十年了。隨著硬件和軟件的不斷發展進步，在制造企業內會產生更多的數據，收集的數據用于描述過程工況、供應鏈指標和其它生產信息。

然而，企業難以將大量數據轉換為有用的信息和見解。這樣可以提高過程裝置、工廠以及業務的可靠性、安全性。但隨著數據量的增長，隨之而來的挑戰也在不斷增加。

在計算機化、傳感器和無線技術不斷發展的基礎上，一場由工業物聯網(IIoT)推動的工業革命正在如火如荼的進行著——這極大地擴展了存儲和分析的數據類型和數量。

從歷史上看，過程生產制造商使用電子表格來組織以表格形式收集的數據。電子表格最初用于會計和財務，但它從來都不是大量時間序列相關數據的最佳處理工具。但是，它們允許構建支持軟件的公式，以及進行跨多個工作表的計算。

因此，工程師們習慣采用電子表格用于項目的數據分析，但該過程會耗費大量的人力和時間。此外，使用電子表格在成果分享以及與他人合作方面有一定的困難。隨著企業積累的數據越來越多，他們希望找到更有效的方法在企業內共享數據驅動的信息。

大數據帶來的挑戰

顯然，高級分析軟件是應對這些挑戰和障礙的一個方法。為了理解這些先進特性，讓我們先看看電子表格的不足，以及如何通過分析解決方案應對這些不足。

過程制造和監控系統每天都會產生海量的數據，用于顯示過程工況、運行/產品流程和設備狀況。與控制系統有關的數據以不同的形式生成。一般是將與調查有關的所有數據收集到電子表格中，然后進行分析。從多個來源收集的大量數據，很快會削弱進行有效分析的能力。

在進行分析之前，必須對數據進行排序和清理，并減少電子表格中的數據點數量。儀表信號被重新格式化，以適應電子表格行/列的模式（如圖1所示）。微軟Excel電子表格的上限約為100萬行。例如，常見的過程系統傳感器采樣頻率為每分鐘一次，相當于Excel中每年有50萬行。如果采樣頻率為每30秒一次，或者用戶想要查看兩年的數據，則不可能以適當的分辨率查看所有數據。

圖1：時間是評估過程數據的關鍵因素，通常必須對信號數據重新格式化來統一格式，以便在電子表格中使用。

本文圖片來源：Seeq公司

此外，超過電子表格容量限制的文件可能會遇到性能問題。在多組數據和計算中的分層，可以同時打開大量大型文件，并鏈接到其它應用程序和宏，這些都會妨礙電子表格的可用性。工程師或科學家的過程數據工作流，通常需要所有這些功能。使用電子表格用戶必須對數據段的類型和采樣做出妥協。

數據孤島

雖然與最大容量相關，但數據隔離是一個單獨的問題。例如，每次團隊成員訪問過程數據時，他們首先將其下載到一個單獨的、復制的文件中。這是一次性快照提取。如果數據發生更改或更新，則必須重新做查詢。這可能會對后續計算、清理和見解產生影響。大型文件很難在整個企業中共享并保持同步，尤其是在多個用戶查看相同數據集和數據源的情況下。

考慮到IIoT和云的應用，創建更多和更大的數據庫是一個持續的趨勢。此外，并非所有數據、數據庫和用戶都位于同一個區域。遠程數據庫和用戶進一步使向用戶獲取適當數據的任務變得復雜。

一旦相關數據被集成到電子表格中，用戶如何找到數據驅動的信息？工程師們最感興趣的是數據在一段時間內的行為以及與其它系統部件的關系。例如，溫度、壓力、原料質量和轉化率，都隨時間變化并且彼此之間具有某種關系。

與任何分析一樣，用戶首先必須確定最感興趣的過程點，如最佳穩態工況、關鍵設備振動趨勢、停機、排放事件和其它參數。對每個數據來講，時間都是其中的一個因素。工程師分析跨班次、周數、月或年份匯總的數據，以確定趨勢和根本原因。

要在電子表格中執行此操作，用戶可以對列和行進行排序，以識別感興趣的數據點。這種排序/清理是通過電子表格自帶功能完成的，但微軟列出的Excel表格最常用的十大功能中，有70％是用于數據整理，并不包括數據分析，但問題是數據分析才是價值所在。

在開發電子表格應用程序中，數據處理所花費時間占到50％到90％（如圖2所示）。電子表格算法可以對數據進行排序和切片，但數據處理/計算方法不透明，難以記憶，也難以與同事共享。

圖2：識別和共享源自電子表格分析所得的數據是一個費時、費力的過程。

例如，在裝置月度報告或季度排放評估中，必須重新查詢數據，并且手動復制或通過宏的自動化來實現。如果分析頻率不高，或由不同的人執行，那么學習或重新學習電子表格數據的工作機理，可能需要很長時間。一些團隊有單獨的文檔來描述工作流程，但開發的宏缺乏透明性，這就會影響分析的復用性。

受限的合作

對大數據集進行排序和篩選后，如何共享和分發數據驅動的信息？從電子表格分析中提取信息并共享信息的功能有限，而且計算的不透明性，使協作和結果再現變得困難。此外，出于大小和簡化等方面的原因，通常共享的是圖片格式的分析結果，而不是電子表格本身。

此外，由于數據隔離和密集操作的限制，使用電子表格完成的工作成果必須集中放置，可訪問并提供嚴格的維護。一旦結果轉換成另一種形式并進行分發，這就變得很困難。報告和共享通常包括復制和粘貼工作，或插入/鏈接/查詢/重新查詢（文件崩潰）工作流。

高級分析軟件可解決電子表格在這些方面的限制，以提供更高效的分析，如下面的例子所示。

電子表格面臨的困境

一個谷物制造工廠的能源管理團隊正在負責尋找可降低能源消耗的潛在因素。谷物處理過程中的分批熏蒸步驟消耗了大量的過熱水。

該項目需要過程運營工程師與能源管理項目負責人之間的合作。過程運營和能源管理團隊在尋找節能措施方面面臨著挑戰。

分批熏蒸鍋爐需要消耗大量熱水以維持適當溫度。為了優化能源消耗，提出了一種新的熱水添加歧管，該管具有控制淡水添加的軟件。通過更嚴格的溫度控制策略，可以減少前一批排出的流體，最大限度地減少熱水添加量，同時保持所需的熏蒸溫度。該程序通過減少新過熱水的添加量來節省能量。

為了針對上述問題開發數據驅動的解決方案，過程運營工程師將批處理數據從過程歷史記錄和執行系統中導出到單獨的電子表格中。因為安裝了一個新的控制系統，所以工程師放棄了舊系統的數據并重新開始分析。數據量限制了導出功能，并要求將分析從一年縮小到最近一個季度。此外，歷史數據庫和執行系統的時間序列數據不匹配也是一個問題。正是由于這些差異，需要對兩個系統之間的數據進行手動時間同步。通過最原始的方法，過程運營工程師從幾個批次中創建了一個壓縮的、低分辨率的數據視圖，并通過差值方法獲得一年的數據。

盡管過程工程師努力挖掘可用的配方熏蒸數據，但結果好壞參半。新的電子表格仍然太大，無法與能源管理團隊輕松分享。由于數據規格和復雜性，電子表格在包含計算和圖表后時不時的會崩潰。過程運營和能源管理團隊都投入了大量時間對數據操作進行篩選和排序，以期找到實際結果（如圖3所示）。

圖3：能源管理團隊和過程運營小組花費大部分時間來處理數據而不是分析數據，只有一個人能夠理解并使用電子表格來創建報告。

快速回顧顯示，過程工程師將大部分時間都用于清理、分類、篩選、復制和粘貼感興趣的數據到電子表格中。而只花了很少的時間對實際的運營變化進行分析，盡管這項任務仍然非常繁重。在項目執行期間，負責的工程師晉升到了新職位，一名新工程師接管了這項任務。兩個過程工程師之間數據準備方法不同，也讓結果出現了差異。

這個案例歷史說明了使用電子表格分析過程數據時所面臨的挑戰。盡管工程師們付出了很多努力，但是過程運營小組和能源管理團隊不斷重復相同的步驟來整理數據。問題不在于缺乏數據，通常任何工業設施都是這樣的。相反，問題出在數據時間不同步、格式不統一、數據保存在不同區域。使用電子表格與不同部門共享數據也很困難，有效的可視化和報告工作幾乎是不可能的任務。

應用高級數據分析

高級數據分析軟件可訪問其所在的數據。不需要復制和粘貼，因為該軟件整合了多個數據源的高分辨率數據（圖4）。簡單的查詢命令便于數據定位，并支持簡化排序、清理和組合歷史數據庫以及其它來源所需的數據。

圖4：使用高級分析軟件替換基于電子表格的分析，使能源管理團隊能夠快速獲得結果并分享見解。

高級分析軟件還支持基礎演算和工程師用于將數據轉換為趨勢以及相關數據可視匯總的其它數學函數。有價值的數據更容易整合和情景化以供將來建模使用。此外，新用戶只需要較少的培訓。

應用高級分析軟件工具可加速數據清理、可視化、搜索、情境化和建模過程。使用這些工具，工程師能夠專注于知識獲取、協作和問題解決，而不是數據整理工作。（作者：MichaelRisse）