城市軌道交通（以下簡稱“城軌”）作為大中城市公共交通的主動脈，每天客流量高達幾百萬人次，且客流量還在不斷上升，這對各城市的軌道交通公司的運維能力提出了較高的要求：一方面，要保障的線路安全可靠運行，避免發生安全事故；另一方面，要優化維修計劃，將“計劃修”轉變為“狀態修”，從而減少車輛維修時間，降低維修成本。因此，需要采用一種智能化的城軌車輛運維方案，實現對城軌列車關鍵系統和部件運行狀態的實時監測，并依托大數據、人工智能等技術，結合車輛運行和檢修數據進行分析挖掘，診斷并預測設備的健康狀態，從而保障的車輛安全性和可靠性，即建立城軌車輛智能運維系統。
中國中車股份有限公司（英語：CRRC Corporation Limited，縮寫：CRRC），簡稱中國中車，是中國一家從事鐵路機車、鐵路車輛、動車組、地鐵及其零部件的研發、制造、廠修及 IGBT、公車等周邊產業的大型中央企業，是全球最大的軌道交通設備制造商和解決方案供應商。
基于IoTDB時序數據庫的特點和優勢和其在城軌車輛智能運維系統構建中的適用性，中國中車選擇 IoTDB 作為城軌車輛智能運維系統的核心部分，設計了一種輕量化的系統架構，有效提高了存儲空間利用率和數據檢索效率。
1.業務需求痛點
城軌車輛智能運維系統需要實現從數據采集、數據存儲到數據分析、數據展示的全流程、全功能的覆蓋。流轉于系統內的數據具有變量多、周期短、變化小、時效性強等特點，因此對系統中各功能模塊的性能提出了較高要求。
1.1 毫秒級實時數據接收
城軌車輛上安裝的數據采集和發送裝置可實時采集和發送車輛的運行狀態數據和故障數據。城軌車輛智能運維系統可實時獲取列車信息。系統需在一個周期（一般為毫秒級）內完成對所有車輛發送的當前周期內數據的校驗和存儲操作。
1.2 TB級數據存儲
城軌車輛智能運維系統所需數據存儲空間大。一條城軌線路的列車數量一般在20列以上，每列列車上各子系統的傳感器數量可達上萬個，需回傳至地面系統的變量一般為3000～5000個左右，每個變量至少需14字節（標識符占4字節，時間戳占6字節，值占4字節）。按照500ms的發送周期，及最小的列車數量、變量數、字節數計算，城軌車輛智能運維系統覆蓋一條線路時一年所需的存儲空間為52980480000000字節，約為48.19TB。當覆蓋的線路增多時，數據量將會呈線性增長。
1.3 實時監控
城軌車輛智能運維系統需實現城軌列車運行狀態的實時監控，這就要求系統必須在一個數據接收周期內將所有變量當前的最新值更新至顯示前端。同時，系統還應提供對歷史數據的查詢和展示功能，即將一段時間范圍內的數據以美觀、易理解的圖表形式向用戶展示出來，并在用戶可接受的時間內返回結果。
1.4 便捷計算統計
城軌車輛智能運維系統所接收的數據中，有些需要先進行計算、換算或者統計，然后再進行展示，并希望無需編寫復雜的 SQL 語句就能實現計算功能。例如：通過電流值和電壓值計算功率值、換算載荷值的單位，統計牽引能耗在某小時、某天、某月內的最大值、最小值、平均值、累計值等。
2.數據庫選型
目前，城軌車輛智能運維系統大多以關系型或非關系型數據庫作為其數據存儲的核心架構。這種數據庫雖然實現了時序數據的存儲需求，但寫入和查詢性能較差，且在數據壓縮、數據展示等方面功能不夠完善。為解決需求痛點，中車使用時序數據庫 IoTDB 作為城軌車輛智能運維系統的核心部分，應用于對城軌車輛實時數據的采集、存儲和展示。城軌車輛智能運維系統之所以以 IoTDB 時序數據庫為核心進行構建，原因為下述幾個 IoTDB 的技術、性能和功能優勢。
2.1 IoTDB應用架構體系
IoTDB 由多個組件構成，涵蓋數據收集、數據寫入、數據存儲、數據查詢、數據分析、數據可視化等多個功能。IoTDB應用架構如下圖所示。IoTDB 通過 JDBC（Java 數據庫連接）驅動，廣泛地支持多種異構數據源的接入，包括設備數據、系統狀態數據、消息隊列數據、應用數據以及其他數據庫中的數據等。用戶通過命令行客戶端交互工具能夠對數據庫進行寫入和查詢操作，也可以通過 Grafana 監控工具以圖形化方式查看數據變化趨勢。TsFile 是一種專門為時間序列數據而設計的存儲格式，支持高效的壓縮和查詢能力，是 IoTDB 的核心組成部分。對于寫入 TsFile 文件中的數據，可以通過 TsFileSync 同步工具將文件同步至 HDFS（Hadoop分布式文件系統）中，進而實現在 Hadoop 或 Spark 等開源平臺上進行時序數據的處理和分析。
2.2 技術優勢
2.2.1 高效存儲數據結構
對實時數據和歷史數據存儲是時序數據庫最基礎、最核心的功能。下圖展示了 IoTDB 的路徑層級示例。通過“路徑+時間范圍”的組合，可以唯一確定 IoTDB 中的時序數據。此外，采用路徑的層級設計，可以實現通過路徑劃分不同的存儲空間，屬于同一路徑層級的數據能夠存儲在連續的磁盤空間上，避免了頻繁的I/O(輸入/輸出)切換，并且隔離了不同的時序數據。
2.2.2 一寫多讀根據數據量靈活擴展
IoTDB支持“一寫多讀”的部署模式，即一個系統內可以部署多套 IoTDB。通過寫入節點負責寫入、查詢負載，多個查詢節點負責歷史數據的查詢負載，IoTDB 有效均衡了寫入和查詢工作量，避免兩種操作對磁盤、網絡的相互影響。隨著數據量的不斷增加，只需擴展查詢節點的硬件設備，無需中斷系統的正常運行。此外，IoTDB 基于 Raft 協議實現了一種分布式框架，將數據按時間序列組進行分區，以多副本的方式實現數據的可靠存儲，并通過共識協議保證數據的強一致性。
2.3 性能優勢
2.3.1 高頻數據寫入和查詢
IoTDB對時序數據的處理具有天然的優勢，能夠實現每秒數百萬數據點寫入和查詢的能力。中國中車通過模擬城軌車輛運行狀態數據，對 IoTDB-v0.11.2進行了寫入和查詢性能測試，測試結果匯總于表1和表2中。根據測試結果可以看出，IoTDB 能夠有效支撐線網級城軌車輛智能運維系統的寫入和查詢性能需求。
2.3.2 多種歷史數據壓縮方式節省成本
利用 IoTDB 的歷史數據壓縮能力可以有效減少城軌車輛智能運維系統歷史數據的數據量，節省存儲介質成本。歷史數據壓縮是利用各種算法縮小歷史數據的冗余部分，同時盡量減少或避免數據失真。歷史數據的壓縮方式一般分為有損壓縮、無損壓縮和二級壓縮三種。有損壓縮能夠實現較高的壓縮比，但會導致數據精度下降；無損壓縮不會降低原數據的精度，但要在壓縮率、壓縮速度和解壓速度三者之間進行權衡；二級壓縮則是結合了上述兩種壓縮方式的優點，即先對數據進行第一級有損壓縮，再使用無損壓縮算法進行第二級壓縮。此外，壓縮算法的效果還依賴于數據本身，數據變化越小、精度要求越低，則壓縮效果越好。
2.4 功能優勢
2.4.1 支持異常數據處理場景
由于網絡延遲、軟件性能、設備故障等原因不可避免地會出現數據無序到達、產生錯誤數據和重復數據等異常情況。IoTDB 能夠支持數據異常情況下的工業應用場景，包括時間序列數據的亂序寫入、時間序列數據的批量更新，以及對無效、無用時間序列數據的清理刪除。
2.4.2 數據降采樣提升查詢響應速度
數據降采樣是指數據庫對查詢到的結果集按照一定規則進行重新篩選，使篩選后的數據量小于原始數據量，且又不影響數據查詢者的應用需求。IoTDB 通過聚合操作實現數據的降采樣功能，既能保證圖表的準確性，也能有效減少數據傳輸量，提高響應速度，不出現如數據點過于密集導致影響整體展示效果。
2.4.3 多種操作提升預處理效果
城軌車輛上的子系統、設備、傳感器種類繁多，各自具有不同的采樣頻率，在進行數據分析之前，需要對時序數據進行預處理。IoTDB 支持多種基于時間序列維度的數據操作，如按照時間戳進行數據對齊、按時間戳進行時序數據分割等，有效減少了數據預處理的難度和復雜度。
2.4.4 可自定義計算方式及保存計算結果
相比于關系型數據庫，IoTDB 時序數據庫能夠提供更為強大的計算能力。通過 IoTDB 內置的統計分析計算函數，可以根據時序數據的時間戳進行基于時間斷面的計算、基于年月日的統計計算等。結合各類函數和自定義的計算公式，能夠實現對原始數據進行復雜計算，計算結果可保存在 IoTDB 中，也可用于再次計算。
2.4.5 兼容大數據分析工具
基于大數據技術和Hadoop生態軟件進行城軌列車運維數據分析是當前的一個熱門課題。IoTDB 能夠完美對接Hadoop生態中的各種軟件，配合 Ha-doop 提供的分布式計算、存儲機制，可提高城軌車輛智能運維系統在大數據管理和分析方面的運行效率和處理能力。此外，IoTDB 還可以對接 Spark 實時計算引擎，提供一種輕量級的數據分析解決方案，降低硬件資源部署量。
2.4.6 提供可視化工具展示數據
存入 IoTDB 的時序數據可通過可視化工具進行展示，便于城軌車輛智能運維系統的用戶對進入系統的原始數據進行觀察和分析。Grafana 是一款開源的度量分析和可視化工具，具有數據監控、數據統計和告警等功能。通過開發 IoTDB-Grafana 適配器，用戶可利用 Grafana 的 Web 頁面以可視化圖表的方式直接查看IoTDB中的數據并進行分析，也可以在 Grafana 上進行一些數據探索工作。
3.解決方案架構
城軌車輛智能運維系統以保障城軌車輛運行安全、提高車輛檢修質量、提升運營管理整體效能為目標，結合物聯網、云計算、大數據等技術，實現對列車運行過程的全息感知和實時監控，有效輔助管理人員進行科學決策。
基于IoTDB時序數據庫構建城軌車輛智能運維系統，其總體架構如上圖所示，共分為3層，包括數據源層、數據存儲層和數據應用層。該設計以 IoTDB 時序數據庫代替了傳統的關系型數據庫和 NoSQL 數據庫，顯著提高了對城軌列車時序數據的寫入和查詢效率，且能夠滿足數據量持續增長的需求。
3.1數據源層
數據源層覆蓋所有城軌列車，列車上不同子系統、不同設備上的傳感器產生的數據。這些數據按照特定發送周期，通過無線傳輸模塊以 TCP、MQTT 等協議發送至城軌運營公司的數據中心。
3.2 數據存儲層
數據存儲層主要由IoTDB時序數據庫和Kafka消息隊列組成。數據源層發來的時序數據首先進入Kafka消息隊列進行緩存，按照一定的規則或算法進入不同的 Topic 和 Partition。這樣既能分擔寫入任務的負載，也能通過Kafka的副本機制，確保接收到的數據不會丟失。IoTDB－JDBC接口從 Kafka 的消費者端接收列車的實時數據，并存入寫入節點的實時數據 TsFile 文件中。
隨著數據量的不斷擴大，當單個 IoTDB 節點的存儲能力無法支撐數據存儲時，可采用橫向擴展的方式再部署一個或多個 IoTDB 查詢節點，并設置為只讀模式。在“一寫多讀”方式下，為避免單點故障，實現高可用，將寫入節點配置為主備模式，通過 IoTDB 自身的同步機制實現數據同步。
IoTDB 處理過的實時數據為監視控制類應用提供支撐，歷史數據為數據分析和挖掘類應用提供訓練和測試樣本。由于采用了數據壓縮技術，歷史數據所占用的存儲空間能夠得到有效控制。
3.3 數據應用層
數據應用層是系統對外輸出能力的展現，提供如車輛運行狀態監控、故障報警、設備健康管理、維修信息管理、報表生成等多種應用。城軌運營公司基于這些應用，可實現智能化管理，減少人力成本，提升城軌交通服務水平。
4.總結
在 IoTDB 的助力下，城軌車輛智能運維系統可以充分發揮其處理城軌列車時序數據的天然優勢，同時又可以無縫對接大數據管理分析平臺，具有高性能、高可靠性和高易用性等特點。未來，本案例給出的輕量化系統架構設計，可為城軌車輛智能運維系統的后續開發提供參考和借鑒。IoTDB 會繼續支持中國中車對于時序數據的處理及分析需求，以更加豐富的功能幫助城軌車輛智能運維系統實現優化。
本文整理自：IoTDB 物聯網數據庫在城市軌道交通車輛智能運維系統中的應用, 城市軌道交通研究,2021原論文作者：姜仕軍;徐曉晨;徐燕芬;杜廣林
