亚洲国产精品第一区二区三区-日本大骚b视频在线-国产福利酱国产一区二区-国产裸体xxxx视频

關鍵字: 熱門搜索: 起重機 | 挖掘機 | 裝載機 | 泵機 | 壓路機
星邦智能
您當前的位置: 首頁 > 資訊中心 > 企業(yè)動態(tài) > 企業(yè)動態(tài)
山工機械
長安汽車使用 IoTDB 構建 1.5 億時間序列車況數(shù)據(jù)處理方案,查詢穩(wěn)定實現(xiàn)毫秒級返回
dgxdyq.com.cn   2023-04-04  中國工程機械信息網(wǎng)

  1. 長安汽車業(yè)務場景

  重慶長安汽車股份有限公司是中國汽車四大集團陣營企業(yè),是一家開發(fā)、制造、銷售全系列乘用車和商用車的汽車公司,其主要產(chǎn)品有全系列乘用車、小型商用車、輕型卡車、微型面包車和大中型客車,全系列發(fā)動機等。長安汽車始終以“引領汽車文明,造福人類生活”為使命,以客戶為中心,以產(chǎn)品為主線,持續(xù)提供高品質的產(chǎn)品和服務,奮力推進第三次創(chuàng)業(yè)——創(chuàng)新創(chuàng)業(yè)計劃,向智能低碳出行科技公司轉型,為實現(xiàn)世界一流汽車企業(yè)努力奮斗。

  目前,數(shù)字化技術對于汽車進行了深度的重構,汽車從一個配備電子功能的機械產(chǎn)品逐漸演變?yōu)橐粋€配備機械功能的電子產(chǎn)品,云數(shù)據(jù)及 AI 技術的融合逐漸將汽車變?yōu)橐粋€大型的智能移動終端、數(shù)據(jù)采集載體、能源儲能單元和一個移動的多功能空間。總的來說現(xiàn)在的智能汽車已經(jīng)逐漸轉變?yōu)橐粋€具備多功能空間的輪式移動機器人。在這樣的背景下,國家政策大力鼓勵發(fā)展智能化汽車和自動駕駛的產(chǎn)學研帶動,國內(nèi)頭部和新勢力主機廠也逐漸將智能網(wǎng)聯(lián)車或自動駕駛方向作為核心業(yè)務開展。

  長安汽車著力發(fā)展智能化汽車方向,應用全景包括智能車控(遠程控制分析)、智能座艙(車機埋點、車機用戶行為分析)、IoT 數(shù)據(jù)接入(準入檢測、車機激活監(jiān)控)和 IoT 的車況管理(車況監(jiān)控、動力研究、車聯(lián)網(wǎng)大屏),實現(xiàn)業(yè)務展現(xiàn)包括慧眼系統(tǒng)、車輛遠程診斷和遠程預警系統(tǒng)、遠程調(diào)試系統(tǒng)等。

  為實現(xiàn)智能化汽車建設,長安汽車構建了長安智能汽車數(shù)據(jù)平臺,此大數(shù)據(jù)處理平臺一共分為五層:數(shù)據(jù)接入層、數(shù)據(jù)存儲層、資源調(diào)度層、計算引擎層、業(yè)務展現(xiàn)層。目前 IoTDB 主要用于數(shù)據(jù)存儲層,以應對車聯(lián)網(wǎng)海量時序數(shù)據(jù)的管理。

  實現(xiàn)智能化汽車方向的工業(yè)場景涉及到車輛設備和傳感器層大量的時序數(shù)據(jù)采集,這就對于時序數(shù)據(jù)解決方案的完善性和效率提出了巨大挑戰(zhàn)。長安汽車目前的時序數(shù)據(jù)解決方案存在明顯局限性,因此希望尋求對于智能化汽車領域的時序數(shù)據(jù)更優(yōu)的寫入、存儲、查詢、分析方案。

  基于 IoTDB 時序數(shù)據(jù)庫的特點和優(yōu)勢,長安汽車選擇使用 IoTDB 作為海量智能網(wǎng)聯(lián)車輛的車況時序數(shù)據(jù)處理方案,實現(xiàn)了大體量數(shù)據(jù)寫入與存儲靈活擴容,并有效提高查詢性能,降低設備與運維成本。

  2. 業(yè)務需求痛點

  2.1億級數(shù)據(jù)測點,每秒超千萬條新增數(shù)據(jù)點

  長安汽車作為中國四大汽車集團之一,業(yè)務體量龐大,需處理車輛多、數(shù)據(jù)量大。目前長安汽車的網(wǎng)聯(lián)車海量車況時序數(shù)據(jù)管理系統(tǒng)共采集網(wǎng)約車約 57 萬輛,總計數(shù)據(jù)測點達到 1.5 億,數(shù)據(jù)點每秒新增超千萬。因此,長安汽車對于此數(shù)據(jù)量下時序數(shù)據(jù)庫的實時寫入、壓縮與存儲能力均要求較高。

  2.2 高速信號采集頻率高

  長安汽車的車輛采集信號分為高速信號和常規(guī)信號兩種。高速信號需達成毫秒級采集,常規(guī)信號 3-4 秒級采集。長安汽車的時序數(shù)據(jù)解決方案需能夠同時支持此兩類不同的采集頻次,并保證高速信號的實時低延遲采集的持續(xù)運行。

  2.3 低延遲數(shù)據(jù)查詢

  長安汽車的車輛數(shù)據(jù)查詢場景主要包括單車多時間序列的高效查詢和單車全時間序列的最新點的查詢,也就是車聯(lián)網(wǎng)場景中很經(jīng)典的實時車況和離線車況/歷史車況的查詢場景。長安汽車的時序數(shù)據(jù)解決方案需在低延遲的情況下有效支持即時的實時查詢,與大體量已存儲的歷史數(shù)據(jù)查詢。

  基于之前長安汽車的時序數(shù)據(jù)解決方案,一份車況數(shù)據(jù)進入 HBase 后如果要做分析,需要從 HBase 里把增量的數(shù)據(jù)完全卸載出來,而這個批量的范圍讀取過程耗時很長。例如 HBase 如果要做昨天數(shù)據(jù)的離線處理,今天凌晨就需要把操作性數(shù)據(jù)卸載出來放入 Hadoop 做分析。另外,隨著業(yè)務量增大,使用 HBase 進行批量讀取的耗時也越來越長,不適應快速擴張的數(shù)據(jù)量場景。

  2.4 成本、維護難度高

  長安汽車最開始對時序數(shù)據(jù)管理的解決方案采用 HBase,但面對每秒千萬的數(shù)據(jù)測點,HBase 的集群數(shù)據(jù)寫入用了 25 個數(shù)據(jù)節(jié)點承擔,如此多的數(shù)據(jù)節(jié)點直接導致系統(tǒng)的維護難度和成本較高。

  3. 選型IoTDB原因

  3.1 數(shù)據(jù)結構保證高擴展性、低成本、高穩(wěn)定性

  針對長安汽車龐大的已有數(shù)據(jù)體量及新增數(shù)據(jù)體量處理需求,IoTDB 專屬的物聯(lián)網(wǎng)原生時序模型以設備、測點/傳感器為層級存儲時間序列數(shù)據(jù),隨著數(shù)據(jù)量的不斷增加,只需直接擴展查詢節(jié)點的硬件設備,無需中斷系統(tǒng)的正常運行,可達成秒級擴容,有效降低管理與運維成本。

  3.2 實現(xiàn)千萬寫入速度

  針對長安汽車對于時序數(shù)據(jù)頻密寫入的需求,IoTDB 能夠實現(xiàn)每秒千萬數(shù)據(jù)點寫入、處理多設備億級點位的能力,且寫入速率不隨數(shù)據(jù)量增長而下降,維持穩(wěn)定高速水平。

  3.3 支持高效明細、最新值查詢

  長安汽車在車輛故障報警場景下,會使用 IoTDB 進行海量網(wǎng)聯(lián)車車況數(shù)據(jù)的明細查詢。IoTDB 采用從根節(jié)點以下,以數(shù)據(jù)點自帶的時間戳,與多層級存儲的路徑結合的存儲架構,使得不同維度的時序數(shù)據(jù)可以被有效分類存儲,繼而在查詢時可較快唯一確定 IoTDB 中的時序數(shù)據(jù),從而在使用明細查詢的情況下,依然保持查詢高效率。

  3.4 提升批量讀取速率,達成實時分析

  針對長安汽車在數(shù)據(jù)分析前對于數(shù)據(jù)的快速批量讀取需求,IoTDB 因存在時間索引,可直接同步 IoTDB 底層數(shù)據(jù)文件,并運用 IoTDB 與其他大數(shù)據(jù)系統(tǒng)的無縫集成,用 Spark 引擎直接對存儲文件 TsFile 進行實時分析,相比原先的方案減少分析數(shù)據(jù)所需的導出份數(shù),提高分析計算效率。

  3.5 及時運維,積極驗證

  長安汽車項目方認為,當業(yè)務場景給時序數(shù)據(jù)解決方案帶來新的挑戰(zhàn)時,處理問題的效率和思路是很重要的,一個優(yōu)秀的時序數(shù)據(jù)解決方案背后的團隊需要能夠快速解決問題,使數(shù)據(jù)庫涵蓋業(yè)務場景所需的性能提升與豐富功能。長安汽車在生產(chǎn)環(huán)境上遇到的問題,IoTDB 的研發(fā)團隊總會很快協(xié)調(diào)到相關的研發(fā)資源進行幫助。作為匯集了一批數(shù)據(jù)庫核心技術專家和工業(yè)資深專家、擁有十幾年研究和服務工業(yè)用戶的經(jīng)驗的團隊,團隊成員也特別愿意用 IoTDB 在工業(yè)互聯(lián)網(wǎng)場景去做生態(tài)環(huán)境的驗證,使得項目的成功與產(chǎn)品的成熟可以實現(xiàn)互利共贏。長安汽車項目方表示了對 IoTDB 開發(fā)團隊的感謝。

  可以看到,IoTDB 的技術優(yōu)勢能夠有效的解決長安汽車目前管理時序數(shù)據(jù)的業(yè)務痛點,因此長安汽車選擇 IoTDB 構建長安智能汽車數(shù)據(jù)平臺的數(shù)據(jù)存儲層。下面就長安汽車基于 IoTDB 構建的大規(guī)模時序數(shù)據(jù)管理的解決方案架構、時序模型結構設置與查詢性能效果展開介紹與分析。

  4. 解決方案架構

  車聯(lián)網(wǎng)是一個典型的物聯(lián)網(wǎng)場景。物聯(lián)網(wǎng)場景的數(shù)據(jù)主體是時序數(shù)據(jù),整個時序數(shù)據(jù)的生命周期分為采集、緩存、處理、存儲、查詢分析和可視化應用六大階段。

  在長安汽車車聯(lián)網(wǎng)場景中,使用 Tbox 和 THU 等設備和傳感器做車聯(lián)網(wǎng)數(shù)據(jù)(例如發(fā)動機的電噴數(shù)據(jù)、轉速、車輛的車速等)的采集。數(shù)據(jù)上云之后,基于長安汽車私有的 TCP 協(xié)議和基于 Netty 編寫的網(wǎng)關進行報文的攝取。通過 CLB 進入 K8s 的 TU-GW 應用后,對報文進行解析。報文解析后發(fā)送到消息隊列,并把不同業(yè)務所需要的時序消息分發(fā)到不同的存儲端上。寫入至存儲引擎后,長安汽車 TSP 業(yè)務系統(tǒng)和 APP 將針對車輛的最新數(shù)據(jù)和歷史車況,對時序數(shù)據(jù)進行查詢操作。

  目前長安汽車的大規(guī)模時序數(shù)據(jù)管理的架構,分為 1.0 和 2.0 版本。1.0 版本針對車況場景主要使用的時序存儲引擎為 HBase,實現(xiàn)歷史車況數(shù)據(jù)寫入。因歷史數(shù)據(jù)體量龐大,需 25 個 HBase 數(shù)據(jù)節(jié)點寫入集群數(shù)據(jù)。同時,1.0 版本的 HBase 集群配置 10 個 Region Server。由于 HBase 的存儲架構無法獨立支持最新車況查詢,最新車況查詢需基于 Redis 實現(xiàn)。

  2.0 版本的架構采用通過 Kafka 將數(shù)據(jù)寫入 IoTDB 的架構。測試場景采用單機高 IO 的機型,即大內(nèi)存(約 384 G)+全 SSD(約 50 T)的集群配置。經(jīng)過 IoTDB 良好的數(shù)據(jù) schema 設計后,一臺 IoTDB 的機器即代替了 25 個 HBase 節(jié)點的寫入功能,并成功維持超過一年的高穩(wěn)定度。目前測試數(shù)據(jù)體量約 150 萬條數(shù)據(jù)/秒,一條時序數(shù)據(jù)平均涉及 16-17 個測點,穩(wěn)定支持整體寫入數(shù)據(jù)體量約千萬級。

  同時,IoTDB 的強大數(shù)據(jù)查詢能力,使基于 IoTDB 的 2.0 版本實現(xiàn)了一套引擎支持單車時間范圍查詢(實時查詢)和單車全時間序列最新點的查詢(最新車況查詢)場景,并能穩(wěn)定達成兩種查詢類型結果的毫秒級返回。

  寫入與查詢能力的提升,讓基于 IoTDB 的時序數(shù)據(jù)管理架構大幅降低了原有 HBase+Redis 方案的復雜度,并使 IoTDB 可接入設備和數(shù)據(jù)的體量得以不斷增加。目前,長安汽車使用 IoTDB 單機接入設備約57萬,托管時間序列約1.5億。

  5. 時序模型和查詢應用

  目前,在 IoTDB 的根節(jié)點、業(yè)務名稱、設備層、傳感器層的四級節(jié)點時序模型設計上,長安汽車的設備層采用 TBOX 的 TUID,即設備 ID 作為第三級節(jié)點;在傳感器/測點層,除涵蓋信號名,使用下劃線連接 CANID 作為第四級節(jié)點。此存儲結構的設計原因是可以方便的使用 IoTDB 支持的 select last * from root.CANID 命令查詢,以便查詢單車在某 CANID 下所有的數(shù)據(jù)值,進而讓 IoTDB 同時實現(xiàn)長安汽車的主要查詢場景:實時車況和歷史車況的組合查詢。

  在這樣的數(shù)據(jù)結構支持下,長安汽車使用如下語句運行常用查詢場景:

  1.單設備的時間范圍查詢

  SQL語句如下:

  select CANID_SIGNAL from root.can_condition.tuid where time > t1 and time < t2

  2.單設備最新值查詢

  SQL語句如下:

  select last * from root.can_condition.tuid

  通過以上的查詢類型匯總和結果可以看出,IoTDB 實現(xiàn)了長安汽車最常用的兩類查詢場景,并全部實現(xiàn)毫秒級返回數(shù)據(jù)。

  6. 未來展望

  自2020年,長安汽車與 IoTDB 已穩(wěn)定合作 2 年,并已構建了穩(wěn)定高效的智能網(wǎng)聯(lián)車輛遠程監(jiān)控系統(tǒng)。因智能網(wǎng)聯(lián)汽車業(yè)務已處于爆發(fā)初期,可預見車聯(lián)網(wǎng)場景的采集車輛數(shù)及車輛的采集密度在未來會大幅擴張,時序數(shù)據(jù)量也會呈指數(shù)級增長,大源數(shù)據(jù)依然是車聯(lián)網(wǎng)系統(tǒng)將面對的主要難題。

  `未來,長安汽車與 IoTDB 將通力合作,進一步擴大車輛數(shù)據(jù)接入體量的同時,豐富 IoTDB 在車聯(lián)網(wǎng)場景的相關應用和功能,實現(xiàn)對更多車聯(lián)網(wǎng)業(yè)務時序數(shù)據(jù)的有效管理。

來源:互聯(lián)網(wǎng)    打 印    關 閉
友情提醒 本信息真實性未經(jīng)中國工程機械信息網(wǎng)證實,僅供您參考。未經(jīng)許可,請勿轉載。已經(jīng)本網(wǎng)授權使用的,應在授權范圍內(nèi)使用,并注明“來源:中國工程機械信息網(wǎng)”。
特別注意 本網(wǎng)部分文章轉載自其它媒體,轉載目的在于傳遞更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。在本網(wǎng)論壇上發(fā)表言論者,文責自負,本網(wǎng)有權在網(wǎng)站內(nèi)轉載或引用,論壇的言論不代表本網(wǎng)觀點。本網(wǎng)所提供的信息,如需使用,請與原作者聯(lián)系,版權歸原作者所有。如果涉及版權需要同本網(wǎng)聯(lián)系的,請在15日內(nèi)進行。
list_info_D1
list_info_D2
更多>>專題推薦
關于6300 | 本網(wǎng)動態(tài) | 聯(lián)系方式 | 免責聲明 | 版權信息 | 法律顧問
客戶服務:6300@6300.net 服務熱線:0754-88363699 商事QQ:1594591502
工程機械信息網(wǎng) Copyright[c]1999-2023 All Rights Reserved 汕頭市九鼎科技有限公司 版權所有
《中華人民共和國增值電信業(yè)務經(jīng)營許可證》編號:粵B2-20050302號

粵公網(wǎng)安備 44051102000045號