短短三四年，湖倉一體便從新興概念躍升為大數(shù)據(jù)領(lǐng)域十大關(guān)鍵詞之一。

(資料圖片僅供參考)

作者｜陳楊

編輯｜栗子

從燧人氏結(jié)繩記事到甲骨文的出土再到蔡倫造紙，種種歷史大事件告訴我們，在記錄、存儲(chǔ)、使用等數(shù)據(jù)相關(guān)的一系列操作上，中國有著深厚的經(jīng)驗(yàn)和積淀。

由于前兩次工業(yè)革命落后太多，導(dǎo)致在信息化時(shí)代國人即便奮力追趕，在數(shù)據(jù)的存儲(chǔ)、調(diào)用上，仍要向Oracle、IBM等國際巨頭看齊。

好在，數(shù)據(jù)在彼時(shí)沒有像今天這般重要。

如今，數(shù)字化轉(zhuǎn)型如火如荼，國家層面已將數(shù)據(jù)上升到第五類生產(chǎn)要素并出臺(tái)“數(shù)據(jù)二十條”。數(shù)據(jù)的重要性日益凸顯。

在此過程中，國人在數(shù)據(jù)方面的基因已覺醒，開始積極探索應(yīng)用國產(chǎn)基礎(chǔ)軟件，助力身處數(shù)字化變革中的企業(yè)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。國產(chǎn)大數(shù)據(jù)基礎(chǔ)軟件，正在企業(yè)數(shù)字化轉(zhuǎn)型中扮演著越來越重要的角色……

1.數(shù)據(jù)驅(qū)動(dòng)的更優(yōu)解

毋庸置疑，隨著移動(dòng)互聯(lián)網(wǎng)的普及和超高滲透率，我們已迎來了一個(gè)數(shù)據(jù)大爆炸的時(shí)代：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的層出不窮，豐富了數(shù)據(jù)的應(yīng)用場(chǎng)景，更增加了企業(yè)的存儲(chǔ)、管理難度。

另一方面，在“云大物移智”等數(shù)字化技術(shù)推動(dòng)下，全球正掀起第四次工業(yè)革命，一次基于數(shù)據(jù)、基于AI的革命。

數(shù)據(jù)搖身一變，從靜靜待在HDD、SSD等介質(zhì)里的被存儲(chǔ)對(duì)象，變成了寶貴的資產(chǎn)。國家借助數(shù)據(jù)要素發(fā)展數(shù)字經(jīng)濟(jì)；企業(yè)借助數(shù)據(jù)，從流程驅(qū)動(dòng)走向數(shù)據(jù)驅(qū)動(dòng)，成為數(shù)智企業(yè)。

從被存儲(chǔ)對(duì)象到資產(chǎn)，數(shù)據(jù)的蛻變離不開技術(shù)的賦能。事實(shí)上，技術(shù)也一直賦能著數(shù)據(jù)，只不過在不同階段以不同的方式賦能：

PC互聯(lián)網(wǎng)年代，數(shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)的天下，企業(yè)更多借助結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。為滿足企業(yè)敏捷的數(shù)據(jù)分析需求，基于聯(lián)機(jī)分析處理（OLAP）的數(shù)據(jù)倉庫（Data Warehouse）概念開始出現(xiàn)并迅速發(fā)展。

移動(dòng)互聯(lián)網(wǎng)時(shí)代，在社交、視頻等平臺(tái)帶動(dòng)下，XML文檔、圖片、音視頻等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)級(jí)增長，數(shù)據(jù)湖（Data Lake）和數(shù)據(jù)倉庫并肩作戰(zhàn)，成為企業(yè)處理數(shù)據(jù)的另一項(xiàng)重要工具。

二者之所以“并肩作戰(zhàn)”而非替代，是因?yàn)閿?shù)據(jù)湖雖然具備更好的開放性與靈活性，但其在OLAP方面的性能不足、數(shù)據(jù)的一致性和ACID能力缺失，使得其無法替代數(shù)據(jù)倉庫。

這對(duì)深處數(shù)字化變革中的企業(yè)而言，無疑是個(gè)棘手的問題：數(shù)據(jù)倉庫與數(shù)據(jù)湖的并存，帶來的是數(shù)據(jù)的割裂、高額的開發(fā)成本、維護(hù)成本。

那么，面向當(dāng)下以及未來，有沒有一種更好的方式，能夠幫助企業(yè)更快地實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)？

答案呼之欲出：湖倉一體（Data Lakehouse）。

這個(gè)由Databricks在2019年提出的技術(shù)，很好地將數(shù)據(jù)倉庫的高性能、管理能力與數(shù)據(jù)湖的開放性和靈活性融合，實(shí)現(xiàn)了海量異構(gòu)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、計(jì)算、開發(fā)、管理和服務(wù)，從而幫助企業(yè)解決數(shù)據(jù)孤島、數(shù)據(jù)冗余，系統(tǒng)維護(hù)等問題。

極具優(yōu)勢(shì)的湖倉一體技術(shù)，在短短三四年里便從一個(gè)新興概念成為大數(shù)據(jù)領(lǐng)域的重要發(fā)展趨勢(shì)，Databricks也憑此成為估值300多億美元的超級(jí)獨(dú)角獸。

眾多行業(yè)報(bào)告從前景、規(guī)模等市場(chǎng)層面闡述了湖倉一體的未來：信通院將湖倉一體列為《2023大數(shù)據(jù)十大關(guān)鍵詞》；

IDC 調(diào)研顯示，有 66.9%的企業(yè)了解湖倉一體架構(gòu)，有 85%的企業(yè)正在部署或考慮評(píng)估升級(jí)湖倉一體架構(gòu)。IDC在《中國人工智能與大數(shù)據(jù)技術(shù)圖譜，2022》中，將湖倉一體列為遞增型代表技術(shù)，其將在中長期持續(xù)提高、優(yōu)化業(yè)務(wù)交付體驗(yàn)，作為支撐智能產(chǎn)業(yè)發(fā)展的統(tǒng)一數(shù)據(jù)底座；

愛分析日前發(fā)布的《2022年中國湖倉一體平臺(tái)市場(chǎng)研究報(bào)告》顯示，2022年中國湖倉一體平臺(tái)軟件市場(chǎng)規(guī)模15.2億元；預(yù)計(jì)到2025年，這一數(shù)字有望達(dá)到97.6億元，2022-2025三年復(fù)合增長率高達(dá)86%。

2.走出更適合中國企業(yè)的湖倉一體之路

橫向?qū)Ρ葒鴥?nèi)外湖倉一體市場(chǎng)，盡管才剛剛興起，但中國企業(yè)已經(jīng)和國外巨頭走出一條截然不同的路。

以Databricks為代表的國外湖倉一體巨頭，更注重湖倉一體架構(gòu)的搭建和AI能力的引入。而數(shù)據(jù)的治理、應(yīng)用等，則交給生態(tài)合作伙伴，以生態(tài)的方式為客戶提供全生命周期的數(shù)據(jù)服務(wù)。這在Salesforce、Workday等其他領(lǐng)域國外巨頭服務(wù)客戶時(shí)也常常能看到。

國內(nèi)湖倉一體廠商更傾向于“端到端”服務(wù)，即通過平臺(tái)的方式，為客戶提供從數(shù)據(jù)的接入、開發(fā)、治理到數(shù)據(jù)資產(chǎn)的管理、運(yùn)營全生命周期服務(wù)。事實(shí)上，這種平臺(tái)化的方式，不僅在湖倉一體領(lǐng)域運(yùn)用，在中國其他企業(yè)應(yīng)用軟件領(lǐng)域也廣泛適用。

這種平臺(tái)化的方式，也的確更適合中國企業(yè)的數(shù)字化轉(zhuǎn)型。相比歐美，中國企業(yè)的數(shù)字化能力參差不齊、場(chǎng)景更豐富且個(gè)性化需求多，外加國內(nèi)服務(wù)商的產(chǎn)品或者工具開放性有限，所以平臺(tái)化更能夠幫助中國企業(yè)一步到位。

《2022年中國湖倉一體平臺(tái)市場(chǎng)研究報(bào)告》也表明，在國內(nèi)，中國本土湖倉一體廠商更受市場(chǎng)歡迎。數(shù)據(jù)顯示，2022年中國湖倉一體平臺(tái)軟件市場(chǎng)規(guī)模達(dá)15.2 億元。其中，科杰科技市場(chǎng)份額占比 11.1%，位居第一，其次為華為云和星環(huán)科技，占比分別為9.5%和7.3%。

3.中國湖倉一體領(lǐng)導(dǎo)者的修煉手冊(cè)

短短三四十年間，中國科技伴隨中國經(jīng)濟(jì)的騰飛而發(fā)生著翻天覆地的變化：從PC互聯(lián)網(wǎng)時(shí)代的追趕到移動(dòng)互聯(lián)網(wǎng)時(shí)代的并肩再到數(shù)字化時(shí)代的領(lǐng)先。

將視野重新拉回湖倉一體，面對(duì)這個(gè)由國外巨頭率先進(jìn)軍的領(lǐng)域，國內(nèi)廠商又是如何在三四年內(nèi)做到在中國湖倉一體市場(chǎng)中一枝獨(dú)秀的呢？

我們不妨透過科杰科技，這家中國湖倉一體市占率第一的廠商視角，找尋這個(gè)問題的答案。

毫無疑問，湖倉一體作為一款面向數(shù)智企業(yè)打造的數(shù)字化解決方案，技術(shù)的先進(jìn)性應(yīng)是基本條件。

科杰科技打造的湖倉一體數(shù)據(jù)智能平臺(tái)KeenData Lakehouse，運(yùn)用了存算分離、ACID事務(wù)性、批流一體、Data Fabric（數(shù)據(jù)編織）、Data Virtualization（數(shù)據(jù)虛擬化）、Active Metadata Management、Data Mesh 、DataOps等業(yè)內(nèi)最先進(jìn)的技術(shù)。

諸如Data Fabric、Active Metadata Management、Data Mesh 等理念，目前在國內(nèi)還處于起步階段，科杰科技卻已經(jīng)將其引入產(chǎn)品中。

除此之外，在實(shí)現(xiàn)湖倉一體上，科杰科技在技術(shù)架構(gòu)上選擇了更先進(jìn)的湖倉融合方式，產(chǎn)品KeenData Lakehouse提供的多架構(gòu)統(tǒng)一納管能力，幫助企業(yè)無需遷移數(shù)據(jù)倉庫和數(shù)據(jù)湖的歷史數(shù)據(jù)，最低成本地實(shí)現(xiàn)數(shù)據(jù)架構(gòu)與引擎統(tǒng)一，降低架構(gòu)復(fù)雜性的分析與成本，同時(shí)大幅度提升數(shù)據(jù)開發(fā)的效率。

在近期IDC發(fā)布的《湖倉一體數(shù)據(jù)平臺(tái)技術(shù)能力評(píng)估報(bào)告》中，KeenData Lakehouse憑借著領(lǐng)先的技術(shù)實(shí)力在報(bào)告中獲得推薦，成為行業(yè)備受推崇的湖倉一體大數(shù)據(jù)平臺(tái)之一，入選Gartner《2023 年中國數(shù)據(jù)、分析和人工智能技術(shù)成熟度曲線報(bào)告》可組合D&A標(biāo)桿廠商。

產(chǎn)品完備性是其制勝的關(guān)鍵。數(shù)據(jù)從被存儲(chǔ)對(duì)象到資產(chǎn)化的過程，是一場(chǎng)異常復(fù)雜、長流程的蛻變，唯有連續(xù)、無斷點(diǎn)才能達(dá)成企業(yè)數(shù)據(jù)驅(qū)動(dòng)的目標(biāo)。科杰科技在技術(shù)的先進(jìn)基礎(chǔ)之上，進(jìn)一步打造了功能完善的數(shù)據(jù)產(chǎn)品。

KeenData Lakehouse湖倉一體數(shù)據(jù)智能平臺(tái)是一個(gè)數(shù)據(jù)底座產(chǎn)品矩陣，由十二個(gè)部分構(gòu)成，分別涉及主數(shù)據(jù)的管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)指標(biāo)、數(shù)據(jù)開發(fā)管理、實(shí)時(shí)計(jì)算、數(shù)據(jù)同步、數(shù)據(jù)科學(xué)以及數(shù)據(jù)標(biāo)簽、數(shù)據(jù)服務(wù)和數(shù)據(jù)資產(chǎn)等數(shù)據(jù)全生命周期服務(wù)，覆蓋數(shù)據(jù)多架構(gòu)統(tǒng)一納管、工程化能力、治理與工程能力相融合、集中式管制和分散式賦能等能力，全體系的大數(shù)據(jù)基礎(chǔ)軟件產(chǎn)品為大型組織的數(shù)據(jù)驅(qū)動(dòng)建設(shè)內(nèi)生的數(shù)據(jù)能力提供了基礎(chǔ)。

科杰科技湖倉一體數(shù)據(jù)智能平臺(tái)KeenData Lakehouse技術(shù)架構(gòu)圖（圖片來源：愛分析）

無論是信息化還是數(shù)字化解決方案，其根本用途在于賦能業(yè)務(wù)增長、促進(jìn)組織變革，所以如果產(chǎn)品僅僅停留在技術(shù)先進(jìn)、功能完善層面，遠(yuǎn)遠(yuǎn)達(dá)不到企業(yè)數(shù)字化轉(zhuǎn)型的目標(biāo)。

成熟的方法論以及豐富專業(yè)的落地實(shí)踐，恰恰是科杰科技的又一殺手锏。科杰科技在其基礎(chǔ)軟件平臺(tái)KeenData Lakehouse內(nèi)融合其獨(dú)有的大型企業(yè)復(fù)雜場(chǎng)景下數(shù)字化轉(zhuǎn)型的最佳實(shí)踐理念，這是承載中大型企業(yè)構(gòu)建內(nèi)生數(shù)據(jù)能力的心臟。

科杰科技與每一個(gè)客戶深度合作，共同推進(jìn)數(shù)字化轉(zhuǎn)型。據(jù)悉，科杰科技已幫助中國石化、中國一汽、中國聯(lián)通、國家電網(wǎng)、中金公司等行業(yè)頭部企業(yè)完成數(shù)據(jù)底座體系化建設(shè)，覆蓋政府、能源、金融、零售、工業(yè)等多個(gè)行業(yè)。

持續(xù)的貿(mào)易戰(zhàn)為行業(yè)的發(fā)展提供了助力，將國產(chǎn)化提到更高的高度。科杰科技湖倉一體數(shù)據(jù)智能平臺(tái)KeenData Lakehouse，通過自主研發(fā)創(chuàng)新，替代國外開源的數(shù)據(jù)庫和大數(shù)據(jù)產(chǎn)品。在修煉內(nèi)功的同時(shí)，科杰科技也不斷與國內(nèi)信創(chuàng)企業(yè)完成產(chǎn)品兼容性適配認(rèn)證，目前已在基礎(chǔ)軟件、基礎(chǔ)硬件等信創(chuàng)生態(tài)體系上構(gòu)建了全棧全場(chǎng)景的解決方案。

4.堅(jiān)實(shí)的數(shù)據(jù)底座，加速AI大模型產(chǎn)業(yè)化

今年年初，以ChatGPT為代表的AIGC在全球范圍內(nèi)掀起AI大模型浪潮。半年過去，AI大模型浪潮不僅沒有退去，反而愈演愈烈，除了互聯(lián)網(wǎng)大廠、云服務(wù)商、AI公司等各類玩家紛紛跟進(jìn)，另一明顯趨勢(shì)便是AI大模型開始向B端滲透。

談及AI大模型，我們除了要看到其在最上層的應(yīng)用場(chǎng)景，同樣需要看到其千億級(jí)的參數(shù)、超強(qiáng)的算力以及高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)。而AI大模型的To B，除了要在這些基礎(chǔ)之上，更要加入對(duì)高并發(fā)、高可靠性的支持，以及對(duì)行業(yè)、對(duì)業(yè)務(wù)場(chǎng)景的理解。

這對(duì)天生To B、天生與數(shù)據(jù)打交道的眾多湖倉一體廠商而言無疑是個(gè)機(jī)會(huì)，于科杰科技更是一個(gè)進(jìn)一步擴(kuò)大領(lǐng)先優(yōu)勢(shì)的機(jī)遇。原因在于，科杰科技打造的KeenData Lakehouse湖倉一體數(shù)據(jù)智能平臺(tái)，完全涵蓋AI大模型對(duì)中間件基礎(chǔ)軟件要求的必備能力。

后續(xù)，科杰科技一方面將持續(xù)以數(shù)據(jù)底座的姿態(tài)，為AI大模型的落地提供數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)能力的支撐，另一方面將把KeenData Lakehouse與服務(wù)各行業(yè)的Know-How深度耦合，在AI大模型落地基礎(chǔ)上加速產(chǎn)業(yè)化。

在數(shù)智化、國產(chǎn)化雙重大背景下，AI大模型唯有基于國產(chǎn)基礎(chǔ)軟件打造的數(shù)字底座實(shí)現(xiàn)產(chǎn)業(yè)化，從而提升個(gè)人以及企業(yè)的生產(chǎn)效率乃至社會(huì)的運(yùn)轉(zhuǎn)效率，才能發(fā)揮其真正的價(jià)值，避免再次被“卡脖子”。中國也才能在AI驅(qū)動(dòng)的第四次工業(yè)革命中、在數(shù)字經(jīng)濟(jì)的競(jìng)賽中拔得頭籌，這是以科杰科技為代表的國內(nèi)大數(shù)據(jù)基礎(chǔ)軟件供應(yīng)商以及全體科技工作者的責(zé)任。

（封面圖來源：拍信創(chuàng)意）

END.

標(biāo)簽：