目前最大的誤區之一仍然是，只有大公司才能負擔得起大數據驅動的解決方案，它只適用于海量數據，而且價格昂貴。這已不再是事實，有幾次技術變革改變了這種心態。

大數據技術的成熟度

第一次技術變革與成熟度和質量有關。毫無疑問，十年前，大數據技術需要做出一定的努力才能使其工作或使所有部分協同工作。

過去有無數來自開發人員的故事，他們浪費了80％的時間試圖用Spark，Hadoop，Kafka或其他方法克服愚蠢的故障。如今，這些技術已變得足夠可靠，它們消除了早期的各種故障并學會了如何相互配合。

與捕捉內部錯誤相比，出現基礎設施故障的機會要大得多。在大多數情況下，即使是基礎設施問題也可以容忍，因為大多數大數據處理框架的設計都是容錯的。此外，這些技術為計算提供了穩定、強大和簡單的抽象，并允許開發人員專注于開發的業務方面。

各種大數據技術

第二次技術變革正在發生——近年來，無數的開源和專有技術被發明出來——Apache Pino、Delta Lake、Hudi、Presto、Clickhouse、Snowflake、Upsolver、Serverless等等。數千名開發者的創造力和創意已經轉化為大膽而卓越的解決方案，并具有巨大的激勵作用。

讓我們討論一個典型的分析數據平臺（ADP）。它包括四個主要層次：

· 儀表板和可視化– ADP的外觀，向最終用戶提供分析摘要。

· 數據處理–數據流水線，用于驗證，豐富和轉換數據從一種形式到另一種形式。

數據倉庫–存放組織良好的數據的地方–匯總，數據集市等

· Data Lake，用于存放純原始數據的地方，是Data Warehouse的基礎。

· 每個等級都有足夠的替代品，可滿足任何口味和要求。這些技術中有一半是在過去5年內出現的。

關于它們的重要一點是，技術的開發旨在相互兼容。例如，典型的低成本小型ADP可能包含Apache Spark作為處理組件的基礎，AWS S3或類似的Data Lake，Clickhouse作為倉庫，OLAP用于低延遲查詢，而Grafana用于漂亮的儀表板。

具有更強保證的更復雜的ADP可以以不同的方式組成。例如，將Apache Hudi和S3引入作為數據倉庫可以確保更大的規模，而Clickhouse仍然可以低延遲地訪問聚合數據。

成本效益

第三次技術變革是由云端造成的。云服務成為真正的游戲規則改變者。他們將大數據作為即用型平臺（大數據即服務）進行處理，使開發人員可以專注于功能開發，從而使云計算能夠關注基礎架構。

開發人員可以選擇特定技術和一定程度的無服務器。無服務器越多，它的可組合性就越好，但是更多的供應商鎖定將使它成為不利的一面。鎖定在特定的云提供商和無服務器堆棧上的解決方案可以縮短上市時間。在無服務器技術之間明智地選擇可使解決方案具有成本效益。

盡管此選項對初創公司而言不是很有用，因為它們傾向于利用典型的10萬美元云信用額度，并且在AWS，GCP和Azure之間進行跳轉是一種很普通的生活方式。必須事先弄清這個事實，而必須提出更多與云無關的技術。

通常，工程師會區分以下成本：開發費用、維修費用、變更成本。

開發費用

云技術無疑簡化了工程工作。有好幾個區域對它有積極的影響。

第一個是架構和設計決策。無服務器堆棧提供了豐富的模式和可重用組件集，為解決方案的體系結構提供了堅實而一致的基礎。

只有一個問題可能會減慢設計階段：大數據技術是自然分布的，因此在設計相關解決方案時必須考慮可能的故障和中斷，以確保數據的可用性和一致性。另外，解決方案所需的精力更少，可以擴展。

第二個是集成和端到端測試。無服務器堆棧允許創建隔離的沙箱，播放，測試，修復問題，從而減少開發回送和時間。

另一個優勢是，云強加了解決方案部署過程的自動化。不用說，此功能是任何成功團隊的必備屬性。

維修費用

云提供商聲稱要解決的主要目標之一是減少監視和保持生產環境活動的精力。他們試圖建立幾乎沒有零投入的理想抽象。

但是，實際情況有所不同。關于這個想法，通常維護仍然需要一些努力。下表突出顯示了最突出的種類。

但除此之外，該方案在很大程度上取決于基礎架構和許可成本。設計階段非常重要，因為它可以挑戰特定技術并提前估算其運行時間成本。

變更成本

大數據技術關注客戶的另一個重要方面-變更成本。我們的經驗表明，大數據與任何其他技術之間沒有區別。如果解決方案不是過度設計的，那么變更的成本就可以與非大數據堆棧完全媲美。大數據帶來了一個好處。大數據解決方案被設計為分離是很自然的。設計正確的解決方案看起來不像是整體解決方案，可以在需要的地方短期內應用局部更改，而影響生產的風險較小。

總而言之，我們確實認為大數據可以負擔得起。它為開發人員提出了新的設計模式和方法，開發人員可以利用它來組裝符合最嚴格的業務要求并同時具有成本效益的任何分析數據平臺。

大數據驅動的解決方案可能是快速成長的初創公司的良好基礎，這些初創公司希望變得靈活，應用快速更改且TTM跑道短。一旦企業需要更大的數據量，大數據驅動的解決方案就可以與企業一起擴展。

大數據技術允許以小規模或大規模實施近實時分析，而經典解決方案卻難以與性能相提并論。

云提供商已將大數據提升到了新的水平，從而提供了可靠，可擴展和即用的功能。快速交付來開發具有成本效益的ADP從未如此簡單。利用大數據提升您的業務。
責任編輯：YYX