国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

作為一個快速簡便的數據倉庫,Snowflake可以動態擴展

存儲D1net ? 來源:lq ? 2019-09-22 09:11 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作為一個快速簡便的數據倉庫,Snowflake可以動態擴展,以便在企業需要時為其提供所需的性能。

數據倉庫,也稱為企業數據倉庫(EDW),是用于分析的高度并行的SQL或NoSQL數據庫。它們允許企業從多個源導入數據,并從數PB的數據中快速生成復雜的報告。

數據倉庫和數據集市之間的區別在于,數據集市通常僅限于單個主題和單個部門。數據倉庫和數據湖之間的區別在于數據湖以其自然格式(通常是blob或文件)存儲數據,而數據倉庫將數據存儲為數據庫。

Snowflake簡介

Snowflake是一個完全關聯的ANSI SQL數據倉庫,它是從頭開始為云計算而構建的。它的架構將計算與存儲分開,這樣即使在查詢運行時,用戶也可以在不延遲或中斷的情況下動態地擴展。當用戶需要的時候,就能得到其所需要的性能,而且只需要為其所使用的計算資源支付費用。Snowflake目前運行在亞馬遜網絡服務和微軟Azure云平臺上。

Snowflake是一個具有矢量化執行的全列數據庫,使它能夠處理最苛刻的分析工作負載。Snowflake的自適應優化可以確保查詢自動獲得最佳性能,而無需管理索引、分發鍵或優化參數。

Snowflake憑借其獨特的多集群共享數據架構可以支持無限制的并發性。這允許多個計算集群在同一數據上同時運行,而不會降低性能。Snowflake甚至可以自動擴展以通過其多集群虛擬倉庫功能處理不同的并發需求,在峰值負載期間透明地添加計算資源,并在負載減少時縮小規模。

Snowflake的競爭對手

Snowflake在云端的競爭對手包括Amazon Redshif、Google BigQuery和Microsoft Azure SQL數據倉庫。其他主要競爭對手,如Teradata、Oracle Exadata,MarkLogic和SAP BW/4HANA,可以安裝在云端、內部部署和設備上。

Amazon Redshift

Amazon Redshift是一個快速可擴展的數據倉庫,可讓用戶分析數據倉庫和Amazon S3數據湖中的所有數據。用戶使用SQL查詢Redshift。Redshift數據倉庫是一個可以使用并發查詢負載自動部署和刪除容量的集群。但是,所有集群節點都在同一可用區中進行配置。

Microsoft Azure SQL數據倉庫

Microsoft Azure SQL數據倉庫是一個基于云計算的數據倉庫,它使用Microsoft SQL引擎和MPP(大規模并行處理)快速運行跨PB數據的復雜查詢。通過使用簡單的PolyBase T-SQL查詢將大數據導入SQL數據倉庫,然后使用大規模并行處理(MPP)的強大功能運行高性能分析,用戶可以將Azure SQL數據倉庫用作大數據解決方案的關鍵組件。

Azure SQL數據倉庫在全球40個Azure云區域中可用,但給定的倉庫服務器僅存在于單個云區域中。用戶可以按需擴展數據倉庫性能,但任何正在運行的查詢都將被取消并回滾。

Google BigQuery

Google BigQuery是一個無服務器,高度可擴展且經濟高效的云計算數據倉庫,內置GIS查詢、內置BI引擎和內置的機器學習功能。BigQuery可以快速運行數PB的SQL查詢,并且可以直接加入公共或包含數據的商業數據集。

用戶只能在創建時設置BigQuery數據集的地理位置。查詢中引用的所有表必須存儲在同一位置的數據集中。這也適用于外部數據集和存儲桶。外部Google Cloud Bigtable數據的位置還有其他限制。在默認情況下,查詢與數據在同一區域中運行。

其運行的地點可以是特定的地方,如弗吉尼亞州北部,也可以是更大的地理區域,如歐盟或美國。要將BigQuery數據集從一個區域移動到另一個區域,用戶必須將其導出到與數據集位于同一位置的Google云存儲桶,將存儲桶復制到新位置,然后將其加載到新位置的BigQuery中。

Snowflake架構

Snowflake使用虛擬計算實例來滿足其計算需求,并使用存儲服務來持久存儲數據。 Snowflake無法在私有云基礎設施(內部部署或托管)上運行。

沒有要執行的安裝,也沒有配置。所有維護和調整均由Snowflake處理。

Snowflake使用中央數據存儲庫來存儲可從數據倉庫中的所有計算節點訪問的持久數據。同時,Snowflake使用大規模并行處理(MPP)計算集群處理查詢,其中集群中的每個節點在本地存儲整個數據集的一部分。

當數據加載到Snowflake中時,Snowflake會將該數據重新組織為其內部壓縮的列式格式。內部數據對象只能通過SQL查詢訪問。用戶可以通過其Web UI、CLI(SnowSQL),來自Tableau等應用程序的ODBC和JDBC驅動程序,通過編程語言的本機連接器以及BI和ETL工具的第三方連接器連接到Snowflake。

Snowflake架構圖。需要注意,虛擬倉庫的CPU資源可以獨立于數據庫存儲進行擴展。

Snowflake功能

安全和數據保護。Snowflake提供的安全功能因版本而異。甚至標準版也提供所有數據的自動加密功能,并支持多因素身份驗證和單點登錄。企業版增加了加密數據的定期重新密鑰,企業版增加了對HIPAA和PCI DSS的支持。用戶可以選擇數據的存儲位置,這有助于符合歐盟GDPR法規。

標準和擴展SQL支持。Snowflake支持SQL:1999中定義的大多數DDL和DML,以及事務,一些高級SQL功能以及SQL:2003分析擴展(窗口函數和分組集)的部分內容。它還支持橫向和物化視圖、聚合函數、存儲過程和用戶定義的函數。

工具和接口。值得注意的是,Snowflake允許用戶從GUI或命令行控制虛擬倉庫。這包括創建、調整大小(零停機時間)、暫停和刪除倉庫。在查詢運行時調整倉庫大小非常方便,尤其是當用戶需要加速花費太多時間的查詢時。然而,任何其他EDW軟件都沒有實現。

連接Snowflake具有Python、Spark、Node.js、Go、.Net、JDBC、ODBC和dplyr-snowflakedb的連接器和/或驅動程序,這是在GitHub上維護的開源dplyr包擴展。

數據導入和導出。Snowflake可以加載各種數據和文件格式。那包括壓縮文件;分隔數據文件;JSON、Avro、ORC、Parquet和XML格式;Amazon S3數據源;本地文件。它可以批量加載和卸載表格,以及從文件中連續批量加載。

數據共享。Snowflake支持與其他Snowflake帳戶安全地共享數據。通過使用零拷貝表克隆簡化了這一過程。

Snowflake的價格因版本和地點而異。其功能因版本而異,VPS實例目前僅在AWS上可用。

Snowflake教程

Snowflake提供了不少教程和視頻。一些教程幫助用戶入門,一些教程探索特定主題,還有一些可以演示功能。

建議用戶完成《Snowflake免費試用實踐實驗室指南》中描述的實踐。這應該足以導入一些真實數據,并測試一些查詢。

這個教程大量使用Snowflake工作表,這是在Web UI中運行命令和SQL的便捷方式。除其他外,其中包括數據加載、查詢、結果緩存和克隆、半結構化數據以及恢復數據庫對象的時間旅行。

實踐教程中的Snowflake工作表(右上角)。模式信息位于左上角,查詢結果位于左下角,帶有時序的查詢歷史記錄位于右下角。

總的來說,發現Snowflake令人印象深刻。原以為它會很笨重,但事實并非如此。實際上,它的許多數據倉庫操作都比人們預期的要快得多,當有一個數據倉庫似乎在緩步前行時,可以在不中斷正在發生的事情的情況下進行干預,并增加數據倉庫的大小。

Snowflake數據倉庫配置對話框。有各種各樣的大小,有幾種選項可以自動進行集群擴展。

大部分擴展都可以自動化。在創建數據倉庫時(參見上面的屏幕截圖),可以選擇允許多個集群,設置擴展策略的選項、自動掛起的選項,以及自動恢復選項。默認的自動掛起時間為10分鐘,這使得數據倉庫在空閑時間超過該時間時不會消耗資源。自動恢復幾乎是即時的,只要對數據倉庫進行查詢就會發生。

考慮到Snowflake提供30天的免費試用期,有400美元的信用額度,而且不需要安裝任何軟件,用戶應該能夠確定Snowflake是否適合其目的,而無需任何現金支出。

費用:2美元/信用額外加上23美元/TB/月的存儲空間,并且存儲空間需要預付費。一個信用額度等于一個節點*小時,按秒計費。更高級別的計劃成本更加昂貴。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7335

    瀏覽量

    94757
  • 數據集
    +關注

    關注

    4

    文章

    1236

    瀏覽量

    26190

原文標題:Snowflake將成為在云中變得更好的數據倉庫

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Fitch Solutions在Snowflake Marketplace上提供AI就緒的信用數據

    將使市場參與者和客戶能夠直接在Snowflake平臺內訪問和使用Fitch的信用情報,以支持更快速的分析,并簡化現代工作流程中的集成操作。 Fitch Ratings的信用數據及貸款級表現基準
    的頭像 發表于 02-04 16:26 ?702次閱讀

    1688庫存API:多倉庫同步,庫存周轉快!

    庫存流程。 第步:理解多倉庫同步的挑戰 在實際業務中,企業往往擁有多個倉庫(如華東倉、華南倉),庫存數據分散。不同步會導致超賣、缺貨等問題。傳統方式依賴手動更新,效率低下且易出錯。多
    的頭像 發表于 01-08 14:47 ?245次閱讀
    1688庫存API:多<b class='flag-5'>倉庫</b>同步,庫存周轉快!

    傳統照明電費太高?招智能改造,讓倉庫能耗立降60%

    提出了特殊要求。 傳統的倉庫廠房照明往往采用“開全亮”的簡單控制模式,無論區域是否有人、是否需要作業照明,所有燈具同時開啟。大型物流倉庫中,這種控制方式導致超過40%的照明能耗實際上被浪費在無人或低使用率區域。 另
    的頭像 發表于 01-07 15:36 ?1016次閱讀
    傳統照明電費太高?<b class='flag-5'>一</b>招智能改造,讓<b class='flag-5'>倉庫</b>能耗立降60%

    BI決策分析系統的關鍵組成部分:業務數據整合有何意義

    從業者不可掉以輕心;旦設計執行不得當,策略很容易就會出現漏洞。 ?美國Intelligent Solutions咨詢公司的總裁Claudia Imhoff說,數據必須及時上傳到數據倉庫為bi決策分析系統所使用,若時機不當,所有
    的頭像 發表于 12-18 13:16 ?235次閱讀

    Next Pathway成為Snowflake最高級別合作伙伴

    的持續投入。 Next Pathway始終展現出卓越的專業能力,以無可匹敵的效率幫助全球客戶將復雜的數據倉庫數據湖遷移至Snowflake AI數據云平臺。“精英級”地位特別認可
    的頭像 發表于 12-04 18:08 ?1072次閱讀
    Next Pathway成為<b class='flag-5'>Snowflake</b>最高級別合作伙伴

    【室內定位】倉庫管理可以有多智能?UWB模組高精度定位

    UWB 模組(BU 系列),倉庫可以真正實現—— 托盤可視化、AGV 精準調度、人員安全協同、貨位全流程監控 。 倉庫為什么必須要 UWB?(痛點很真實) 倉儲現場變量太多:托盤堆高、貨架金屬多、叉車高速穿梭、AGV 來回調度
    的頭像 發表于 12-03 09:56 ?407次閱讀
    【室內定位】<b class='flag-5'>倉庫</b>管理<b class='flag-5'>可以</b>有多智能?UWB模組高精度定位

    rfid倉儲方案在倉庫管理中如何應用

    在現代倉儲管理領域,傳統人工管理模式易出現盤點效率低、物料追蹤難、信息滯后等問題,而rfid倉儲方案的出現,為倉庫管理帶來了革命性的變革。作為高度自動化、智能化的無人值守倉庫管理解決方案,rfid
    的頭像 發表于 10-23 15:13 ?410次閱讀
    rfid倉儲方案在<b class='flag-5'>倉庫</b>管理中如何應用

    ERP倉庫管理軟件如何贏得企業的信賴

    在制造、貿易乃至電商領域,倉庫早已不只是“堆放貨物的地方”。從原材料入庫到成品出庫,每一個環節的數據準確性,都直接影響著生產安排、客戶交付和財務結算。正因如此,越來越多企業開始關注ERP中的
    的頭像 發表于 08-29 09:40 ?564次閱讀
    ERP<b class='flag-5'>倉庫</b>管理軟件如何贏得企業的信賴

    倉庫人車定位系統的優選之解

    在當代倉儲物流的運作體系里,倉庫管理的高效性與安全性占據著核心地位。而人車定位系統作為提升倉庫管理效能的重要技術支撐,正逐漸成為行業聚焦的重點。新銳科創藍牙+LoRa人車定位系統,借助其獨特的技術
    的頭像 發表于 07-04 16:54 ?527次閱讀
    <b class='flag-5'>倉庫</b>人車定位系統的優選之解

    Simcenter STAR-CCM+在燃燒學方面的應用:提供了可以高效、高保真進行燃燒仿真的迅速而可擴展的化學求解器

    優勢使用快速、可擴展的化學求解器在更短時間內運行更多解決方案采用新型自動反應器網絡方法,為燃燒室設計提供快速、精確的排放曲線確保高效、可擴展的求解器充分利用計算資源使用模型特定的反應流
    的頭像 發表于 06-27 17:11 ?819次閱讀
    Simcenter STAR-CCM+在燃燒學方面的應用:提供了<b class='flag-5'>一</b><b class='flag-5'>個</b><b class='flag-5'>可以</b>高效、高保真進行燃燒仿真的迅速而可<b class='flag-5'>擴展</b>的化學求解器

    動態BGP與靜態BGP的區別?

    :明確指定對等體,排錯方便 不支持自動發現:每一個鄰居都要手動添加 安全性較高:無動態鄰居加入風險 擴展性差:當對等關系變多,配置工作繁瑣 2.3 示例配置(Cisco 風格)bash 復制編輯
    發表于 06-24 06:57

    Helm倉庫管理常用配置

    Helm 倉庫(Repository)是存儲 Helm 圖表(Chart)的地方,類似于軟件包管理器的倉庫(如 apt、yum 倉庫)。
    的頭像 發表于 06-07 09:27 ?1299次閱讀

    物聯網、AI與自動化驅動下的軍用倉庫信息化轉型升級方案

    在現代戰爭里,后勤保障就像軍隊的 “大后方糧倉”,重要程度絲毫不亞于戰場上的槍炮。而軍用倉庫作為物資流轉的核心,正在經歷場關鍵變革 —— 從傳統倉庫升級為 “智慧
    的頭像 發表于 06-04 13:49 ?445次閱讀
    物聯網、AI與自動化驅動下的軍用<b class='flag-5'>倉庫</b>信息化轉型升級方案

    IBM收購Hakkoda Inc.,擴展數據專業能力以推動客戶的AI轉型

    能力,幫助客戶準備好數據以推動 AI 驅動的業務運營。 Hakkoda 在數據資產遷移、現代化和變現方面擁有領先的能力,并且是屢獲殊榮的 Snowflake 合作伙伴。此次收購增強了 IBM 滿足
    的頭像 發表于 04-08 19:32 ?1067次閱讀

    通過Java和MCP創建Git AI倉庫助手

    隨著人工智能技術的快速發展,開發者工具也在不斷進化。Gitee 作為國內領先的代碼托管平臺,現已推出 MCP (Model Control Protocol) 功能,讓開發者能夠通過 AI 助手更高效地管理代碼倉庫
    的頭像 發表于 03-19 10:12 ?1527次閱讀