国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何使用TCGAbiolinks進行數據預處理?

工程師鄧生 ? 來源:科研菌 ? 作者:科研菌 ? 2021-02-15 10:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

引言:在前面我們了解了如何使用TCGAbiolinks檢索并獲取TCGA數據庫的公開數據。今天小編就用前面涉及到的代碼,下載今天數據準備需要用到的TCGA樣本數據。

一、數據下載階段

第一步:GDCquery()篩選我們需要的數據,TCGAbiolinks包下載TCGA數據進行表達差異分析-肝癌案例

library("TCGAbiolinks")

query <- GDCquery(project = "TCGA-LIHC",

data.category = "Transcriptome Profiling",

data.type = "Gene Expression Quantification",

workflow.type = "HTSeq - Counts")

wx_article__faa72c3832418bdc2db7a7b6cc9ae113.jpg

上圖為通過TCGA GDC鏈接中根據篩選條件查看的符合要求結果。下圖為通過GDCquery()函數中傳入對應的參數得到的結果。兩者對比,我們可以發現,兩者是一模一樣的。說明代碼執行正確。前面一期中,我們有詳細談及 GDCquery,可做參考。

wx_article__7c80b5b804097bfd894783a1e983f703.jpg

samplesDown <- getResults(query,cols=c("cases"))

#getResults(query, rows, cols)根據指定行名或列名從query中獲取結果,此處用來獲得樣本的barcode

# 此處共檢索出424個barcodes

getResults()中用到的參數:

參數用法query

來自GDCquery的結果rows用于指定特定的行cols用于指定特定的列

# 從samplesDown中篩選出TP(實體腫瘤)樣本的barcodes

# TCGAquery_SampleTypes(barcode, typesample)

# TP代表PRIMARY SOLID TUMOR;NT-代表Solid Tissue Normal(其他組織樣本可參考學習文檔)

##此處共檢索出371個TP樣本barcodes

dataSmTP <- TCGAquery_SampleTypes(barcode = samplesDown,

typesample = "TP")

# 從samplesDown中篩選出NT(正常組織)樣本的barcode

#此處共檢索出50個NT樣本barcodes

dataSmNT <- TCGAquery_SampleTypes(barcode = samplesDown,

typesample = "NT")

TCGAquery_SampleTypes中的參數詳解:

參數用法barcodeTCGA中的barcodes列表typesample用于指定篩選哪種類型的組織樣本,如腫瘤組織“TP”,正常組織“NT”

補充TCGA中的組織樣本類型:

TPPRIMARY SOLID TUMORTMMetastaticTRRECURRENT SOLID TUMORTAMAdditional MetastaticTBPrimary Blood Derived Cancer-Peripheral BloodTHOCHuman Tumor Original CellsTRBMRecurrent Blood Derived Cancer-Bone MarrowTBM Primary Blood Derived Cancer-Bone MarrowTAPAdditional-New PrimaryNB Blood Derived Normal NTSolid Tissue NormalNBCBuccal Cell Normal???NEBVEBV Immortalized NormalNBMBone Marrow Normal

###設置barcodes參數,篩選符合要求的371個腫瘤樣本數據和50正常組織數據

queryDown <- GDCquery(project = "TCGA-LIHC",

data.category = "Transcriptome Profiling",

data.type = "Gene Expression Quantification",

workflow.type = "HTSeq - Counts",

barcode = c(dataSmTP, dataSmNT))

#barcode參數:根據傳入barcodes進行數據過濾

wx_article__827e25135d0e88e73a564114d688f196.jpg

上圖為 queryDown<-GDCquery()的結果,僅選擇了選擇371個正常組織和50個腫瘤組織樣本。

第二步:GDCdownload()下載GDCquery()得到的結果

# 下載數據,默認存放位置為當前工作目錄下的GDCdata文件夾中。

GDCdownload(queryDown,method = "api", directory = "GDCdata",

files.per.chunk = 10)

#method ;"API"或者"client"。"API"速度更快,但是容易下載中斷。

#directory:下載文件的保存地址。Default: GDCdata。

#files.per.chunk = NULL:使用API下載大文件的時候,可以把文件分成幾個小文件來下載,可以解決下載容易中斷的問題。

GDCdownload(query = queryDown)

wx_article__03a8ead512474e5bae0c89f371de2c10.jpg

說明:由于小編前面已經下載過該TCGA數據,所以這里顯示的是421個文件已存在。如果還沒有下載的話,可能需要根據自己的網速等待一些時間。

wx_article__d76ecadb5bfd957fdd5c5739f300a55d.jpg

顯示這樣的結果,就算下載成功啦!文件默認保存在 Rstudio默認路徑下的GDCdata中。前面就是我們利用第一期知識進行數據下載環節,權當溫習功課吧——接下來我們就開始此期的數據處理~~

二、數據處理

第三步:GDCprepare()將前面GDCquery()的結果準備成R語言可處理的SE(SummarizedExperiment)文件。

#讀取下載的數據并將其準備到R對象中,在工作目錄生成(save=TRUE)LIHC_case.rda文件

# GDCprepare():Prepare GDC data,準備GDC數據,使其可用于R語言中進行分析

dataPrep1 <- GDCprepare(query = queryDown, save = TRUE, save.filename =

"LIHC_case.rda")

wx_article__d8068ca9758dc1a4b4ba6d1601f08458.jpg

GDCprepare()中的參數:

參數用法query來自GDCquery的結果save是否將結果保存為RData object,默認為TRUEsave.filename文件名,如果沒有設置,系統將默認設置directory文件數據的文件夾,默認為“GDCdata”summarizedExperiment是否生成summarizedExperiment對象,默認TRUE

第四步:TCGAanalyze_Preprocessing()對數據進行預處理:使用spearman相關系數去除數據中的異常值

# 去除dataPrep1中的異常值,dataPrep1數據中含有腫瘤組織和正常組織的數據

# TCGAanalyze_Preprocessing(object, cor.cut = 0, filename = NULL,

width = 1000, height = 1000, datatype = names(assays(object))[1])

# 函數功能描述:Array Array Intensity correlation (AAIC) and correlation boxplot to define outlier

dataPrep2 <- TCGAanalyze_Preprocessing(object = dataPrep1,

cor.cut = 0.6,

datatype = "HTSeq - Counts")

#將預處理后的數據dataPrep2,寫入新文件“LIHC_dataPrep.csv”

write.csv(dataPrep2,file = "LIHC_dataPrep.csv",quote = FALSE)

這里將生成一個array-array intensity correlation(AAIC)相關性熱圖,如下:

wx_article__d571c7670885def7527a7dc11066ea0d.jpg

TCGAanalyze_Preprocessing()中的參數:

參數用法object來自TCGAprepare的結果cor.cut設置閾值,根據樣本中各個樣本之間的spearman相關系數進行過濾。默認為0filename設置生成圖片文件的名稱,默認為PreprocessingOutput.pngwidth生成圖片的寬度?? height生成圖片的高度datatype描述RangedSummarizedExperiment 數據類型的字符串

第五步:TCGAtumor_purity()篩選腫瘤純度大于60%的腫瘤barcodes

# TCGAtumor_purity(barcodes, estimate, absolute, lump, ihc, cpe),使用來自5種方法的5個估計值作為閾值對TCGA樣本進行過濾,這5個值是estimate, absolute, lump, ihc, cpe,這里設置cpe=0.6(cpe是派生的共識度量,是將所有方法的標準含量歸一化后的均值純度水平,以使它們具有相等的均值和標準差)

#篩選腫瘤純度大于等于60%的樣本數據

purityDATA <- TCGAtumor_purity(colnames(dataPrep1), 0, 0, 0, 0, 0.6)

# filtered 為被過濾的數據, pure_barcodes是我們要的腫瘤數據

Purity.LIHC<-purityDATA$pure_barcodes

normal.LIHC<-purityDATA$filtered

wx_article__152a2403ef78cc362db91ee316755f05.jpg

filtered 為被過濾的數據(為正常組織的數據barcodes), pure_barcodes是我們要的腫瘤樣本barcodes。

第六步:將腫瘤表達矩陣與正常組織表達矩陣合并,進行基因注釋

#獲取腫瘤純度大于60%的340個腫瘤組織樣本+50個正常組織樣本,共計390個樣本

puried_data <-dataPrep2[,c(Purity.LIHC,normal.LIHC)]

第七步:進行表達矩陣基因注釋

#基因注釋,需要加載“SummarizedExperiment”包,“SummarizedExperiment container”每個由數字或其他模式的類似矩陣的對象表示。行通常表示感興趣的基因組范圍和列代表樣品。

#if (!requireNamespace("BiocManager", quietly = TRUE))

install.packages("BiocManager")

#BiocManager::install("SummarizedExperiment") #沒有的需要執行下載代碼

library("SummarizedExperiment")

rowData(dataPrep1) #傳入數據dataPrep1必須為SummarizedExperiment對象

# DataFrame with 56512 rows and 3 columns

# ensembl_gene_id external_gene_name original_ensembl_gene_id

# <character> <character> <character>

# ENSG00000000003 ENSG00000000003 TSPAN6 ENSG00000000003.13

# ENSG00000000005 ENSG00000000005 TNMD ENSG00000000005.5

# ENSG00000000419 ENSG00000000419 DPM1 ENSG00000000419.11

# ENSG00000000457 ENSG00000000457 SCYL3 ENSG00000000457.12

#將結果寫入文件“puried.LIHC.cancer.csv”

rownames(puried_data)<-rowData(dataPrep1)$external_gene_name

write.csv(puried_data,file = "puried.LIHC.csv",quote = FALSE)

第八步:進行表達矩陣標準化和過濾,得到用于差異分析的表達矩陣

`TCGAanalyze_Normalization()`使用EDASeq軟件包標準化mRNA轉錄本和miRNA。

#TCGAanalyze_Normalization()執行EDASeq包中的如下功能:

1. EDASeq::newSeqExpressionSet

2. EDASeq::withinLaneNormalization

3. EDASeq::betweenLaneNormalization

4. EDASeq::counts

dataNorm <- TCGAanalyze_Normalization(tabDF = puried_data,

geneInfo = geneInfo,

method = "gcContent")

TCGAanalyze_Normalization中的參數:

參數用法tabDFRNAseq表達矩陣,行代表基因,列代表樣本geneInfo關于geneLength和gcContent的20531個基因的矩陣,“geneInfoHT”和“geneInfo”可選。method選擇標準化的方法,基于’gcContent’ 或 ’geneLength’的標準化方法可選

#將標準化后的數據再過濾,去除掉表達量較低(count較低)的基因,得到最終的數據

dataFilt <- TCGAanalyze_Filtering(tabDF = dataNorm,

method = "quantile",

qnt.cut = 0.25)

str(dataFilt)

#num [1:13083, 1:340] 274 2432 60347 1012 1947 ...

#- attr(*, "dimnames")=List of 2

# ..$ : chr [1:13083] "A1BG" "A1CF" "A2M" "A4GALT" ...

# ..$ : chr [1:390] "TCGA-DD-AAD5-01A-11R-A41C-07" "TCGA-DD-A4NO-01A-11R-A28V-07" "TCGA-EP-A2KA-01A-11R-A180-07" "TCGA-DD-AACP-01A-11R-A41C-07" ...

TCGAanalyze_Filtering()中的參數:

參數用法tabDF數據框或者矩陣,行代表基因,列代表來自TCGA的樣本method用于過濾較低count數的基因的方法,有’quantile’, ’varFilter’, ’filter1’, ’filter2’qnt.cut選擇均值作為過濾的閾值

最后將過濾后的數據寫入文件“TCGA_LIHC_final.csv”,就得到我們用于后續差異分析的表達文件:

write.csv(dataFilt,file = "TCGA_LIHC_final.csv",quote = FALSE)

#保留的是390個樣本(前340腫瘤,后50正常組織)

今天的數據預處理就講到這里,接下來我們將分享:數據分析(差異表達分析、富集分析和聚類分析等)。如果你喜歡的話,就加入我們一起挖數據吧~~

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7335

    瀏覽量

    94771
  • 基因
    +關注

    關注

    0

    文章

    95

    瀏覽量

    17794
  • 數據預處理
    +關注

    關注

    1

    文章

    20

    瀏覽量

    3000
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    機器學習為什么需要數據預處理

    數據預處理是準備原始數據并使其適合機器學習模型的過程。這是創建機器學習模型的第一步也是關鍵的一步。 創建機器學習項目時,我們并不總是遇到干凈且格式化的數據。在對
    的頭像 發表于 08-24 09:20 ?2920次閱讀
    機器學習為什么需要<b class='flag-5'>數據</b><b class='flag-5'>預處理</b>

    數據預處理軟核加速模塊設計

    模塊的主要功能是進行圖像還原,即將16通道的并行數據拼接成行傳輸的形式。這個模塊是十分必要的,如果不進行數據整理上位機收到的將是雜亂無章的數據,無法顯示成一幅圖像,圖像恢復的過程涉及到
    發表于 10-29 08:09

    單片FPGA圖像預處理系統的設計與實現

    一個狀態機來實現的。狀態機把總線順序判給數據有效的預處理單元進行數據傳送,傳送完成后狀態機回收總線權。2.2 接口及時序  預處理主要有4個接口:(1)CCD的
    發表于 09-19 09:26

    請教大家一下關于數據預處理

    一般將獲得的加速度數據進行數據預處理,常見的預處理方法有去掉趨勢相、還得將離散的數值積分獲得振幅。請問有做過的沒,請教一下。
    發表于 06-07 11:16

    HX711如何進行數據處理

    HX711如何進行數據處理
    發表于 11-21 22:03

    Python數據預處理方法

    機器學習-Python實踐Day3(特征工程--數據預處理2)
    發表于 06-03 15:55

    數據探索與數據預處理

    目錄1數據探索與數據預處理21.1 賽題回顧21.2 數據探索性分析與異常值處理21.3 相關性分析52特征工程82.1 光伏發電領域特征8
    發表于 07-12 08:37

    STM32 USART串口是如何進行數據處理的呢

    STM32 USART串口接收數據的具體步驟有哪些?STM32 USART串口是如何進行數據處理的呢?
    發表于 11-25 08:56

    附加電路在充電之前對電池進行預處理

    本文主要講述的是附加電路在充電之前對電池進行預處理
    發表于 04-30 09:51 ?13次下載

    放電聲發射波檢測中數據預處理的小波分析實現

    放電聲發射波檢測中數據預處理的小波分析實現       摘 要:研究了放電聲發射波檢測中用小波變換進行數據預處
    發表于 10-22 17:41 ?845次閱讀

    C程序設計教程之如何進行編譯預處理

    預處理是 C 語言的一個重要功能,它由預處理程序負責完成。所謂預處理是指在進行編譯的第一遍掃描(詞法掃描和語法分析)之前所作的工作。當對一個源文件
    發表于 11-02 15:47 ?5次下載

    使用tf.data進行數據處理

    進行AI模型訓練過程前,需要對數據進行處理, Tensorflow提供了tf.data數據處理
    的頭像 發表于 11-29 15:34 ?2363次閱讀

    什么是大數據采集和預處理

    一般情況下,大數據處理的流程為:數據采集和預處理數據存儲、數據分析和數據可視化。
    的頭像 發表于 02-15 14:22 ?5370次閱讀

    PyTorch教程之數據預處理

    電子發燒友網站提供《PyTorch教程之數據預處理.pdf》資料免費下載
    發表于 06-02 14:11 ?0次下載
    PyTorch教程之<b class='flag-5'>數據</b><b class='flag-5'>預處理</b>

    Minitab 數據清理與預處理技巧

    Minitab是一款功能強大的統計分析和質量管理軟件,在數據分析過程中,數據清理與預處理是至關重要的環節。以下是一些在Minitab中進行數據清理與
    的頭像 發表于 12-02 16:06 ?2830次閱讀