Robust hyperparameter estimation protects against hypervariable genes and improves power to detect differential expression

Belinda Phipson; Stanley Lee; Ian J. Majewski; Warren S. Alexander; Gordon K. Smyth

Source-linked AI summary

Robust hyperparameter estimation protects against hypervariable genes and improves power to detect differential expression

Belinda Phipson, Stanley Lee, Ian J. Majewski, Warren S. Alexander, Gordon K. Smyth

arXiv:1602.08678v32016년 2월 28일stat.APq-bio.GN

TL;DR

특히 생물학적 반복 샘플 수가 적은 연구에서는 비정상적으로 크거나 작은 분산을 가진 유전자 때문에 차등 발현 검정이 왜곡될 수 있다. 이 논문은 empirical Bayes hyperparameter 추정을 robust하게 만들어, outlier가 존재할 때 검정력을 높이고 false discovery rate를 낮춘다.

문제
Empirical Bayes 차등 발현 검정은 극단적인 분산을 가진 소수의 유전자에 의해 과도하게 영향을 받을 수 있다.
방법
이 방법은 hypervariable gene에 diffuse variance prior를 할당하면서 conjugate prior와 정확한 small-sample null distribution을 유지한다.
결과
Outlier가 존재할 때 robust empirical Bayes는 검정력을 높이고 false discovery rate를 낮추는 동시에, outlier가 없을 때는 기존 방법과 일치했다.
핵심 시사점 및 한계
이 절차는 hyperparameter 왜곡으로부터 non-outlier gene을 보호하면서 hypervariable gene을 제거하지 않고 downweighting한다.
핵심 시사점 및 한계
이 접근법은 개별 expression value가 아니라 유전자를 outlier로 취급하므로, 오류 관측값을 대상으로 하는 robust regression 방법을 보완한다.

Abstract

from arXiv · show

One of the most common analysis tasks in genomic research is to identify genes that are differentially expressed (DE) between experimental conditions. Empirical Bayes (EB) statistical tests using moderated genewise variances have been very effective for this purpose, especially when the number of biological replicate samples is small. The EB procedures can however be heavily influenced by a small number of genes with very large or very small variances. This article improves the differential expression tests by robustifying the hyperparameter estimation procedure. The robust procedure has the effect of decreasing the informativeness of the prior distribution for outlier genes while increasing its informativeness for other genes. This effect has the double benefit of reducing the chance that hypervariable genes will be spuriously identified as DE while increasing statistical power for the main body of genes. The robust EB algorithm is fast and numerically stable. The procedure allows exact small-sample null distributions for the test statistics and reduces exactly to the original EB procedure when no outlier genes are present. Simulations show that the robustified tests have similar performance to the original tests in the absence of outlier genes but have greater power and robustness when outliers are present. The article includes case studies for which the robust method correctly identifies and downweights genes associated with hidden covariates and detects more genes likely to be scientifically relevant to the experimental conditions. The new procedure is implemented in the limma software package freely available from the Bioconductor repository.

1. 서론.

이 논문은 잔차분산이 극단적인 유전자의 영향력을 줄여, 반복 샘플 수가 적은 고차원 gene-expression 연구를 위한 empirical-Bayes differential-expression 검정을 robust하게 만든다. 그 결과로 얻은 방법은 exact small-sample 추론을 보존하고, 빠르며 수치적으로 안정적이고, limma에 구현되어 있다.

동기: 고차원 gene-expression 실험에서는 독립 반복 샘플이 적은 경우가 많아 gene-wise 분석이 부정확해지므로, 유전자 간 정보 공유가 필요하다.Empirical Bayes 방법은 데이터셋 전반에서 정보를 차용해 genewise variance 추정을 개선한다.
기여: 이 논문은 예외적으로 크거나 작은 residual variance에 대해 hyperparameter estimation을 robust하게 만들어 limma의 empirical-Bayes differential-expression 검정을 개선한다.극단적인 variance를 갖는 유전자는 outlier로 처리하며, 큰 variance를 갖는 outlier를 hypervariable gene이라고 한다.
방법: Robust 접근법은 hypervariable gene에 더 diffuse한 conjugate prior를 사용하면서 differential-expression 검정 통계량의 exact small-sample null distribution을 유지한다.이 방법은 conjugacy를 보존하며, outlier gene이 없을 때 원래의 empirical-Bayes 절차로 정확히 환원된다.
방법: Robust empirical-Bayes 절차는 빠르고 수치적으로 안정적이며, 어려운 convergence 문제를 피한다.이러한 특성은 원래 검정의 핵심 특성을 유지하면서 robust estimation 절차가 제공하는 장점으로 제시된다.

2. 선형 모형과 moderated t-statistics

이 절에서는 weighted linear models와 gene-specific variances를 사용해 유전자 발현을 모형화한 뒤, empirical-Bayes scaled inverse chi-square prior로 variance estimates를 보정한다. 귀무가설하에서 moderated statistics는 증가한 denominator degrees of freedom을 갖는 exact t 또는 F distributions를 따른다.

선형 모형: Weighted linear models는 full-rank design matrix를 통해 실험 설계를 나타내며, 관측값은 독립이고 gene-specific weights는 알려져 있다고 가정한다.Least-squares coefficients는 diagonal weight matrix W_g를 사용해 추정한다.
선형 모형: Gene-wise residual variances는 residual degrees of freedom을 사용하며, 일반적으로 n−p이지만 missing values 또는 zero weights가 있으면 감소할 수 있다.Residual variance는 fitted values X β̂_g를 기준으로 계산한다.
Moderated variances: Empirical Bayes moderation은 gene-wise variance estimates와 d_0 및 s_0^2로 매개변수화된 scaled inverse chi-square prior를 결합한다.그 결과 얻은 moderated variance estimators는 이후 통계량에서 ordinary residual variance estimates를 대체한다.
Moderated t-statistics: β_gj = 0일 때 moderated t-statistic은 d_g+d_0 degrees of freedom을 갖는 t-distribution을 따르며, ordinary genewise t 또는 F-statistics도 유사하게 보정할 수 있다.이에 따라 귀무분포의 denominator degrees of freedom이 d_g에서 d_0+d_g로 증가한다.

3. Robust hyperparameter 추정

이 절에서는 limma의 moment 기반 hyperparameter 추정을, 유전자별 분산의 극단값을 Winsorization한 뒤 prior parameter를 추정하는 robust procedure로 대체한다. 이 접근법은 outlier가 분산 이질성을 유발할 때 prior의 영향력을 줄이고, 추정된 prior와 일치하지 않는 분산을 갖는 유전자를 식별할 수 있게 한다.

동기: 관측된 log sample variance의 분산이 증가할수록 추정된 prior degrees of freedom은 감소하므로, moderated t-statistics에는 더 적은 prior information이 차용된다.가장 변동성이 큰 소수의 유전자를 제외하면 분산이 감소하므로, robust estimation이 필요하다.
Winsorized 추정: Robust procedure는 Winsorized sample variances에 moment estimation을 적용하여, 상·하위 꼬리에서 가장 극단적인 분산의 지정된 비율을 재설정한다.일반적인 한계는 p_l = 0.05 및 p_u = 0.1이며, 0과 0.5 사이의 모든 값은 허용된다.
Winsorized 추정: Winsorized hyperparameters는 관측된 log-variance variance를 대응하는 theoretical Winsorized F-distribution variance에 일치시키고 d0를 풀어 추정한다.유전자별 residual degrees of freedom이 서로 다르면, algorithm을 적용하기 전에 분산을 동일한 degrees of freedom을 갖는 equivalent variables로 변환한다.
Outlier 처리: Robust estimation 후에는 추정된 prior에서 합리적으로 발생했다고 보기 어려울 정도로 큰 분산을 갖는 유전자를 outlier로 식별할 수 있다.이 절에서는 이러한 유전자의 처리를 별도의 방법론적 문제로 제기하며, d0 = 0으로 설정하고 ordinary t-tests를 사용할지 여부도 포함한다.

4. 유전자별 사전 자유도

이 방법은 각 유전자가 hypervariable outlier일 확률을 추정해 유전자별 prior degrees of freedom을 할당한다. 대부분의 유전자는 공통 prior degrees of freedom을 유지하지만, 명확한 outlier에는 훨씬 적은 prior information이 부여된다.

유전자별 사전 자유도: 이 절차는 가장 큰 관측 잔차분산을 해당 F 분포의 중앙값에 대응시켜 doutlier를 추정한다.doutlier를 구하는 빠르고 안정적인 수치 알고리즘은 논문의 뒤에서 제시한다.
유전자별 사전 자유도: 각 유전자가 non-outlier일 posterior probability는 outlier-test p-value와 empirical residual-variance tail probability로부터 추정한다.대부분의 유전자가 outlier가 아니라고 가정하고, 이 방법은 π0 = 1로 설정한 뒤 해당 유전자의 rank에서 marginal tail probability를 추정한다.
유전자별 사전 자유도: 추정된 outlier probability는 유전자를 p-value 순으로 정렬하고, cumulative mean 및 maximum filter를 적용한 뒤 isotonic regression으로 근사해 monotonized한다.이를 통해 추정값이 non-monotonic해지는 것을 방지하면서, 가장 극단적인 한 사례만 그렇게 되도록 요구하지 않고 여러 사례로 이루어진 집합이 작은 probability를 갖도록 한다.
유전자별 사전 자유도: 대부분의 유전자는 d0를 유지하는 반면, pg 값이 매우 작은 유전자는 훨씬 낮은 prior degrees of freedom을 받는다.이는 명확한 hypervariable outlier에 대한 prior informativeness를 낮추면서 유전자 대부분에 대해서는 공통 prior를 보존한다.

5. 공변량 의존적 사전분포

genewise variance의 prior distribution을 각 gene의 평균 log-expression에 따라 smooth하게 달라지도록 확장한다. Robust EB estimation에서는 lowess variance trend를 사용하며, estimation 전에 detrending을 수행한 뒤 trend를 robust prior estimates와 재결합한다.

각 gene의 평균 log-expression인 Ag에 따라 smooth하게 변하도록 허용하여 variance prior를 gene-specific하게 만든다.
variance trend를 포함한 Robust EB는 log s^2_g 대 Ag에 robust lowess curve를 적합하고, detrended variances에 robust EB를 적용한 다음, unlogged trend와 estimates를 재결합한다.
robust hyperparameter procedure는 limma의 fitFDist-Robustly에 구현되어 있으며, 사용자가 설정할 수 있는 Winsorizing tail 기본값은 p_l = 0.05 및 p_u = 0.1이다.

6. 소프트웨어 구현.

robust EB 전략은 microarray 및 RNA-seq 분석을 위한 edgeR pipeline에 통합되며, glmQLFit은 ChIP-seq 및 Hi-C data를 위한 csaw와 diffHic workflow도 지원한다. 성능은 differential expression gene이나 outlier가 없는 조건에서 hyperparameter 설정을 달리한 simulation을 통해 평가했다.

Simulation 평가: Table 1은 differential-expression gene이나 outlier가 없는 dataset에서 p-value cutoff와 simulation d0 값에 따른 standard 및 robust EB t-test의 Type I error rate를 보고한다.1,000개의 simulated dataset에서 모든 gene에 대해 rate를 평균했다.
Software 구현: robust EB 전략은 gene-expression microarray 및 RNA-seq analysis pipeline을 위한 estimateDisp와 glmQLFit을 통해 edgeR에 구현되어 있다.glmQLFit은 ChIP-seq 및 Hi-C sequencing data를 위한 csaw와 diffHic pipeline에서도 사용된다.
Simulation 평가: Simulation에서는 두 group에 각각 세 개씩 배정된 여섯 개의 RNA sample에서 10,000개의 gene에 대한 expression value를 생성하여 4 residual degrees of freedom을 얻었다.hierarchical model에서는 standard 및 robust hyperparameter estimator를 평가하기 위해 s0 = 0.2와 2, 4, 또는 10의 d0 값을 사용했다.

7. 모의 데이터 평가

모의실험에서 hypervariable gene이 없을 때 robust 및 standard EB test의 성능은 유사했지만, 250개의 outlier가 있을 때 robust test는 false discovery를 줄이고 power를 높였다. 또한 outlier 유무에 따른 데이터셋에서 hyperparameter estimate를 비교했다.

7. 모의 데이터 평가: 250개의 hypervariable gene이 있을 때 robust EB test는 standard EB test보다 일관되게 false discovery가 적고 power가 높았다.Hypervariable gene이 없을 때는 false discovery와 power에서 두 test를 구분할 수 없었다.
7. 모의 데이터 평가: 모의실험에는 log fold change가 N(0, 4)에서 추출된 500개의 DE gene이 포함되었으며, 결과는 1000회 모의실험에 대해 평균을 냈다.이 모의실험에서는 DE이면서 동시에 hypervariable인 gene이 없었다.
7. 모의 데이터 평가: Hyperparameter estimate는 outlier가 없거나 250개의 hypervariable gene이 있는 1000개의 모의 데이터셋에서 비교했으며, true s2 0 = 0.4와 2, 4, 또는 10의 d0 값을 사용했다.그림에는 두 outlier 조건에서 standard 및 robust estimate가 제시되어 있다.

8. 사례 연구.

사례 연구는 robust empirical-Bayes 추정이 hidden covariate로 인한 variance outlier를 탐지하고 downweight하여, 생물학적으로 관련된 발견을 보존하면서 differential-expression 검정력을 높인다는 것을 보여준다. 여러 데이터셋에서 hypervariable gene은 주요 조건이 아니라 성별, ribosomal, hemoglobin 및 기타 sample-composition 효과와 연관되어 있었다.

Suz12 사례 연구: 두 방법 모두에서 251개의 down-regulated probe와 35개의 up-regulated probe가 식별되었으며, robust method는 22개의 down-regulated gene을 고유하게 발견한 반면 standard method에만 고유한 것은 16개였다.비교에는 false-discovery-rate를 5% 미만으로 제어한 EB moderated t-statistics를 사용했으며, standard method에만 고유한 gene은 대체로 sex-linked 또는 hemoglobin-associated였다.
Suz12 사례 연구: robust method는 Suz12 mutation이 아니라 성별 불균형, ribosomal RNA 잔류, 혈액 또는 골수 함량과 연관된 outlier variance를 식별하고 downweight했다.두 mutant embryo는 암컷이고 나머지 mouse는 수컷이어서 원치 않는 hidden covariate가 드러났으며, outlier에는 sex-linked, ribosomal 및 hemoglobin gene이 포함되었다.
HapMap 사례 연구: HapMap Yoruba lymphoblastoid-cell RNA-seq profile에서 voom transformation 후 수컷과 암컷을 비교하고 genewise variability를 조사했다.데이터셋에는 69명의 개인이 포함되었으며, Figure 1c에는 genewise standard deviation이 제시되었다.
Embryonic stem-cell 사례 연구: embryonic-stem-cell RNA-seq 데이터에서 hyper-variable gene은 주로 ribosomal 또는 hemoglobin gene과 연관되어 있었으며, 이는 cell purification과 RNA processing의 불일치를 시사한다.그 밖의 hyper-variable gene은 major histocompatibility region에 위치했다.
연구 간 관찰: 일상적으로 점검한 여러 gene-expression 연구에서 hypervariable gene은 흔히 sex-linked, ribosomal, mitochondrial 또는 B-cell-related expression과 관련된 기전을 시사했다.저자들은 많은 연구에 outlier gene의 subset이 포함되어 있었고, 그 정체가 잠재적 variability 원인을 나타냈다고 보고한다.

9. 논의.

Robustified empirical-Bayes procedure는 non-outlier에 hyperparameter를 적합하고 outlier의 영향력을 줄여 hypervariable 및 hypovariable gene으로부터 differential-expression analysis를 보호한다. 정확한 small-sample inference를 유지하고 outlier가 있을 때 power와 false-discovery control을 향상하며, 이 설정을 넘어 일반화될 가능성도 있다.

9. 논의.: Robustified EB는 outlier가 없는 것처럼 non-outlier가 정보를 공유하도록 하면서도 hypervariable gene을 analysis에 남겨 두어 hypervariable 및 hypovariable gene으로부터 보호한다.Hypervariable gene은 제거되는 대신 ensemble로부터 더 적은 정보를 차용한다.
9. 논의.: Conjugate Bayesian model은 closed-form posterior estimator와 정확한 small-sample p-value를 제공한다. Robustness는 non-outlier에 prior를 적합하고 outlier의 prior degrees of freedom을 낮추는 데서 나온다.실용적인 algorithm은 outlier gene에 prior degrees of freedom을 할당하며, DE list는 그 정확한 값에 민감하지 않다.
9. 논의.: Default Winsorizing tail proportion은 실제로 잘 작동하지만, dataset에 높은 비율의 outlier gene이 포함될 것으로 예상되면 이를 늘릴 수 있다.이 권고는 underlying robust EB procedure의 변경이 아니라 implementation choice로 제시된다.
9. 논의.: Outlier가 존재할 때 robustified EB는 differential-expression power를 동시에 높이고 false discovery rate를 낮추었으며, outlier가 없을 때는 original method의 hyperparameter accuracy와 일치했다.따라서 이 method는 clean setting에서 original procedure의 performance를 유지하면서 outlier가 발생할 때 robustness를 향상한다.
9. 논의.: 이 method는 individual expression value가 아니라 gene을 outlier로 취급한다. Robust regression은 동시에 사용할 수 있는 complementary approach로 제시된다.limma package에는 십 년 넘게 robust regression을 위한 M-estimation 옵션이 포함되어 있다.
9. 논의.: Robust EB strategy는 hyperparameter를 robust하게 추정하고 outlier case를 검정하며 해당 case에 diffuse prior를 할당함으로써 다른 empirical-Bayes context로 확장될 수 있다.저자들은 이 approach가 conjugate Bayesian model에 특히 매력적일 수 있으며, 이전의 robust EB strategy와는 다르다고 제안한다.

10. 부록: 계산 알고리즘의 세부사항

부록에서는 로그 변환한 잔차분산을 이용한 EB hyperparameter 추정, 자유도 조정, log-Winsorized F moments의 수치 계산을 자세히 설명한다. 또한 abundance-dependent trend와 outlier degrees of freedom을 결정하는 반복 절차도 다룬다.

기존 hyperparameter 추정: 기존의 non-robust method-of-moments algorithm은 moments가 근사적으로 정규이고 유한한 로그 변환 유전자별 잔차분산으로부터 EB hyperparameter를 추정한다.이론적 평균과 분산을 관측 moments에 맞추어 hyperparameter를 구한다.
Abundance-dependent trend: 평균 log2-expression에 대한 변환된 log variance를 four-degree-of-freedom regression spline으로 적합하면 abundance-dependent trend를 통합할 수 있다.적합된 spline 값을 해당 non-trended transformed mean 대신 사용한다.
불균등한 degrees of freedom: 유전자마다 residual degrees of freedom이 다르면, robust estimation 전에 variance를 common maximum degree of freedom으로 변환한다.먼저 non-robust hyperparameter를 추정한 다음, F-distribution을 사용해 유전자별 variance를 변환한다.
Log-Winsorized moments: log-Winsorized F distribution의 평균과 분산은 꼬리 질량을 중심 구간과 분리하고 conditional expectation을 수치적으로 계산하여 구한다.uniform interval로 변환한 뒤 Gauss-Legendre quadrature로 필요한 expectation을 계산한다.
Outlier-degree 추정: outlier degrees of freedom은 estimated prior degrees of freedom에서 시작하여 maximum variance의 F-distribution right-tail probability가 0.5가 될 때까지 반복하여 구한다.반복은 단조롭게 수렴하며, 보통 두세 번의 반복 후 충분한 정확도에 도달한다.