辨識

	N	P
真實N	TN	FP
真實P	FN	TP

$${\rm sensitivity}={\rm recall}=\frac{TP}{真實P}\\$$
$${\rm specificity}=\frac{TN}{真實N}\\$$
$${\rm precision}=\frac{TP}{P}$$
$${\rm F-score}=\frac{2 {\rm recall}\cdot {\rm precision}}{{\rm recall+precision}}$$

勝算比

$${\rm odds}=\frac{成功機率}{失敗機率}$$

先驗勝算

篩檢前宣稱所有人都病，成功率為有病人數

$${\rm odds_{before}}=\frac{有病機率}{沒病機率}=\frac{有病人數}{沒病人數}$$

後驗勝算

宣稱篩檢陽性的有病，成功率即精確度(precision)

$${\rm odds_{before}}=\frac{precision}{1-precision}＝\frac{真陽性人數}{偽陽性人數}$$

Likelihood ratio

定義：
$${\rm odds_{after}}={\rm odds_{before}}\times {\rm Likelihood\ ratio}$$

$$={\rm odds_{before}}\times\frac{\rm 有病裏面被篩出陽性的比例}{\rm 沒病裏面被篩出陽性的比例}\\$$
所以
$${\rm Likelihood\ ratio}=\frac{有病裏面被篩出陽性的比例}{沒病裏面被篩出陽性的比例}$$

RoC Curve 上一點斜率

二項分布

n次中k次
$$f(k,n,p)=\Pr(X=k)={n \choose k}p^{k}(1-p)^{n-k}\\ \operatorname {E} [X]=np\\ \operatorname {Var} [X]=np(1-p).$$

Beta distribution

定義在(0,1)區間的連續機率分布，有兩個母數$\alpha ,\beta >0$，即為先驗成功與失敗。把發生率p當作變數(x)，在現有數據下去預測p值是多少（即再做一次實驗），所以維護$\operatorname {E} [X]=\frac{\alpha}{\alpha +\beta}$, 變異數是二項分佈下的$\operatorname{E}[\frac{Y}{n}]$，所以$\operatorname {Var}(X)=\operatorname {E}(X-\mu )^{2}={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$。
$${\begin{aligned}f(x;\alpha ,\beta )&={\frac {x^{{\alpha -1}}(1-x)^{{\beta -1}}}{\int _{0}^{1}u^{{\alpha -1}}(1-u)^{{\beta -1}}\,du}}\\[6pt]&={\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}\,x^{{\alpha -1}}(1-x)^{{\beta -1}}\\[6pt]&={\frac {1}{{\mathrm {B}}(\alpha ,\beta )}}\,x^{{\alpha -1}}(1-x)^{{\beta -1}}\end{aligned}}$$

Poisson distribution

即做很多次($n\rightarrow \infty$)成功率p的白努力試驗，成功次數$\lambda=np$。卜瓦松分布適合於描述單位時間內隨機事件發生的次數的機率分布。

Gamma distribution

Poisson 的共軛，描述單位時間發生率分佈
$${\displaystyle f(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}}$$

$$\operatorname{E}[X]=\frac{\alpha}{\beta},\ \operatorname{Var}[X]=\frac{\alpha}{\beta^2}$$

常態分佈

連續分佈，母數 $\mu, \sigma^2$
$$f(x)=\frac{1}{\sqrt{2\pi\sigma}}\exp(-\frac{1}{2}(\frac{x-\mu}{\sigma})^2)$$

$$\phi(z)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{z^2}{2})\\ \Phi(z)=\int_{-\infty}^{z} \phi(x)dx \rm\ \ (查表用)$$

連續性校正

離散化要把離中間的密度分給兩邊。
Example: 逼近Bin Dist

$x \sim Bin,\ x'\sim N(\mu, \sigma^2)\\ P(x≤n)=P(x'\leq n+\frac{1}{2})$

抽樣分佈

每次抽 n 個sample x₁…x_n取平均
$$E(\bar{X})=\mu \\ Var(\bar{X})=\ \frac{1}{n^2}\sum Var(x_i) = \ \frac{\sigma^2}{n}$$

Standard error
$Var(\bar{X})$

Hoeffding’s inequality
$$x_i \in [a,b]\\ \mathbb{P}(\bar{X}-\mu \geq t)\ \leq\ \exp(-\frac{2t^2n^2}{n(a-b)^2})$$

中央極限定理
自任何母體中隨機抽取的樣本，其樣本平均數的抽樣分配，在樣本大小足夠大時，會趨近於常態分配。

假說檢定

假設H₀為真，計算實驗結果出現率

Type1 error : H₀ 對的但被拒絕 (95%以外的情況)

Type2 error : H₀ 錯的但沒被拒絕

統計檢定力

假設 H₁正確，H₁中真的拒絕H₀的比例 (1-β,紅色)

樣本數估計

$$C=\mu_0+Z_\alpha\frac{\sigma}{\sqrt{n}}\qquad({\rm Critical\ value})$$

$$Z_{1-\beta}=(C-\mu_1)/(\frac{\sigma}{\sqrt{n}})\qquad (統計檢定力)$$

$$\Rightarrow n=[\frac{Z_{1-\alpha}+Z_{1-\beta}}{\sigma^{-1}(\mu_0-\mu_1)}]^2=[\frac{Z_{1-\alpha}+Z_{1-\beta}}{\rm Effect\ size}]^2$$

Z test

• 母體σ已知，驗證母體平均為μ的機率
• 服從 Normal distribution

假說檢定

$H_0:\ x\sim N(\mu,\sigma^2)$
對於n個次試驗 $x_{i}$，

$$\begin{aligned} &Var(\bar{x})=\frac{n\sigma^2}{n^2}\\ \Rightarrow\ & {\rm Z-value}\\ &=\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}=\frac{\bar{x}-\mu}{\sigma/\sqrt{n}}\sim N(1,0) \end{aligned}$$

T test

t-distribution

• 描述樣本的分佈
• 母數為自由度，從下方逼近常態分布(n 小則爛)

n 個 sample x_i(自由度為n-1，因為用平均值正規化)

$$S^2=\frac{\sum(x_i-\bar{x})^2}{n-1}$$

假說檢定

$H_0:\ x\sim N(\mu,\sigma^2)$
對於n個次試驗 $x_{i}$，

$$\begin{aligned} &Var(\bar{x})=\frac{n\sigma^2}{n^2}\\ \Rightarrow\ &\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}=\frac{\bar{x}-\mu}{\sigma/\sqrt{n}}\sim N(1,0) \end{aligned}$$

母群σ²未知 → 用樣本變異數 S²
sample t-value= $\frac{\bar{x} - \mu}{S/\sqrt{自由度}} \sim T(自由度)$

χ test

χ²-distribution

Define

k個隨機變數 Z_i 是相互獨立、且
$$Z_i \sim N(0,1)$$

$$X=\sum Z_i^2$$
則
$$X \sim \chi^2(k)$$

Property

$$E(X)=k\\ Var(X)=2k$$

假說檢定

對於變數 x，n個樣本 x_i，H₀: σ² = S²
則
$$\frac{x_i-\bar{x}}{\sigma} \sim N(0,1)$$
所以

$$\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^k (\frac{x_i-\bar{x}}{\sigma})^2 \sim \chi^2(n-1)$$

根據 $\frac{(n-1)S^2}{\sigma^2}$ 對應到的累積機率就有p值 (H₀成立機率)

Two sample independent T-test

Y₁,Y₂平均μ₁,μ₂，且independent ,$cov(Y_1, Y_2)=0$
H₀: μ₁=μ₂

假設Y₁,Y₂都來自變異數為σ的母體

把 Y₁,Y₂ 放在一池 Y_p

$$\sigma^2=s_p^2=Var(\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2})\\$$

$$=\frac{(n_1-1)S_1^2}{n_1+n_2-2}+\frac{(n_2-1)S_2^2}{n_1+n_2-2}$$

考慮隨機變數μ₁-μ₂ 服從常態分佈

$$E[\mu_1-\mu_2]=0$$

$$\begin{aligned} \sigma_{\mu{1}-\mu{2}}^2&=\sigma_{\mu_{1}}^2+\sigma_{\mu{2}}^2\\ &=\sigma_1^2n_{1}^{-1}+\sigma_2^2n_{2}^{-1}\\ &= s_p^2(n_1^{-1}+n_2^{-1}) \end{aligned}$$

所以

$${\rm T\ value}=\frac{\mu_1-\mu_2}{S_p\sqrt{n_1^{-1}+n_2^{-1}}}$$

F 分佈

比較亮個樣本的S
$$S_1^2\sim\frac{卡方分佈}{自由度}$$

$${\rm f-value}=\frac{S_1}{S_2}$$

ANOVA

處理多重比較Type I error

k 組 定義 y_i,j 第i組第j個值

$$\begin{aligned} {\rm SST} =&\sum_{i,j}{(y_{ij}-\bar{\bar{y}})^2}\\ =&\sum_{i,j}{(y_{ij}-\bar{y_i}+\bar{y_i}-\bar{\bar{y}})^2}\\ =&\sum_{i,j}{(y_{ij}-\bar{y_i})^2}+\sum_{i,j}{(\bar{y_{i}}-\bar{\bar{y_i}})^2}+\sum_i (\bar{y_i}-\bar{\bar{y}})(\sum_j y_{ij}-\bar{y_i})\\ =&\sum_{i,j}{(y_{ij}-\bar{y_i})^2}+\sum_{i,j}{(\bar{y_{i}}-\bar{\bar{y_i}})^2}\\ =&{\rm SSW + SSB} \end{aligned}$$

檢定 SSB(df=k-1) , SSW(df=n-k) (單尾)

$$MSB=SSB/k-1\\ MSW=SSW/n-k$$

$$F值 = \frac{MSB}{MSW}$$

t²=F_1,n

RCT

隨機分派
單變因，A組, B組則
H₀: P_A=P_B=P_A+B

	A	B
✓	yA	yB
✗	nA-yA	nB-yB

$$y_A\sim Bin(n_A,P_A)$$

Pearson’s chi-squared test

當n_A夠大，A,B獨立

$$Z(y_A)=\frac{y_A-n_AP_A}{\sqrt {n_AP_A(1-P_A)}}$$

設$P_A+Q_A=1, w_A=(n_A-y_A)$

$$\begin{aligned} Z(y_A)^2&=\frac{(y_A-n_AP_A)^2}{n_AP_A} + \frac{(y_A-n_AP_A)^2}{n_AQ_A}\\ &=\frac{(y_A-n_AP_A)^2}{n_AP_A} + \frac{(w_A-n_AQ_A)^2}{n_AQ_A}\\ \end{aligned}$$

$$\begin{aligned} Z(y_A)\sim N &\Rightarrow Z(y_A)^2 \sim \chi^2_{(1)}\\ \end{aligned}$$

若R × C表格 ，自由度 df=(R-1)× (C-1)

$$\sum \frac{(O_{i,j}-E_{i,j})^2}{E_{i,j}}\sum_{df}Z(y_i)^2\sim \chi^2_{(df)}$$

H₀為真，$P_i=P_j$

Fisher exact test

A,B獨立，有一格小於5，視為無母數，從樣本空間中抽出n相異成員
H₀: P_A=P_B
已知樣本空間 n=n_A+n_B人中y=y_A+y_B個✓，那麼隨機抽n_A人，y_A個✓機率

$$P(y_A)=\frac{ {y \choose y_A}{n-y \choose {n_A-y_A}} }{n\choose {y_A}}=\frac{y!(n-y)!n_A!n_B!}{n!y_A!y_B!(n_A-y_A)!(n_B-y_B)!}$$

$$p-value=\sum_{P(y)\leq P(y_A)} P(y)$$

McNemar

A,B樣本相依，無母數，檢驗A,B一致？

		A		-
		✓	✗	小計
B	✓	a	b	TB
	✗	c	d	FB
小計		TA	FA	total

H₀: P_A=P_B ⇒ a+c=a+b, b=c

Let $b+c=n_D$, by $H_0, P(B|n_D)=1/2$

thus, $b \sim Bin(n_D,1/2)$

$$\begin{aligned} &\Rightarrow z^2=\frac{(b-\frac{n_D}{2})^2}{\frac{n_D}{4}}\sim \chi^2_{(1)}\\ &P-value=\sum_{b'不比b正常} Bin_{(n_D, 0.5)}(x=b') \end{aligned}$$

Kappa

A,B樣本相依，檢驗A,B一致？
n 個樣本

$$P_E=(T_AT_B+F_AF_B)n^{-2}, P(A=B)=\frac{a+d}{n}$$

$$\kappa=\frac{P(A=B)-P_E}{1-P_E}$$

Survival Analysis

觀測生存時間 T ，存活率函數
$$S(t)=P(T>t)$$

pdf:
$$f(t)=\lim_{\delta\rarr0}\frac{P(T\in [t,t+\delta))}{\delta}=-\frac{d}{dt}S(t)$$

風險(活著的人出事機率)
$$\begin{aligned} h(t)&=\lim_{\delta\rarr0}\frac{P(T\in [t,t+\delta) | T>t)}{\delta}\\ &=\frac{f(t)}{S(t)}=-\frac{d}{dt}log[S(t)] \end{aligned}$$

Log-rank test

無母數檢定統計量 χ²_(k-1)
$$S(t)=\prod_{i\leq t} 第i月存活率$$

每一個出事的存活死亡算Pearson’s chi-squared test

Exponential function

假設 T~Exp(λ), h(t)=λ
$$S(t)=\exp(-\lambda t)$$
$$f(t)=\lambda \exp(-\lambda t)$$

回歸

無法RCT的情況

線性回歸

Out come y is cont.
對於數據 $x_i,y_i$
假設∀ x, y~N (μ(x),σ(x)² )

$$\hat{y}=E(y|x)=\hat{\alpha}+\hat{\beta}x$$

求$\hat{\alpha},\hat{\beta}$使得 $d=\sum_i (y_i-\hat{y})^2$最小

即
$$\begin{equation} \nonumber \left\{ \begin{aligned} 0&=\frac{\delta d}{\delta\hat{\alpha}}\sum_{i}(y_i-\hat{\alpha}-\hat{\beta}x_i)^2\\ &=\sum_i 2(\hat{\alpha}+\hat{\beta}x_i-y_i)\\ &=2n(\hat{\alpha}-(\bar{y}-\hat{\beta}\bar{x}))\\ 0&=\frac{\delta d}{\delta\hat{\beta}}\sum_{i}(y_i-\hat{\alpha}-\hat{\beta}x_i)^2\\ &=\sum_i 2(x_i^2\hat{\beta}-(y_i-\hat{\alpha})x_i)\\ &=2(\hat{\beta}\sum_i x_i^2-\sum_i y_ix_i+\hat{\alpha}\sum_i x_i) \end{aligned} \right. \end{equation}$$

$$\Rarr \begin{equation*} \left\{ \begin{aligned} \hat{\alpha}&=\bar{y}-\hat{\beta}\bar{x}\\ \hat{\beta}&=\frac{\sum_i x_iy_i -\hat{\alpha}\sum_i x_i}{\sum_i x_i^2}\\ \end{aligned} \right. \end{equation*}$$

$$\Rarr \begin{equation*} \left\{ \begin{aligned} \hat{\alpha}&=\bar{y}-\hat{\beta}\bar{x}\\ \hat{\beta}&=\frac{\bar{x}\bar{y}-\bar{xy}}{\bar{x}^2-\bar{x^2}}=\frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2} \end{aligned} \right. \end{equation*}$$

所以

$$\hat{y_i}=\hat{\alpha}+\hat{\beta} x_i= \bar{y} + \hat{\beta}(x_i-\bar{x})$$

誤差

對於所有$y_i$與零假設模型($y_i=\bar{y}$)誤差$SS_{T}$能被拆成:

1. 所有$y_i$和回歸模型的誤差，即$y_i$和$\hat{y_i}$的誤差 $SS_{E}$
2. 線性回歸和零假設模型的誤差，即$\hat{y_i}$和$\bar{y}$的誤差 $SS_{R}$

因為

$$\begin{aligned} SS_{T}&=\sum (y_i-\bar{y})^2\\ &=\sum[(y_i-\hat{y_i})+(\hat{y_i}-\bar{y})]^2\\ &=SS_{E}+SS_{R}+\sum (y_i-\hat{y_i})(\hat{y_i}-\bar{y})\\ \end{aligned}$$

其中

$$\begin{aligned} \sum (\hat{y}_i-\bar{y})(y_i-\hat{y}) &= \sum (\bar{y}+\hat\beta(x_i-\bar{x})-\bar{y})(y_i-\bar{y}-\hat\beta(x_i-\bar{x})) \\ &= \sum \hat\beta(x_i-\bar{x})[y_i-\bar{y}-\hat\beta(x_i-\bar{x})] \\ &= \hat\beta [\sum (x_i-\bar{x})(y_i-\bar{y}) - \hat{\beta} \sum (x_i-\bar{x})^2 ]\\ &= 0 \\ \Rightarrow SS_{T} &= SS_{E} + SS_{R} \end{aligned}$$

ANOVA table

比較兩個假說
$$H_0: y=\bar{y},\ H_1: y=\bar{y} + \hat{\beta}(x_i-\bar{x})$$
所以組間是 SS_R，組內 SS_E

因為

$$SS_{R}=\sum(\hat{y_i}-\bar{y})^2=\hat{\beta} ^2\underbrace{\sum(x_i-\bar{x})^2}_{已知}$$
且$\hat\beta \sim N(0,\sigma^2)$，所以 $\frac{SS_R}{常數}\sim \chi^2_1$

F值對到的 p-value 就是H₀與H₁沒差的機率

相關係數

|r|越大越相關
$$r=\frac{\sum (x_i-\bar x )(y_i-\bar y )}{\sqrt{\sum(x_i-\bar x )^2 \cdot \sum (y_i-\bar y)^2}}$$

• 根據柯西不等式，$1\geq r \geq -1$
• 相關係數、迴歸係數同號
• $r=\beta \times \frac{S_x}{S_y}$
• 決定係數: $R^2=\frac{SS_R}{SS_T}$
  • 回歸可以解釋多少程度
• x,y 互換不影響 R²

Two sample t-test?

$$\begin{aligned} &\text{Since } r^2 = \frac{SS_{R}}{SS_{T}} \\ F&=\frac{SS_{R}/1}{SS_{E}/(n-2)} = (n-2)\frac{\hat{\beta} ^2 SS_x}{SS_y}\\ &=\frac{\hat{\beta}}{(n-2)S} \end{aligned}$$

Logistic Regression

對於二元變量 y
$$logit(P(y=1))=log(odds)$$
回歸:

$$logit(P)=\hat{\alpha}+\hat{\beta}x$$

當 x 為二元變數

$$log(OR)=log(\frac{odds(x=1)}{odds(x=0)})=\hat{\beta}$$

$\hat{\beta}$ 會常態分布，所以給定 $Se(\hat{\beta})$ ，就能算 $\hat{\beta}$ 信賴區間

假說檢定

檢定 OR 跟 1的差別

所以
$$tvalue=\frac{log(OR)-log(1)}{Se(OR)}=\frac{\hat{\beta}}{Se(\hat{\beta})}$$

當 x 為連續變數

危險性

$$OR=\frac{odds(x=n+1)}{odds(x=n)}=\exp(\hat{\beta})$$

Poisson regresion

link function: g(μ)=log(λ)

• 適合用在應變為$\mathbb{R}^+$
• 應用在發生人數時，因為 $\eta=\lambda\times PY$，回歸時加入 $log(PY)$ 校正