CQF机器学习：高维统计中过参数化为何能避免过度拟合？

1. 数据不要太多。比如有200个特征，如果用1000个数据，那么是p>n，普通的低维统计；但如果用100个数据，就是p>n，变成高维统计了，高维统计就不怕过度拟合了。
2. 可以尽情使用更多的参数和更复杂的模型。因为貌似大佬说最后测试误差还是会下降的，那么只要参数越来越多，大力出奇迹就可以的。
3. double descent不是深度学习特有。

random_features <- function(n=100, d=100, num_informative_features=20) {

  y <- rnorm(n)

  X <- matrix(rnorm(n*min(d, num_informative_features)), nrow=n) + y

  if (d>num_informative_features) 

    X <- cbind(X, matrix(rnorm(n*(d-num_informative_features)), nrow=n))

  return (list(X=X,y=y))

library(lmeVarComp)

set.seed(200)

n <- 200

ds <- seq(from=20, to=2*n, by=20)[-10]

num_informative_features <- 1000

nreps <- 10

mses <- matrix(0, nrow=length(ds), nreps)

train_errors <- matrix(0, nrow=length(ds), nreps)

for (rep in 1:nreps) {

  mse <- c()

  train_error <- c()

  for (d in ds) {

    aa <- random_features(n,d,num_informative_features)

    Xtrain <- aa$X

    ytrain <- aa$y

    w <- mnls(Xtrain, ytrain)

    bb <- random_features(round(n/10),d,num_informative_features)

    Xtest <- bb$X

    ytest <- bb$y

    mse <- c(mse, sum((ytest-Xtest%*%w)^2))

    train_error <- sum((ytrain-Xtrain%*%w)^2)

  }

  mses[,rep] <- mse

  train_errors[,rep] <- train_error

}

mean_mse <- apply(mses, 1, mean)

plot(ds,mean_mse, type="l")