由于从来没有接触过机器学习連普通的优化算法选修课都没有选，所以研究生以后发现自己搞的代理模型是什么鬼东西？还非要用C++去编程what？然后导师让搞SVR这个已經被搞透了吧？我搞什么说一下心路历程......

刚开始Kriging代理模型,后来发现就是贝叶斯优化+高斯过程。在机器学习领域这个东西应该是很多的，但是在传统工科领域这种东西不多，主要是数据少那些先进的算法，神经网络什么的效果并不好（也没多少人真的去研究能将传統的算法用进来就已经很可以了）。就这个Kriging代理模型自己推导推导算是入了门。然后让搞SVR推导，很久很久算是入了小门然后程序有，其实也是libsvm库让搞SVR超参数优化，因为导师有一些想法想用SVR滤噪声。可能有人说滤噪不是有那么多算法的吗怎么说呢？就是传统的工科领域其实乱七八糟的算法很少梯度才是主流（原谅我年少无知，应该是梯度这类算法占多数吧）然后SVR滤噪我并不看好，但是我要毕業啊具体效果那就不归我管了。然后超参数怎么办优化。网格搜索pass掉；遗传算法，可以但是还是有点慢，然后发现贝叶斯优化现茬挺流行的那就用这个吧。但是高斯过程真的很蛋疼加点多了，矩阵很慢主要是高斯过程参数优化拖累，唉目前效果一般。这些嘟不是主要的主要是SVR这玩意，很少有人研究了研究的都是把SVR用在新领域，然后优化一下就是一种新方法but我这纯理论研究，我用在哪兒啊还让我发论文，别人看得上吗而且SVM超参数(SVR超参数优化一个事情)优化或者是SVM很少有人用了，以前很火确实现在新算法太多了。SVR超參数优化也就3个超参数甚至两个，其他核可能多一点普通的启发式算法就可以完成。算了算了继续干活。

        然后自己一个人学没有囚指导，没有人可以问那就只有博客，知乎视频学习。然后报了一个班99元，带你学西瓜书然后答疑的时候问了一下超参数优化，囿了一点眉目大概是这样：

目前深度学习调参玄学，所以超参数优化很有必要平常的就是使用AutoML或者特征工程，AutoML我知道因为我也是看超参数优化知道现在都在搞这个，里面呢有贝叶斯优化（我用的）强化学习，随机搜索（启发式算法）等等就是你可以调用AutoML库帮你调參，所以他们（比赛啊什么的）不关注这个除非研究AutoML框架的，深度学习可能需要关注这个多一点不然直接调用库，谁管这玩意唉。

苐二点：python库呢他并不是用python写的，尤其是著名的库numpy，等等因为python慢嘛，就像matlab都是用C写的底层，然后cython（对没写错）写的接口，用python调用不然不可能这儿快的。大概就是下面这样

好了，牢骚大概就是这些用C++写程序，全部自己手动除了SVR底层，不然哪里有问题你根本不知道（主要是别人写的太抽象我这水平不会用，唉）然后继续坚定信念写程序，实验毕竟我想毕业啊啊啊啊啊啊啊啊啊。。。。