asha 210

优化方法可以使用AutoML进行自动搜索学习吗？

现在关于AutoML比较有用的优化方法是Google出版的基于-weight: bold;">神经架构搜索的优化方法，即Neural Optimizer Search。

AutoML专注于自动化机器学习（ML）工作流的各个方面，以提高效率并使机器学习民用化，以便非专家也可以轻松地将机器学习应用于其工作上。尽管AutoML涵盖了与ETL（提取，转换，加载），模型训练和模型部署相关的一系列广泛问题的自动化，但是超参数优化问题是AutoML的核心焦点。此问题涉及配置用于控制ML模型/算法行为的内部设置，以便返回高质量的预测模型。

深度学习通过以端到端的方式学习与统计模型结合的表示形式，提供了绕过手动特征工程过程。但是神经网络体系结构本身通常是由机器学习工程师特殊设计的。神经体系结构搜索（NAS）被吹捧为通过自动识别优于手工设计的体系结构来减轻这种麻烦的优化方法之一。

NAS普遍被认为的观点

• NAS与传统的超参数优化之间存在错误的二分法。实际上，NAS是超参数优化的子集。而且专用的NAS方法实际上并不是完全自动化的，因为它们依赖于人为设计的体系结构作为起点。
• 虽然探索和调整不同的神经网络架构对于开发高质量的深度学习应用至关重要，但在我们看来，专用的NAS方法尚不适合专业领域：与高质量的超参数优化算法相比，它们引入了显着的算法和计算复杂性（例如ASHA），而没有证明标准基准测试任务的性能有所提高。
• 在过去的几年中，专用的NAS方法在提高准确性，降低计算成本和减小体系结构大小方面表现出了显着的进步，并且最终可以在神经网络（非普通机器学习）体系结构设计上超过人类的性能。

NAS最重要的三个组件

1. 搜索空间。该组件描述了要考虑的一组可能的神经网络体系结构。这些搜索空间是为特定于应用程序而设计的，例如，用于计算机视觉任务的卷积网络空间或用于语言建模任务的循环网络空间。因此，NAS方法不是完全自动化的，因为这些搜索空间的设计从根本上依赖于人类设计的架构作为起点。即使这样，仍然存在许多体系结构决策。实际上，在这些搜索空间中考虑的可能架构的数量通常超过10 ^ 10。
2. 优化方法。该组件确定如何探索搜索空间以找到良好的体系结构。这里最基本的方法是随机搜索，同时还引入了各种自适应方法，例如，强化学习，进化搜索，基于梯度的优化和贝叶斯优化。尽管这些自适应方法在确定要评估的体系结构的方式方面有所不同，但它们都试图将搜索偏向性能更佳的体系结构。毫不奇怪，所有这些方法都具有在传统超参数优化任务中引入的对应方法。
3. 评估方法。该组件衡量通过优化方法考虑的每种体系结构的质量。最简单但在计算上最昂贵的选择是完全训练体系结构。人们可以选择利用局部训练，其本质类似于类似于ASHA的超参数优化中常用的提前停止方法。还引入了特定于NAS的评估方法（例如网络形态，权重共享和超网络）来利用神经网络的结构来提供更便宜的启发式质量评估。部分训练方法通常比全面训练便宜一个数量级，而NAS特定的评估方法比全面训练便宜2-3个数量级。

是否目前已可以用NAS方法？

还没！明确地说，探索各种体系结构并执行广泛的超参数优化仍然是任何深度学习应用程序工作流程的关键组成部分。大多数专业的NAS方法非常特定于给定的搜索空间，并且需要针对每个新的搜索空间进行重新训练或调整工具。此外，某些方***遇到健壮性问题，并且可能难以训练。这些问题当前阻碍了现有专用NAS方法在不同任务上的普遍适用性。

巅峰时期的诺基亚，和现在的苹果谁更牛？

应邀回答本行业问题。

严格的来说，诺基亚和苹果是两个不同领域的公司，放在一起对比并不是那么合适。

诺基亚的最辉煌的时期是在2G时代，也就是现在被我们称为功能机的时代。2G时代，诺基亚的成功背后，是欧洲的GSM制式胜利。在1G时代失利的欧洲，整合了整个欧洲的力量，推出了一个统一的移动通信制式--GSM，快速推进，全球被广泛的部署，最终造就了当时的欧洲的通信业，也有了诺基亚的风光。

现在诺基亚也可以说是手机界的传说，历史上销量最高的10部手机，7款是诺基亚出品的，其中排名第一的是Nokia 1100,销量2.5亿至今未被打破，现在看来也基本不会被打破了。

智能手机时代，销量最高的是苹果公司的IPhone 6/6s系列，销量高达2.2亿，也可以说是创造了一个智能手机时代的奇迹。

归根到底，诺基亚还是一家通信业的公司，手机只是通信业里的终端，诺基亚现在也是通信制造业（运营商业务）之中的霸主，全球排名可以在第二和第三之间交替，目前排名第一的是我国的华为。

但是苹果和诺基亚其实并不是一个类型的公司，苹果是IT业公司。其实就是现在，苹果手机销售的这么好，但是依然它也不是通信业的公司，现在虽然是ICT融合，但是还是有一些区别的。

2000年左右，是诺基亚的巅峰期，它当时的市值大概是2000亿欧元左右。但是这个市值和现在苹果万亿美元级的市值相比，还是差距比较大的。

十年前的冬天并没有像现在这么坑爹，十年前的苹果也没有像现在这么火，但是年轻人手里拿的都是诺基亚，诺基亚可以说伴随着90后一代的成长，一代人的记忆。

2008年，诺基亚最辉煌的时候，此时的苹果刚刚发布了iPhone3G，安卓手机联盟还未组建，第一款安卓手机HTC G1也才刚刚面世，而此时的诺基亚，占据了手机市场75%的份额，哪怕是现在最辉煌的苹果，也从未有占领过75%市场份额的时候，只有诺基亚做到。

而诺基亚比苹果强的不仅是份额，诺基亚曾经做出过全世界最畅销的手机——诺基亚1100，销售额达到2.5亿部，而这个记录到现在也没有被人打破，哪怕是苹果最畅销的手机

iPhone6S狂销4000万部，也仅仅只是其一个零头而已。

虽然诺基亚已经不复当年之勇，但是我们却还记得得曾用他记录下我们的青春，记得一直存在手机里，却再也找不回来的那个她。