AI的基本架构（学习笔记）

AI的基本架构

• AI应用的模型特点

自2010年以来，进入高成熟度状态的是Neural Network分支。对图像、视频、音频、文本为输入的智能处理方面取得的较大的进展。通过超越传统严谨格式的方式，对多样的、或受环境影响、采样条件影响造成畸变，形成的抽象、模糊的数据，进行信号处理。由于信号维度较高，需要大规模信号处理，且统计特性非常复杂，非常规高斯、chi-square、gamma等分布可以进行简单拟合。

如果说1990-2010年的技术突破主要受益于确定的计算，那么在2010至2030年间的主要变革将来自抽象的计算。

• Neural Network分支的发展

Neural Network 为了与人类或动物大脑区分开，又特称为Artificial Neural Network。
ANN可获得类似MMSE的效果。

针对图像或音频应用，需要引入Domain Specific building block，例如Convolutional layer，用于去噪、对比度增强、边缘提取或角提取，然后在大幅图像中搜索局部特征，由此构成Convolution Neural Network。
CS231n有课件和tensorflow例子。

针对序列信号，可采用Recurrent Neural Network，即对时序信号依次输入，并每一个时刻将上一层输出馈入下一层。由于特定层中所需的输入不一定为前一时刻的输入（Short Term Memory），而是很早前的某个输入(Long Term Memory)，RNN可对每个神经元的新输入、历史状态输入、是否更新、是否输出采用门级处理。

• AI的层组合结构

通常前k层为Domain Specific层，用于提取特征，后面包括Full Connected层，进行高层次（抽象）特征识别，最后可用RNN层，对特征间的高级关联关系进行处理。

• AI的实用化

经典的AI网络仅神经上的加权系数可通过Back propagation来训练。其基本架构需要超参数来确定，包括各层选用什么类型（Conv, Pooling, FC）等，传导到下一层的Activation Function采用哪种函数（linear，sinc，log，tanh）等。需要炼丹术般的训练。在此训练后，网络缺乏可扩展性，即无法对新类进行辨别，或为新类训练后会忘记老类（灾难性的忘却）。

• AI的架构自适应

代表作为Google的Progressive Neural Network.