👉
👇

1.三大挑战

1.1数据

如何海量数据挖掘有效信息?

1.1.1 利用生成数据训练模型

为了解决数据标注瓶颈的关键技术.生成数据主要应用于智慧城市,智能驾驶.

1. 自动数据扩充

2. 利用GAN模型来生成更多的数据

3. 利用计算机图形学技术生成虚拟数据

问题:单一的数据硬标签让数据自动扩充以后的图像不能完美的识别.

解决方法:知识蒸馏与数据扩充相结合:通过预训练模型对数据扩增的图片产生软标签,用软标签指导模型训练.

1.1.2 对齐不同模态的数据

主要应用于,智能驾驶,智能多媒体

挑战:

• 多模态信息表示
• 模态联合映射
• 模态对齐
• 模态融合
• 多模态协同融合

根据文本\图像信息以及用户的数据建立多模态的查询语句.

1.2 模型

1.2.1 设计

用自动网络搜索代替手工网络设计.

挑战:

• 搜索空间(人工经验来定义)
• 搜索算子(人工设计)
• 迁移性差

PC-DARTS:局部连接的思路,解决网络冗余问题边正则化思想,解决局部连接带来的不稳定性.

1.2.2 加速

挑战:

• 云测大模型无法适配段侧的有限算力

加法网络:新型算子加速卷积网络.使用曼哈顿距离取代欧式,卷积无需乘法计算,使用8比特整数计算,对硬件更加友好,功耗更低.公式如下:

$d(i,j)=|x_1-x_2|+|y_1-y_2|$

1.3 知识

1.3.1 定义视觉与训练模型

挑战:

• 监督学习需要海量的样本,数据拟合无法泛华到不同的数据.
• 强化学习需要海量的xx缺少可重复性,可复用性,鲁棒性.
• 自监督学习缺乏有效的预训练任务

拼图任务改进自监督模型,使网络能够处理任意拼图布局从而更好地学习空间上下文提供的语义信息.

1.3.2 通过虚拟环境更精确的学习知识

2 MindSpore计算框架开源

• 混合并行
• 云\边\端合一
• 兼顾学术工业
• 自动微分,并行计算,调优

3 ModelArts Pro

从计算到认知的过程

生成API简单调用.

4 HiLens

端云协同多模态AI应用开发套件.

5 Atlas

检测工具.

分布式云计算:

• 计算瓶颈
• I/O瓶颈
• 内存瓶颈

名词

AA 自动数据扩增,对数据集的全局优化,容易带来图片语义的混淆.