投资逻辑
我们2022年12月发布的报告《深度学习算法：从多样到统一》中，阐述了自Google2017年提出Transformer以来，深度学习开始进入大模型时代。大模型时代的前沿技术发展围绕着提升效率而展开，包括：1）提升训练方法效率：向无监督和半监督学习发展；2）提升数据效率：从追求数据规模向追求数据质量发展；3）提升开发效率：通过“预训练基础模型+微调”，挖掘现有大模型潜力，降低具体下游任务的开发成本；4）提升算力效率：从稠密机构向稀疏结构发展；5）提升训练的工程化效率：向并行训练和混合精度训练发展
训练方法：AI模型的训练方法主要包括监督学习和无监督学习两种典型方式，后随模型训练数据量的增加，衍生出使用大量未标注数据+少量标注数据的半监督学习方法。AI训练方法的发展历经“监督-无监督-监督-无监督/半监督”4个阶段，在目前的大模型阶段，无监督/半监督训练再次成为主流。
数据效率：随参数规模的增加，大模型在知识密集型任务中的效果提升显著。此外，当模型参数超过特定阈值后，模型会对特定任务表现出“涌现”现象。目前学界和业界已意识到数据质量的重要性或高于数据
声明：本站所有报告及文章，如无特殊说明或标注，均为本站用户发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
