大语言模型简史：从Transformer（2017）到DeepSeek-R1（2025）的进化之路

图片
来源：21CTO
编辑：场长
原文参考：
https://medium.com/@lmpo/%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%AE%80%E5%8F%B2-%E4%BB%8Etransformer-2017-%E5%88%B0deepseek-r1-2025-cc54d658fb43


2025年初，中国推出了具有开创性且高性价比的「大型语言模型」（Large Language Model — LLM）DeepSeek-R1，引发了AI的巨大变革。本文回顾了LLM的发展历程，起点是2017年革命性的Transformer架构，该架构通过「自注意力机制」(Self-Attention)彻底重塑了自然语言处理。
到2018年，BERT和GPT等模型崭露头角，显著提升了上下文理解和文本生成能力。2020年，拥有1750亿参数的GPT-3展示了卓越的「少样本」和「零样本」学习能力。然而，「幻觉」问题 — —即生成内容与事实不符，甚至出现「一本正经地胡说八道」的现象 — — 成为了一个关键挑战。2022年，OpenAI通过开发「对话式」的ChatGPT应对这一问题，采用了「监督微调」（SFT）和「基于人类反馈的强化学习」（RLHF）。到2023年，像GPT-4这样的「多模态模型」整合了文本、图像和音频处理能力，使LLM能够以更接近人类的「听」、「说」、「看」能力。
近期推出的OpenAI-o1和DeepSeek-R1「推理模型」(Reasoning Model)在复杂问题解决方面取得突破，赋予LLM更接近人类「系统2思维」的深度推理能力，标志着人工智能在模拟人类思维模式上迈出了重要一步。此外，DeepSeek-R1模型以其「超成本效益」和「开源」设计挑战了AI领域的传统规范，推动了先进LLL的普及，并促进了各行业的创新。
图片
1. 什么是语言模型 (Language Models)？
「语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
图片

1.1 大型语言模型（LLMs）

「语言模型」（LMs）和「大型语言模型」（LLMs）这两个术语虽然经常被互换使用，但实际上它们基于规模、架构、训练数据和能力指代不同的概念。LLMs 是 LMs 的一个子集，其规模显著更大，通常包含数十亿个参数（例如，GPT-3 拥有 1750 亿个参数）。这种更大的规模使 LLMs 能够在广泛的任务中表现出卓越的性能。
“LLM”这一术语在 2018 至 2019 年间随着基于 Transformer 架构的模型（如 BERT 和 GPT-1）的出现开始受到关注。然而，在 2020 年 GPT-3 发布后，这个词才被广泛使用，展示了这些大规模模型的重大影响力和强大能力。

1.2 自回归语言模型 （Autoregressive Language Models）

大多数LLMs以「自回归方式」(Autoregressive)操作，这意味着它们根据前面的「文本」预测下一个「字」（或token／sub-word）的「概率分布」(propability distribution)。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于「文本生成」。

在数学上，LLM 是一个概率模型(Probabilistic Model)，根据之前的输入文本（₁₂ₙ₋₁）预测下一个字ₙ 的概率分布。这可以表示为：
ₙ₁₂ₙ₋₁
在文本生成任时，LLM通过解码算法(Decoding Algorithm)来确定下一个输出的字。

这一过程可以采用不同的策略：既可以选择概率最高的下个字（即贪婪搜索），也可以从预测的概率分布中随机采样一个字。后一种方法使得每次生成的文本都可能有所不同，这种特性与人类语言的多样性和随机性颇为相似。

图片

1.3 生成能力

LLMs的自回归特性使其能够基于前文提供的上下文逐词生成文本。从「提示」(prompt)开始，如下图，模型通过迭代预测下一个词，直到生成完整的序列或达到预定的停止条件。为了生成对提示的完整回答，LLM通过将先前选择的标记添加到输入中进行迭代生成，尤如「文字接龙」游戏。
图片
LLM的文本生成尤如「文字接龙」游戏。
这种生成能力推动了多种应用的发展，例如创意写作、对话式人工智能以及自动化客户支持系统。
2. Transformer革命 (2017)
Vaswani等人在2017年通过其开创性论文“Attention is All You Need”引入了Transformer架构，标志着NLP的一个分水岭时刻。它解决了早期模型如循环神经网络（RNNs）和长短期记忆网络（LSTMs）的关键限制，这些模型在长程依赖性和顺序处理方面存在困难。
这些问题使得使用RNN或LSTM实现有效的语言模型变得困难，因为它们计算效率低下且容易出现梯度消失等问题。另一方面，Transformers克服了这些障碍，彻底改变了这一领域，并为现代大型语言模型奠定了基础。
图片
自注意力和Transformer架构

2.1 Transformer架构的关键创新

自注意力机制 (Self-Attention)：与按顺序处理标记并难以应对长程依赖性的RNN不同，Transformers使用自注意力来权衡每个标记相对于其他标记的重要性。这使得模型能够动态关注输入的相关部分。数学上：
图片
这里，Q、K、V是查询(query)、键(key)和值(value)矩阵，dₖ是键的维度。自注意力允许并行计算，加快训练速度，同时提高全局上下文理解。
图片
多头注意力：多个注意力头并行操作，每个头专注于输入的不同方面。它们的输出被连接并转换，从而实现更丰富的上下文表示。
图片
前馈网络(FFN)和层归一化(Layer Norm)：每个Transformer层包括应用于每个标记的前馈网络，以及层归一化和残差连接。这些稳定了训练并支持更深的架构。
位置编码：由于Transformers本身不编码标记顺序，因此添加了位置编码（位置和频率的正弦函数）以表示词序，在不牺牲并行化的情况下保留顺序信息。
图片

对语言建模的影响

  • 可扩展性：Transformers实现了完全并行化的计算，使得在大型数据集上训练大规模模型成为可能。
  • 上下文理解：自注意力捕捉局部和全局依赖关系，提高了连贯性和上下文意识。
Transformer架构的引入为构建能够以前所未有的精确性和灵活性处理复杂任务的大规模高效语言模型奠定了基础。
3. 预训练Transformer模型时代 (2018–2020)
2017年Transformer架构的引入为NLP的新时代铺平了道路，其特点是预训练模型的兴起和对扩展的前所未有的关注。这一时期见证了两个有影响力的模型家族的出现：BERT和GPT，它们展示了大规模预训练和微调范式的强大功能。

3.1 BERT：双向上下文理解 (2018)

2018年，谷歌推出了BERT（Bidirectional Encoder Representations from Transformers），这是一种使用Transformer编码器(Encoder)的突破性模型，在广泛的NLP任务中取得了最先进的性能。

与之前单向处理文本（从左到右或从右到左）的模型不同，BERT采用了双向训练方法，使其能够同时从两个方向捕获上下文。通过生成深层次的、上下文丰富的文本表示，BERT在文本分类、命名实体识别（NER）、情感分析等语言理解任务中表现出色。

图片
BERT的关键创新包括：
  • 掩码语言建模（Masker Language Modeling — MLM）：BERT不是预测序列中的下一个词，而是被训练预测句子中随机掩码的标记。这迫使模型在进行预测时考虑整个句子的上下文 — — 包括前后词语。例如，给定句子“The cat sat on the [MASK] mat”，BERT会学习根据周围上下文预测“soft”。
  • 下一句预测（Next Sentence Prediction — NSP）：除了MLM之外，BERT还接受了称为下一句预测的次要任务训练，其中模型学习预测两个句子是否在文档中连续。这帮助BERT在需要理解句子之间关系的任务中表现出色，例如问答和自然语言推理。
BERT的影响：BERT的双向训练使其在GLUE（通用语言理解评估）和SQuAD（斯坦福问答数据集）等基准测试中取得了突破性的表现。它的成功证明了上下文嵌入的重要性 — — 这些表示根据周围词语动态变化 — — 并为新一代预训练模型铺平了道路。

3.2 GPT：生成式预训练和自回归文本生成（2018–2020）

虽然BERT优先考虑双向上下文理解，但OpenAI的GPT系列采用了不同的策略，专注于通过自回归预训练实现生成能力。通过利用Transformer的解码器(Decoder)，GPT模型在自回归语言模型和文本生成方面表现出色。

图片
GPT (2018)GPT的第一个版本于2018年发布，是一个大规模的Transformer模型，经过训练以预测序列中的下一个词，类似于传统语言模型。
  • 单向自回归训练：GPT使用因果语言建模目标进行训练，其中模型仅基于前面的标记预测下一个标记。这使得它特别适合于生成任务，如文本补全、摘要生成和对话生成。
  • 下游任务的微调：GPT的一个关键贡献是它能够在不需要特定任务架构的情况下针对特定下游任务进行微调。只需添加一个分类头或修改输入格式，GPT就可以适应诸如情感分析、机器翻译和问答等任务。
GPT-2 (2019)在原版GPT的成功基础上，OpenAI发布了GPT-2，这是一个参数量达15亿的更大模型。GPT-2展示了令人印象深刻的零样本(Zero-shot)能力，意味着它可以在没有任何特定任务微调的情况下执行任务。例如，它可以生成连贯的文章、回答问题，甚至在语言之间翻译文本，尽管没有明确针对这些任务进行训练。
图片
GPT-3 (2020)GPT-3的发布标志着语言模型规模扩展的一个转折点。凭借惊人的1750亿参数(175B parameters)，GPT-3突破了大规模预训练的可能性界限。它展示了显著的少样本(Few-short)和零样本(Zero-short)学习能力，在推理时只需提供最少或无需示例即可执行任务。GPT-3的生成能力扩展到了创意写作、编程和复杂推理任务，展示了超大模型的潜力。
图片图片

3.3 GPT的影响及规模的作用

GPT模型的引入，特别是GPT-3，标志着AI的一个变革时代，展示了自回归架构和生成能力的强大功能。这些模型为内容创作、对话代理和自动推理等应用开辟了新的可能性，在广泛的任务中达到了接近人类的表现。GPT-3凭借其1750亿参数证明了规模的深远影响，表明在大规模数据集上训练的更大模型可以树立新的AI能力标杆。
图片
语言建模性能随着模型大小、数据集大小和训练使用的计算量的增加而平稳提升。https://arxiv.org/pdf/2001.08361
在2018年至2020年间，该领域由对规模的不懈追求驱动。研究人员发现，随着模型规模的增长 — — 从数百万到数十亿参数 — — 它们在捕捉复杂模式和泛化到新任务方面变得更好。这种规模效应得到了三个关键因素的支持：
  • 数据集大小：更大的模型需要庞大的数据集进行预训练。例如，GPT-3是在大量互联网文本语料库上进行训练的，使其能够学习多样化的语言模式和知识领域。
  • 计算资源：强大的硬件（如GPU和TPU）的可用性以及分布式训练技术，使得高效训练具有数十亿参数的模型成为可能。
  • 高效架构：混合精度训练和梯度检查点等创新降低了计算成本，使得在合理的时间和预算内进行大规模训练更加实际。
这个规模扩展的时代不仅提升了语言模型的性能，还为未来的AI突破奠定了基础，强调了规模、数据和计算在实现最先进结果中的重要性。
4. 后训练对齐：弥合AI与人类价值观之间的差距 (2021–2022)
GPT-3（一个拥有1750亿参数的LLM）生成几乎无法与人类写作区分的文本的能力引发了关于AI生成内容的真实性和可信度的重大担忧。
尽管这一成就标志着AI发展的一个重要里程碑，但也突显了确保这些模型与人类价值观、偏好和期望保持一致的关键挑战。一个主要问题是「幻觉」（Hallucination），即LLM生成与事实不符、无意义或与输入提示矛盾的内容，给人一种「一本正经地胡说八道」的印象。
为了解决这些挑战，2021年和2022年的研究人员专注于改善与人类意图的一致性并减少幻觉，导致了监督微调（SFT）和基于人类反馈的强化学习（RLHF）等技术的发展。

4.1 监督微调 (SFT)

增强GPT-3对齐能力的第一步是监督微调（SFT），这是RLHF框架的基础组成部分。SFT类似于指令调优，涉及在高质量的输入-输出对或演示上训练模型，以教它如何遵循指令并生成所需的输出。

图片
这些演示经过精心策划，以反映预期的行为和结果，确保模型学会生成准确且符合上下文的响应。
图片
然而，SFT本身有局限性：
  1. 可扩展性：收集人类演示是劳动密集型且耗时的，尤其是对于复杂或小众任务。
  2. 性能：简单模仿人类行为并不能保证模型会超越人类表现或在未见过的任务上很好地泛化。
为了克服这些挑战，需要一种更具可扩展性和效率的方法，为下一步铺平了道路：基于人类反馈的强化学习（Reinforcement Learning from Human Feedback — RLHF）。

4.2 基于人类反馈的强化学习 (RLHF)

OpenAI在2022年引入的RLHF解决了SFT的可扩展性和性能限制。与需要人类编写完整输出的SFT不同，RLHF涉及根据质量对多个模型生成的输出进行排名。这种方法允许更高效的数据收集和标注，显著增强了可扩展性。

RLHF过程包括两个关键阶段：

  1. 训练奖励模型：人类注释者对模型生成的多个输出进行排名，创建一个偏好数据集。这些数据用于训练一个奖励模型，该模型学习根据人类反馈评估输出的质量。
  2. 使用强化学习微调LLM：奖励模型使用近端策略优化（Proximal Policy Optimization - PPO）（一种强化学习算法）指导LLM的微调。通过迭代更新，模型学会了生成更符合人类偏好和期望的输出。
这个两阶段过程 — — 结合SFT和RLHF — — 使模型不仅能够准确遵循指令，还能适应新任务并持续改进。通过将人类反馈整合到训练循环中，RLHF显著增强了模型生成可靠、符合人类输出的能力，为AI对齐和性能设定了新标准。

4.3 ChatGPT：推进对话式AI (2022)

2022年3月，OpenAI推出了GPT-3.5，这是GPT-3的升级版，架构相同但训练和微调有所改进。关键增强包括通过改进数据更好地遵循指令，减少了幻觉（尽管未完全消除），以及更多样化、更新的数据集，以生成更相关、上下文感知的响应。

图片
ChatGPT基于GPT-3.5和InstructGPT，OpenAI于2022年11月推出了ChatGPT，这是一种突破性的对话式AI模型，专门为自然的多轮对话进行了微调。ChatGPT的关键改进包括：
  • 对话聚焦的微调：在大量对话数据集上进行训练，ChatGPT擅长维持对话的上下文和连贯性，实现更引人入胜和类似人类的互动。
  • RLHF：通过整合RLHF，ChatGPT学会了生成不仅有用而且诚实和无害的响应。人类培训师根据质量对响应进行排名，使模型能够逐步改进其表现。
ChatGPT的推出标志着AI的一个关键时刻，通常被称为「ChatGPT时刻」(ChatGPT moment)，因为它展示了对话式AI改变人机交互的潜力。
5. 多模态模型：连接文本、图像及其他 (2023–2024)
在2023年至2024年间，像GPT-4V和GPT-4o这样的多模态大型语言模型（MLLMs）通过将文本、图像、音频和视频整合到统一系统中重新定义了AI。这些模型扩展了传统语言模型的能力，实现了更丰富的交互和更复杂的问题解决。
图片

5.1 GPT-4V：视觉遇见语言

2023年，OpenAI推出了GPT-4V，将GPT-4的语言能力与先进的计算机视觉相结合。它可以解释图像、生成标题、回答视觉问题，并推断视觉中的上下文关系。其跨模态注意力机制允许文本和图像数据的无缝集成，使其在医疗保健（如分析医学图像）和教育（如互动学习工具）等领域具有价值。
图片

5.2 GPT-4o：全模态前沿

到2024年初，GPT-4o通过整合音频和视频输入进一步推进了多模态。它在一个统一的表示空间中运行，可以转录音频、描述视频或将文本合成音频。实时交互和增强的创造力 — — 如生成多媒体内容 — — 使其成为娱乐和设计等行业的多功能工具。
图片
现实世界的影响: MLLMs革新了医疗保健（诊断）、教育（互动学习）和创意产业（多媒体制作）等领域。它们处理多种模态的能力解锁了创新的新可能性。
6. 开源和开放权重模型 (2023–2024)
在2023年至2024年间，开源和开放权重AI模型获得了动力，使先进AI技术的访问民主化。

开放权重LLMs：开放权重模型提供公开访问的模型权重，限制极少。这使得微调和适应成为可能，但架构和训练数据保持封闭。它们适合快速部署。例子：Meta AI的LLaMA系列和Mistral AI的Mistral 7B / Mixtral 8x7B

开源LLMs：开源模型使底层代码和结构公开可用。这允许全面理解、修改和定制模型，促进创新和适应性。例子：OPT和BERT。

社区驱动的创新：像Hugging Face这样的平台促进了协作，LoRA和PEFT等工具使高效的微调成为可能。
图片
社区开发了专门针对医疗、法律和创意领域的模型，同时优先考虑道德AI实践。开源社区目前处于一个激动人心的阶段，得益于尖端对齐技术的出现。这一进展导致越来越多的卓越开放权重模型发布。因此，闭源和开放权重模型之间的差距正在稳步缩小。LLaMA3.1–405B模型首次历史性地弥合了与闭源对应物的差距。
7. 推理模型：从「系统1」到「系统2」思维的转变 (2024)
2024年，AI开发开始强调增强「推理」(Reasoning)，从简单的模式识别转向更逻辑化和结构化的思维过程。这一转变受到认知心理学双重过程理论的影响，区分了「系统1」（快速、直觉）和「系统2」（缓慢、分析）思维。虽然像GPT-3和GPT-4这样的早期模型在生成文本等「系统1」任务上表现出色，但在深度推理和问题解决方面却有所欠缺。
图片
「系统1」与「系统2」思维

7.1 OpenAI-o1：推理能力的一大飞跃(2024)

OpenAI于2024年12月发布的o1模型旨在提高AI的推理能力，特别是在代码生成和调试等复杂任务上表现出色。o1模型的一个关键特征是通过「思维链」（Chain of Thought－CoT）过程增强推理能力，使其能够将复杂问题分解为更小、更易管理的步骤。

推理时间计算与能力

图片

OpenAI-o1的发布标志着AI开发的一个关键时刻，展示了结合生成和推理能力创造能够像人类一样思考和行动的模型的潜力。随着该领域的不断发展，推理模型有望解锁AI的新前沿，使机器能够应对人类面临的最具挑战性的问题。

8. 成本高效的推理模型：DeepSeek-R1 (2025)
LLMs通常需要极其庞大的计算资源来进行训练和推理。像GPT-4o和OpenAI-o1这样的最先进LLM模型的闭源性质限制了对尖端AI的「普及化」。

8.1 DeepSeek-V3 (2024–12)

2024年12月下旬，「深度求索-V3」(DeepSeek-V3)作为一种成本高效的开放权重LLM出现，为AI的可访问性设定了新标准。DeepSeek-V3与OpenAI的ChatGPT等顶级解决方案相媲美，但开发成本显著降低，估计约为560万美元，仅为西方公司投资的一小部分。

该模型最多包含6710亿个参数，其中370亿个活跃参数，并采用专家混合（MoE）架构，将模型划分为专门处理数学和编码等任务的组件，以减轻训练负担。DeepSeek-V3采用了工程效率，例如改进Key-Value缓存管理和进一步推动专家混合方法。该模型引入了三个关键架构：

  • 多头潜在注意力（Multi-head Latent Attention — MLA）：通过压缩注意力键和值来减少内存使用，同时保持性能，并通过旋转位置嵌入（RoPE）增强位置信息。

  • DeepSeek专家混合（DeepSeekMoE）：在前馈网络（FFNs）中采用共享和路由专家的混合，以提高效率并平衡专家利用率。

  • 多标记预测 (Multi-Token Prediction — MTP)：增强模型生成连贯且上下文相关的输出的能力，特别是对于需要复杂序列生成的任务。
图片
DeepSeek-V3的发布引发了全球科技抛售，危及1万亿美元的市值，并导致英伟达股票盘前下跌13%。DeepSeek-V3的价格为每百万输出标记2.19美元，约为OpenAI类似模型成本的1/30。

8.2 DeepSeek-R1-Zero 和 DeepSeek-R1 (2025–01)

仅仅一个月后，2025年1月下旬，DeepSeek通过发布DeepSeek-R1-Zero和DeepSeek-R1再次引起轰动，这些模型展示了卓越的推理能力，训练成本极低。

利用先进的强化学习技术，这些模型证明了高性能推理可以在没有通常与尖端AI相关的巨额计算费用的情况下实现。这一突破巩固了DeepSeek作为高效和可扩展AI创新领导者的地位。

图片
  • DeepSeek-R1：为了解决DeepSeek-R1-Zero的局限性，如低可读性和语言混杂，DeepSeek-R1纳入了一组有限的高质量冷启动数据和额外的RL训练。该模型经历了多个微调和RL阶段，包括拒绝采样和第二轮RL训练，以提高其通用能力和与人类偏好的一致性。
    图片
  • 蒸馏DeepSeek模型：DeepSeek开发了较小的、蒸馏版的DeepSeek-R1，参数范围从15亿到700亿，将先进的推理能力带到较弱的硬件上。这些模型使用原始DeepSeek-R1生成的合成数据进行微调，确保在推理任务中表现出色，同时足够轻量化以便本地部署。
    图片
DeepSeek 蒸馏DeepSeek模型
DeepSeek-R1在各种基准测试中表现出竞争力，包括数学、编码、常识和写作。根据使用模式，它相比OpenAI的o1模型等竞争对手提供了显著的成本节省，使用成本便宜20到50倍。
图片

8.3 对AI行业的影响

DeepSeek-R1的引入挑战了AI领域的既定规范，使先进LLMs得以「普及化」，并促进了一个更具竞争力的生态系统。其可负担性和可访问性预计将推动各行各业的采用和创新增加。最近，领先的云服务提供商如AWS、微软和谷歌云已在其平台上提供DeepSeek-R1。较小的云提供商和DeepSeek母公司以竞争性定价提供它。

结论

从2017年Transformer架构的引入到2025年DeepSeek-R1的发展，大型语言模型（LLMs）的演变标志着人工智能领域的一个革命性篇章。LLMs的崛起由四个里程碑式的成就标示：

  • Transformers (2017)：Transformer架构的引入为构建能够以前所未有的精确性和灵活性处理复杂任务的大规模高效模型奠定了基础。

  • GPT-3 (2020)：该模型展示了规模在AI中的变革力量，证明了在大规模数据集上训练的巨大模型可以在广泛的应用中实现接近人类的表现，为AI所能完成的任务设立了新的基准。

  • ChatGPT (2022)：通过将对话式AI带入主流，ChatGPT使高级AI对普通用户来说更加可访问和互动。它还引发了关于广泛采用AI的伦理和社会影响的关键讨论。

  • DeepSeek-R1 (2025)：代表了成本效率的一大飞跃，DeepSeek-R1利用专家混合架构(MoE)和优化算法，与许多美国模型相比，运营成本降低了多达50倍。其开源性质加速尖端AI应用的普及化，赋予各行业创新者权力，并强调了可扩展性、对齐性和可访问性在塑造AI未来中的重要性

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828


未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。



截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告

  1. 2024 美国众议院人工智能报告：指导原则、前瞻性建议和政策提案

  2. 未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇

  3. Deepmind：AI 加速科学创新发现的黄金时代报告

  4. Continental 大陆集团：2024 未来出行趋势调研报告

  5. 埃森哲：未来生活趋势 2025

  6. 国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

  7. 哈尔滨工业大学：2024 具身大模型关键技术与应用报告

  8. 爱思唯尔（Elsevier）：洞察 2024：科研人员对人工智能的态度报告

  9. 李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能

  10. 欧洲议会：2024 欧盟人工智能伦理指南：背景和实施

  11. 通往人工超智能的道路：超级对齐的全面综述

  12. 清华大学：理解世界还是预测未来？世界模型综合综述

  13. Transformer 发明人最新论文：利用基础模型自动搜索人工生命

  14. 兰德公司：新兴技术监督框架发展的现状和未来趋势的技术监督报告

  15. 麦肯锡全球研究院：2024 年全球前沿动态（数据）图表呈现

  16. 兰德公司：新兴技术领域的全球态势综述

  17. 前瞻：2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战

  18. 美国国家标准技术研究院（NIST）：2024 年度美国制造业统计数据报告（英文版）

  19. 罗戈研究：2024 决策智能：值得关注的决策革命研究报告

  20. 美国航空航天专家委员会：2024 十字路口的 NASA 研究报告

  21. 中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

  22. GenAI 引领全球科技变革关注 AI 应用的持续探索

  23. 国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告

  24. 2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿

  25. 多模态可解释人工智能综述：过去、现在与未来

  26. 【斯坦福博士论文】探索自监督学习中对比学习的理论基础

  27. 《机器智能体的混合认知模型》最新 128 页

  28. Open AI 管理 AI 智能体的实践

  29. 未来生命研究院 FLI2024 年 AI 安全指数报告 英文版

  30. 兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版

  31. Linux 基金会 2024 去中心化与人工智能报告 英文版

  32. 脑机接口报告脑机接口机器人中的人机交换

  33. 联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版

  34. Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

  35. Gartner2025 年重要战略技术趋势报告 英文版

  36. Fastdata 极数 2024 全球人工智能简史

  37. 中电科：低空航行系统白皮书，拥抱低空经济

  38. 迈向科学发现的生成式人工智能研究报告：进展、机遇与挑战

  39. 哈佛博士论文：构建深度学习的理论基础：实证研究方法

  40. Science 论文：面对 “镜像生物” 的风险

  41. 镜面细菌技术报告：可行性和风险

  42. Neurocomputing 不受限制地超越人类智能的人工智能可能性

  43. 166 页 - 麦肯锡：中国与世界 - 理解变化中的经济联系（完整版）

  44. 未来生命研究所：《2024 人工智能安全指数报告》

  45. 德勤：2025 技术趋势报告 空间计算、人工智能、IT 升级。

  46. 2024 世界智能产业大脑演化趋势报告（12 月上）公开版

  47. 联邦学习中的成员推断攻击与防御：综述

  48. 兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

  49. Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版

  50. Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

  51. MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告

  52. DeepMind：Gemini，一个高性能多模态模型家族分析报告

  53. 模仿、探索和自我提升：慢思维推理系统的复现报告

  54. 自我发现：大型语言模型自我组成推理结构

  55. 2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书

  56. 《自然杂志》2024 年 10 大科学人物推荐报告

  57. 量子位智库：2024 年度 AI 十大趋势报告

  58. 华为：鸿蒙 2030 愿景白皮书（更新版）

  59. 电子行业专题报告：2025 年万物 AI 面临的十大待解难题 - 241209

  60. 中国信通院《人工智能发展报告（2024 年）》

  61. 美国安全与新兴技术中心：《追踪美国人工智能并购案》报告

  62. Nature 研究报告：AI 革命的数据正在枯竭，研究人员该怎么办？

  63. NeurIPS 2024 论文：智能体不够聪明怎么办？让它像学徒一样持续学习

  64. LangChain 人工智能代理（AI agent）现状报告

  65. 普华永道：2024 半导体行业状况报告发展趋势与驱动因素

  66. 觅途咨询：2024 全球人形机器人企业画像与能力评估报告

  67. 美国化学会 (ACS)：2024 年纳米材料领域新兴趋势与研发进展报告

  68. GWEC：2024 年全球风能报告英文版

  69. Chainalysis：2024 年加密货币地理报告加密货币采用的区域趋势分析

  70. 2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告

  71. 世界经济论坛：智能时代，各国对未来制造业和供应链的准备程度

  72. 兰德：《保护人工智能模型权重：防止盗窃和滥用前沿模型》-128 页报告

  73. 经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告

  74. 医学应用中的可解释人工智能：综述

  75. 复旦最新《智能体模拟社会》综述

  76. 《全球导航卫星系统（GNSS）软件定义无线电：历史、当前发展和标准化工作》最新综述

  77. 《基础研究，致命影响：军事人工智能研究资助》报告

  78. 欧洲科学的未来 - 100 亿地平线研究计划

  79. Nature：欧盟正在形成一项科学大型计划

  80. Nature 欧洲科学的未来

  81. 欧盟科学 —— 下一个 1000 亿欧元

  82. 欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划

  83. DARPA 主动社会工程防御计划（ASED）《防止删除信息和捕捉有害行为者（PIRANHA）》技术报告

  84. 兰德《人工智能和机器学习用于太空域感知》72 页报告

  85. 构建通用机器人生成范式：基础设施、扩展性与策略学习（CMU 博士论文）

  86. 世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

  87. 人工智能行业应用建设发展参考架构

  88. 波士顿咨询 2024 年欧洲天使投资状况报告 英文版

  89. 2024 美国制造业计划战略规划

  90. 【新书】大规模语言模型的隐私与安全

  91. 人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204

  92. 美国环保署 EPA2024 年版汽车趋势报告英文版

  93. 经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版

  94. 华为 2024 迈向智能世界系列工业网络全连接研究报告

  95. 华为迈向智能世界白皮书 2024 - 计算

  96. 华为迈向智能世界白皮书 2024 - 全光网络

  97. 华为迈向智能世界白皮书 2024 - 数据通信

  98. 华为迈向智能世界白皮书 2024 - 无线网络

  99. 安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版

  100. 2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告

  101. 《2024 年 AI 现状分析报告》2-1-3 页.zip

  102. 万物智能演化理论，智能科学基础理论的新探索 - newv2

  103. 世界经济论坛 智能时代的食物和水系统研究报告

  104. 生成式 AI 时代的深伪媒体生成与检测：综述与展望

  105. 科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版

  106. 计算机行业专题报告 AI 操作系统时代已至 - 241201

  107. Nature 人工智能距离人类水平智能有多近？

  108. Nature 开放的人工智能系统实际上是封闭的

  109. 斯坦福《统计学与信息论》讲义，668 页 pdf

  110. 国家信息中心华为城市一张网 2.0 研究报告 2024 年

  111. 国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

  112. 大模型如何判决？从生成到判决：大型语言模型作为裁判的机遇与挑战

  113. 毕马威 2024 年全球半导体行业展望报告

  114. MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

  115. DeepMind 36 页 AI4Science 报告：全球实验室被「AI 科学家」指数级接管

  116. 《人工智能和机器学习对网络安全的影响》最新 273 页

  117. 2024 量子计算与人工智能无声的革命报告

  118. 未来今日研究所：2024 技术趋势报告 - 广义计算篇

  119. 科睿唯安中国科学院 2024 研究前沿热度指数报告

  120. 文本到图像合成：十年回顾

  121. 《以人为中心的大型语言模型（LLM）研究综述》

  122. 经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

  123. 波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版

  124. 理解世界还是预测未来？世界模型的综合综述

  125. GoogleCloudCSA2024AI 与安全状况调研报告 英文版

  126. 英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

  127. 花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

  128. 国际可再生能源署 IRENA2024 年全球气候行动报告

  129. Cell: 物理学和化学 、人工智能知识领域的融合

  130. 智次方 2025 中国 5G 产业全景图谱报告



上下滑动查看更多

展开阅读全文

更新时间：2025-05-15

标签：科技   简史   模型   语言   人工智能   报告   人类   能力   上下文   架构   文本   未来

1 2 3 4 5

意法半导体取得用于验证寄存器的内容的电路专利

金融界2025年5月14日消息，国家知识产权局信息显示，意法半导体（格勒诺布尔2）公司取得一项名为“用于验证寄存器的内容的电路”的专利，授权公告号CN113496723B，申请日期为2021年4月

爱奇艺回应“违规收集使用个人信息被通报”

5月13日，爱奇艺@桃厂上线了 回应被通报：针对国家计算机病毒应急处理中心检测报告披露的爱奇艺（版本X9M_m1e_17.0.0.20221018）存在个人信息收集使用的问题，我们高度重视并第一时间

三星显示取得发光器件和具有该发光器件的显示装置专利

金融界2025年5月14日消息，国家知识产权局信息显示，三星显示有限公司取得一项名为“发光器件和具有该发光器件的显示装置”的专利，授权公告号CN113169206B，申请日期为2019年5月。

江苏：宿迁市新中标大项目！

宿迁鑫储科技有限公司宿迁鑫储20万千瓦/40万千瓦时储能电站项目设计施工总承包中标结果公告项目所在地区：江苏省，宿迁市，市辖区招标条件本宿迁鑫储20万千瓦/40万千瓦时储能电站

学生遇上科学“爱豆”，开平这场讲座干货满满~

【来源：开平发布】“中微子和暗物质有关系吗？”“中微子的能力从哪里来的？”“测中微子的设备坏了怎么办？”“中微子为什么能够穿过人的身体？它不也是一种东西吗？”……在5月13日

三星One UI 8正酝酿音频版即时简报功能

IT之家 5 月 14 日消息，科技媒体 Android Authority 昨日（5 月 13 日）发布博文，在挖掘 One UI 8 早期固件版本后，发现三星将酝酿音频版即时简报（Now Brief）功能。IT之家注：Now Brief

中核武汉取得基于机器学习的涡流信号缺陷深度分析方法专利

金融界2025年5月14日消息，国家知识产权局信息显示，中核武汉核电运行技术股份有限公司取得一项名为“一种基于机器学习的涡流信号缺陷深度分析方法”的专利，授权公告号CN1153082

新款iPhone大降价，最高降2500元！国补版已被抢空，授权店也降了600元，“可能还会降”

近日，苹果手机将降价1000元的消息引关注。 据多家媒体报道，苹果向渠道商下发了调价通知，iPhone 16 Pro和iPhone 16 Pro Max所有容量版本降价超千元。有渠道商认为，苹果此次调价

马斯克：星链已在沙特获批

马斯克当地时间5月13日在沙特阿拉伯一个投资论坛上表示，沙特阿拉伯已批准星链在该地区用于航空和海事用途。马斯克还承诺，特斯拉的Robotaxi未来将来到沙特阿拉伯以提供服务。

得物App创始人杨冰：要做美而强大，发布《得物社区公约》

5月10日，2025得物全明星日在杭州举办。会上，推出《得物社区公约》（以下简称《公约》），鼓励创作者“真诚表达、友善互助”，呼吁品牌与商家“真实体验、诚信经营”。得物App创始人兼

第二大航司：百亿美元购买波音飞机

特朗普的关税大棒引发全球航空业暗潮涌动。 中国航司：退回了波音飞机。 欧洲最大低成本航司瑞安航空：愿意从波音机队转向其他价格更低的飞机。 空客呼吁：欧洲对波音实施对等关

美国没想到，打压中国制裁中国的结果竟然是中国不再购买美国芯片

近年来，中美之间的科技竞争越来越激烈，特别是在芯片这个“科技心脏”的领域。美国作为全球芯片产业的龙头老大，一直想方设法限制中国的发展。可美国没想到，他们的打压和制裁非但

“人工智能+机器人”，青岛出手布局当下最火产业赛道

这是青岛将第一次以“具身智能”的名义召开全市规模的大会——5月14日，青岛市具身智能机器人生态发展大会将召开，这是青岛抢抓人工智能产业新机遇的重要举措。近两年，大模型的

谷歌Pixel手机安卓16新特性抢先看：息屏常显壁纸回归

IT之家 5 月 14 日消息，科技媒体 Android Authority 今天（5 月 14 日）发布博文，报道称谷歌预览 Material 3 Expressive 设计语言时，意外曝光两个即将到来的 Pixel 功能：息屏常显壁

山西绿源碳索科技有限公司取得干熄焦炉及干熄焦余热利用系统专利

金融界 2025 年 5 月 14 日消息，国家知识产权局信息显示，山西绿源碳索科技有限公司取得一项名为“一种干熄焦炉及干熄焦余热利用系统”的专利，授权公告号 CN119662283B，申请日期
上滑加载更多 ↓
推荐阅读：

“人工智能+机器人”，青岛出手布局当下最火产业赛道

山西绿源碳索科技有限公司取得干熄焦炉及干熄焦余热利

谷歌Android多年来最大更新：全新设计语言发布

凌归数字科技（四川）有限公司成立，注册资本500万人民币

上海科技节要来了！48家科普基地推出优惠价，重点实验室向

这不是特效，姚明体型就是如此“非人类”，奥尼尔在身边显

熵基科技：公司导购机器人等处于实地零售场景测试阶段

上海市新增5款已完成登记的生成式人工智能服务

追梦：爱德华兹独一无二 他的投篮能力确实给我们带来了

邓州市范仲淹公学赴北京大学参加人工智能强校建设研讨

友情链接：
更多：

本站资料均由网友自行发布提供，仅用于学习交流。如有版权问题，请与我联系，QQ：4156828  

© CopyRight 2020- All Rights Reserved. Powered By bs178.com 闽ICP备11008920号
闽公网安备35020302034844号

Top