神奇“灵笔”自动创作“徐霞客游记” “书生”大模型上新解锁新能力

图说：浦语灵笔识别中国文化典故 来源/采访对象提供

神笔马良的传说中，一支神笔可以将画出来的东西都变成真实的；而现在有这样一支“灵笔”，能根据你看到的写下一篇篇“徐霞客游记”。

10日，上海人工智能实验室（上海AI实验室）推出首个图文混合创作大模型书生·浦语灵笔，依托强大的多模态性能，解锁“一键生成”图文混合文章的创作能力，为大模型落地应用提供更多可能。

浦语灵笔能够展开流利的中英文图文对话，准确理解图像内容。特别值得一提的是，得益于书生·浦语高质量多语言预训练的优势，浦语灵笔表现出对中国文化深厚的知识积淀。研发人员透露，在针对中国文化理解设计的多模态评测CCBench中，浦语灵笔评测成绩均大幅度领先，体现其在中国文化方面深厚的知识积淀。

“这幅画描绘了一个壮观的古代战争场景。画面中，一位将军正站在一座高台上，俯瞰着正在燃烧的战船。这些战船散布在广阔的水面上，火光冲天，场面十分激烈。”看过“中国人才懂的梗”，浦语灵笔果断给出了“赤壁之战”的答案。再试“三顾茅庐”，也是一眼准确识别，并能给出判断依据。

另外，大语言模型多模态图文对话已是“基本功”，浦语灵笔则解锁了图文并茂文章创作的全新能力。用户仅需提供主题，便可一键生成图文并茂的文章，体验全新的视觉与文本创作范式。

“向浦语灵笔提出创作一篇旅游攻略，该模型可迅速生成涵盖历史沿革、主要景点文物介绍的长篇文章，并在适当位置自动插入与文字信息对应的图片。”研发人员介绍。除自动配图能力外，浦语灵笔还提供了配图推荐和更换功能，根据用户实际需求定制图文内容。

目前，浦语灵笔已支持科普文稿、营销广告、新闻稿件、影视评论、生活指南等类型文章的图文并茂生成，并将逐渐开放更多能力，适应更多样化任务需求。

据悉，浦语灵笔为图文文章创作设计了“三步走”的算法流程——

理解用户指令，创作符合主题要求的长文章：浦语灵笔具有强大的写作能力，根据用户输入的主题，创作出文采斐然的文章；

智能分析文章，模型自动规划插图的理想位置，并生成所需图像的内容要求：浦语灵笔自动分析文章内容和段落布局，规划需要插图图片的位置，对于每个模型判断需要插图的位置，同时生成对图片内容需求的描述；

多层次智能筛选，利用多模态大模型的图像理解能力，从图库中锁定最完美的图片：采用从粗筛到精选的配图策略，根据生成图像内容需求，浦语灵笔会首先采用图文检索方式从海量图库中选择出一组候选图片，随后，利用多模态大模型强大的图像理解能力，将候选图片作为输入内容，让模型自动选择最符合文章上下文内容和整体图像风格的图片，完成文章的自动配图。

新民晚报记者郜阳