OpenAI发布了DALL·E 2[1],一个根据语言描述生成图像的AI系统。在主页[2]中看了一下效果,还是很惊叹的!图像和文字的结合,构造了更加丰富而浪漫的智能。
信息抽取新范式:百度UIE刷新13个数据集SOTA
发表于
|
分类于
信息抽取
百度最近提出的统一文本到结构生成的框架UIE(Universal Information Extraction),将实体、关系、事件和情感四大抽取任务统一建模,并在13个数据集上达到了SOTA。令人振奋的不仅是效果上的提升,还有对于信息抽取革命性的统一!下面看看UIE是怎么做的吧!
我对时间实体mention的理解
发表于
|
分类于
实体识别
任务型对话中会话的推进主要依靠意图的识别和实体信息的收集。而实体识别目前在工业落地主要使用规则模板的方式来保证准确率,而且实体类别众多,每一类实体的mention要考虑的情况特别多,实现起来相对复杂,因此具有有很大的提升空间。
预训练模型RoFormer浅析
发表于
|
分类于
预训练语言模型
近期我司发布了自研预训练语言模型RoFormerV2[1],RoFormer的核心是基于苏神的“旋转位置编码(Rotary Position Embedding,RoPE)”[2]。今天就来学习一下RoFormer的进化过程!
还有人不了解这些预训练模型?
发表于
|
分类于
预训练语言模型
自Google在2017年推出Transformer后,自然语言处理全面进入预训练大模型的时代,随之而来的BERT、GPT等大的预训练模型如雨后春笋般出现。带动了整个自然语言处理任务快速发展的同时,还影响了机器视觉和多模态技术的发展。本篇将介绍几个经典主流的预训练语言模型~