标签:Apple

Apple:使用语言模型的自回归方式进行图像模型预训练

在GPT等大模型出现后, 语言模型这种Transformer+自回归建模的方式, 也就是预测next token的预训练任务, 取得了非常大的成功.