GPT-3(Generative Pre-trained Transformer 3)是由OpenAI开发的一种无监督语言模，但是，OpenAI没有发布并透明化其试验架构，反而是MetaAI率先开源。MetaAI（当时的Facebook）一直在其人工智能领域深挖细耕，皮诺多年来一直在推动人工智能研发过程中的透明度，Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措。

    GPT-3模型架构是基于Transformer解码器模型，GPT语言模型中约有1750亿个参数，是在生成文本段落、模拟人类对话及解决数学问题方面表现惊人的大型语言模型。

    GPT-3模型是一个通用的预训练生成模型，使用Transformer的Decoder-only结构，可以用于解决下游各种类型的生成任务，特别是zero-shot生成能力。

    经过训练的语言模型：预估将需要花费355年的GPU时间，花费460万美元，集3000亿个文本token的数据样本，重复数百万次的输入输出，微调纠错。虽然这一语言模型，有待完善，众说纷纭，褒贬不一，但这正是其开源的智慧和意义。