chatgpt 是如何实现“继续生成”功能的？-灵析社区

首先chatgpt无法一次性输出是因为openai对其进行了限制 一次只能输出1024字节 防止攻击者的非法攻击 所以chatgpt继续生成无非是分成多次返回值 需要注意的是 gpt这样的大模型是实时生成，有反馈机制，每一个字的生成都会依赖前面的字（所以我们可以看到gpt的回答是一个字一个字吐出来的），所以继续生成也没有用到什么别的高科技，无非是openai开放了这个功能。