chatgpt 是如何实现“继续生成”功能的?-灵析社区

七厦

chatgpt 是如何实现“继续生成”功能的 我用 chatgpt 翻译文档,当内容过多的时候,chatgpt 一次无法全部返回,会出现“继续生成”按钮,点击后会接着上一句继续生成。我使用其他的大语言模型就没有这种功能,想知道他们是怎么实现的? ![image.png](https://wmprod.oss-cn-shanghai.aliyuncs.com/c/user/20241010/ce19331819b3a03f4be77cbdd7111968.png)

阅读量:1124

点赞量:0

问AI
首先chatgpt无法一次性输出是因为openai对其进行了限制 一次只能输出1024字节 防止攻击者的非法攻击 所以chatgpt继续生成无非是分成多次返回值 需要注意的是 gpt这样的大模型是实时生成,有反馈机制,每一个字的生成都会依赖前面的字(所以我们可以看到gpt的回答是一个字一个字吐出来的),所以继续生成也没有用到什么别的高科技,无非是openai开放了这个功能。