推荐 最新
七厦

chatgpt 是如何实现“继续生成”功能的?

chatgpt 是如何实现“继续生成”功能的 我用 chatgpt 翻译文档,当内容过多的时候,chatgpt 一次无法全部返回,会出现“继续生成”按钮,点击后会接着上一句继续生成。我使用其他的大语言模型就没有这种功能,想知道他们是怎么实现的? "image.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/c/user/20241010/ce19331819b3a03f4be77cbdd7111968.png)

0
1
0
浏览量1123
古典研发君

手动从 huggingface 下载模型之后,怎么把模型文件放到指定路径?

手动从 huggingface 下载模型之后,怎么把模型文件放到指定路径? 我需要在本地运行 chatGLM3,然后我就用下面的代码跑 from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda') model = model.eval() response, history = model.chat(tokenizer, "你好", history=[]) 运行上面的代码,首先会从 huggingface 下载 10GB 左右的模型文件。但是问题来了,huggingface 的下载速度太慢了。所以我就想手动下载:"https://huggingface.co/THUDM/chatglm3-6b/tree/main" (https://link.segmentfault.com/?enc=2tvQARfDwqEmnA4EEt%2B90Q%3D%3D.MflLqXiKYoEAHUhoaw%2F0OmJ9soincyTUE0xv9mkNbwnjIm84cRC9T8T67y7Pzc1W6iVzhlHWuoeJk0S8Rfya2w%3D%3D) 但是问题在于,huggingface 奇葩的本地目录结构: ╰─➤ fd -a -u pytorch_model | grep chatglm3-6b /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00007-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00003-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00006-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00004-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00001-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model.bin.index.json /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00002-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/snapshots/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model-00005-of-00007.bin /home/pon/.cache/huggingface/hub/models--THUDM--chatglm3-6b/.no_exist/e46a14881eae613281abbd266ee918e93a56018f/pytorch_model.bin 有一串莫名其妙的 "snapshots/e46a14881eae613281abbd266ee918e93a56018f" !!!! so, 我手动下载了模型文件之后,我怎么知道要把这些模型文件放哪个路径?上哪知道是 e46a14881eae613281abbd266ee918e93a56018f 还是 e46a14881eae613281abbd266ee918e93a56018w?

0
1
0
浏览量185
sssssjkl

ChatGPT GPTs中请求post接口报错INVALID_REQUEST_UNKNOWN?

在gpts中发送一个post请求出现以下错误,但是调用其他的get请求是正常的,为什么?是不是gpts在发送post请求时,把格式进行了转换,导致了请求错误? 左边是GPTS在debug模式下发送的请求参数, 右边是在postman中请求的接口参数。 左边报错了,右边正常返回 "image.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/c/user/20240929/c6edeb3f694a9cfedeceb01c6a26fd0d.png) chatGPT GPTs中完整的报错信息如下: { "response_data": { "error": { "type": "INVALID_REQUEST_UNKNOWN", "message": "Invalid request: parameter validation failed. Check your request data." } }, "status_code": 422, "action_id": "g-fc4f5e0f9d61f1dd099ec4da991b56ab2e66012b" }

0
1
0
浏览量205
万码OPKQWBUB

chatgpt上下文接口参数如何实现?

对照openai官方接口文档,目前可以方便实现一问一答的结果返回。 但是对于字数超额,需要上下文关联继续输出的,官方文档好像没说明,查找资料有context和conversition_id等参数,通过尝试,接口会报错不支持该参数。 哪位大佬对接过,麻烦指点一下。

0
0
0
浏览量214
万码OPKQWBUB

如何使用AI进行足球比赛结果的非规律性预测?

因为欧洲杯接触到了竞彩 于是想到,也看到,用AI来进行预测足球比赛比分或者是其他彩票类项目结果。 这里只聊足球,其他的先不谈。 先说一下,这是一篇讨论帖,也算是求助帖,没有任何不良引导因素。 资本和技术,往往不一定是技术取胜…首先这是共识吧,如果这一点也不认可的话就没必要往下看了。 谈到足球,有研究的大佬们肯定可以把欧赔、亚指、盘口、水位等等各类名词如数家珍,也相信很多人和我一样,希望或者是感觉能通过AI,来完成对足球比赛结果的“预测”,这里为什么说是预测呢,因为“球无假球,盘有假盘”,做盘的不一定会每次漏出一样的马脚被你发现,而这场博弈说到底也就是一次次惊心动魄的“二选一”。 但是作为人类,很难从理性的角度去分析、判断,往往会受到各种场外因素影响,也不具备如AI一般庞大的信息收集与处理能力。 那么我们有没有可能,在足够数据训练的情况下,通过AI工具,将分析准确率有效提升呢?

0
0
0
浏览量215
万码OPKQWBUB

chatGPT 如何输出图片?

"https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893471228_44ok.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893471228_44ok.png) 根据这个教程提供的方式 https://zhuanlan.zhihu.com/p/607465592 "https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893504998_TJlq.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893504998_TJlq.png) 还是不行 "https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893534228_WPIH.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724893534228_WPIH.png)

0
0
0
浏览量207
万码OPKQWBUB

小程序限制使用ChatGPT,除了ChatGPT外,有什么其它开源模型可以使用吗?

除了ChatGPT外,其它开源模型如斯坦福的小羊驼,或是其它GitHub上的开源模型,在小程序上可以使用吗?

0
0
0
浏览量208
万码OPKQWBUB

ChatGPT GPTs中请求post接口报错INVALID_REQUEST_UNKNOWN?

在gpts中发送一个post请求出现以下错误,但是调用其他的get请求是正常的,为什么?是不是gpts在发送post请求时,把格式进行了转换,导致了请求错误? 左边是GPTS在debug模式下发送的请求参数, 右边是在postman中请求的接口参数。 左边报错了,右边正常返回 "https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724894353878_8mYt.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724894353878_8mYt.png) chatGPT GPTs中完整的报错信息如下: { "response_data": { "error": { "type": "INVALID_REQUEST_UNKNOWN", "message": "Invalid request: parameter validation failed. Check your request data." } }, "status_code": 422, "action_id": "g-fc4f5e0f9d61f1dd099ec4da991b56ab2e66012b" }

0
0
0
浏览量201
万码WUJ6BZ01

chatgpt 是如何实现“继续生成”功能的?

chatgpt 是如何实现“继续生成”功能的 我用 chatgpt 翻译文档,当内容过多的时候,chatgpt 一次无法全部返回,会出现“继续生成”按钮,点击后会接着上一句继续生成。我使用其他的大语言模型就没有这种功能,想知道他们是怎么实现的? "https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724847895946_rPs2.png" (https://wmprod.oss-cn-shanghai.aliyuncs.com/community/1724847895946_rPs2.png)

0
0
0
浏览量199
万码OPKQWBUB

目前chatgpt还没有开放api,网上那种自己搞的是哪里来的??

目前chatgpt还没有开放api,网上那种自己搞的是哪里来的? 比如接入微信公众号的,小程序,微信群,qq群的那些号称chatgpt的机器人是真接入了chatgpt?? 我只知道有个v1那个接口,但是那个接口的数据和chatgpt差距挺大的。

0
0
0
浏览量197