K科技快讯网kuaixun.org
我的讨论
设置

Janas:通过从 SSD 流式传输专家模型来运行超过内存容量的大模型

Janas 是一项新技术,允许在内存不足的情况下,通过从 SSD 实时读取模型专家参数来运行大型 LLM。

来源与收录信息 · 1 篇报道

采集:Hacker News

简报首次发布 · 内容更新 (北京时间)

+ 写评论草稿自动保存

分享经验、补充资料,或提出有依据的不同观点。尊重他人,禁止人身攻击、广告与泄露隐私。

可以先写评论,再登录或注册。返回后继续编辑并确认发表。

暂无评论,欢迎分享你的看法。