腾讯混元：295B参数模型Hy3单卡即可部署
来源：界面新闻
7月14日，腾讯混元发文表示，Hy3上线并开源后，社区一直在呼吁量化版本，希望单卡跑参数量达295B的Hy3。团队针对开源社区需求，把Hy3的权重量化到1bit与4bit并打包成GGUF，配合llama.cpp生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
郑重声明：用户在财富号/股吧/博客等社区发表的所有信息（包括但不限于文字、视频、音频、数据及图表）仅代表个人观点，与本网站立场无关，不对您构成任何投资建议，据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容，远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息，谨防上当受骗！
评论该主题
帖子不见了！怎么办？作者：您目前是匿名发表 登录 | 5秒注册 作者：，欢迎留言 退出发表新主题
温馨提示： 1.根据《证券法》规定，禁止编造、传播虚假信息或者误导性信息，扰乱证券市场；2.用户在本社区发表的所有资料、言论等仅代表个人观点，与本网站立场无关，不对您构成任何投资建议。用户应基于自己的独立判断，自行决定证券投资并承担相应风险。《东方财富社区管理规定》
