Heretic 技术解读：28.9k star 的开源工具把大模型去审查做成一键命令行
28.9k star 的 Heretic 把"去掉模型审查"做成了一键命令行工具，产出质量超过了多数人工调参的同类模型 大模型拒绝回答敏感问题的行为，在技术社区里有个专门的名词：safety alignment，安全对齐。2024 年以来，一类名为 abliteration（方向消融）的方法证明，这种拒绝行为在模型内部对应着一个可以定位、也可以直接移除的方向…
标签: 大模型
清除筛选
腾讯混元 Hy4 preview 技术解读：770B MoE 开源旗舰，盲测小胜 GLM-5.3 与 Kimi K3
腾讯混元发布了新一代旗舰模型 Hy4 preview，主打一个「preview」：770B 总参数的 MoE 架构，每个 token 只激活 490 亿参数，上下文窗口拉到 100 万 token，权重按 Apache 2.0 协议在 Hugging Face 全量放出（131 个 safetensors 分片，含 1 个原生 MTP 投机解码层）。腾讯云…
智谱确认 Ox Alpha 为 GLM 新迭代：OpenRouter 用量登顶，今晚开源权重
智谱确认 Ox Alpha 为 GLM 新迭代：OpenRouter 用量登顶，今晚开源权重 一周登顶：23.2T tokens 的匿名模型 OpenRouter 本周使用量榜单（数据截至 8 月 25 日）出现了一个此前没有过的情况：排名第一的模型没有厂商署名、没有定价、没有参数规模披露。匿名模型 Ox Alpha 本周处理了 23.2T tokens，排…
本地 LLM 实测：注意力后端、KV Cache 量化与 4-bit 权重的精度漂移
同一份模型权重，在官方演示里对答如流，部署到本地却频繁表现失常：长上下文读到后半段输出开始漂移，量化版本连工具调用都闭合不了。Level1Techs 论坛上一篇带完整数据的受控实验《Why your local LLM feels dumber than it is》把原因指向了推理软件栈：从注意力算子到量化 kernel，每一层都在改变下一个 token…
GLM-5.3 技术解读：后训练Scaling与涌现攻防能力
Z.ai 发布 GLM-5.3。这个模型沿用 GLM-5.2 的基座，所有提升来自后训练阶段，官方的表述是「Scaling post-training is all we did」。提升集中在两个方向：复杂编码与长程 Agent 任务的大幅进步，以及一份超出团队预期的安全能力答卷。Terminal Bench 3.0 上 GLM-5.3 从 GLM-5.2…
AirLLM：4GB 显存运行 70B 模型的分层推理
AirLLM 是一个面向 Hugging Face 大语言模型的推理库，项目的核心目标是降低推理阶段的显存占用。官方 README 给出的典型配置是：70B 模型使用单张 4GB GPU，Llama 3.1 405B 使用 8GB，DeepSeek-V3 671B 使用约 12GB。它依靠分层拆分、按需加载和权重释放完成这件事，模型参数总量与显存容量之间的关…
大模型量化详解：从 FP16 到 Q4_K_M 该怎么选
大模型量化详解：从 FP16 到 Q4KM 该怎么选 本地部署大模型时，你一定会遇到一个问题：该下哪个版本？HuggingFace 上同一个模型往往有十几个文件——Q4KM、Q5KS、Q80、FP16……它们之间到底差多少？选错了要么跑不动，要么浪费内存。 这篇文章把量化的原理、各级别的真实区别、以及不同硬件该怎么选一次讲清楚。 量化在做什么 一个训练好的模…
Kimi K3 深度解读：2.8万亿参数开源模型的架构与Benchmark
全球首个 3T 级开源模型：Kimi K3 权重正式开放 2026 年 7 月 27 日，月之暗面（Moonshot AI）在 Hugging Face 开放 Kimi K3 的模型权重。这是目前参数规模最大的开源 AI 模型，总参数量 2.8 万亿（2.8T），官方称其为全球首个开放的 3T 级前沿模型。权重采用修改版 MIT 许可证发布，允许免费下载、部…
