一、今日精选 5 条
1. 给「打分器」本身做评测:BLEU/BERTScore 根本抓不住植入的临床错误,能抓的是结构化事实抽取加图像定位
地址:https://github.com/FavianaNoronha/ultrasound-report-metaeval | ★0 | MIT | 在乳腺、甲状腺、胎儿头围超声上给 AI 报告植入一个临床错误,再检验四层打分器能否把「错误报告」排在「无害改写」之下
事件内容
- 今日 3 次提交,完成 ROADMAP 的 Step 31-38:跨数据集分割器、更严格的事实抽取器、预注册的「事实 vs 措辞」与对抗测试、变形(metamorphic)与检出限检查、RadGraph-F1、图像检查的责任 AI 检查。
- 变形检查(Step 34)的单位/顺序/同义词不变性违反率:BLEU 60%、ROUGE-L 48%、chrF 36%、RaTEScore 35%、AI 裁判 30%(子集)、finding_f1 6%、BERTScore 5%、llm_finding_f1 5%。
- 检出限(Step 35)以匹配同义词为对照、要求 AUROC ≥ 0.80:BLEU、ROUGE-L、chrF、BERTScore、RaTEScore 全部从未达到;AI 裁判在 5%(尺寸误差)与 1 mm(头围)处才达到;MedSAM 图像检查 25%、无标签 U-Net 检查 50%。
- 对裁判的预注册对抗改写(Step 36):最优变换「重排」在 100 份错误报告上平均把裁判分改变 −0.13,但 6% 的报告反超其正确对照(改写前 9%);RadGraph-F1 是措辞驱动的(事实 0.00 vs 措辞 0.17,17,444 个区块),从未达到 AUROC 0.80。
- 责任 AI 检查(Step 38):对低 U-Net 置信度弃答,位置检查错误率从 4.8% 降到 3.3%(80% 覆盖)与 2.2%(60% 覆盖),掩膜失败率从 12.1% 降到 3.8% 与 1.7%。GREEN 官方 13 GB 检查点在 16 GB 机器上 36 分钟仍未跑完两份对比,作者如实写明「没有 GREEN 数字,也没有替代」。
值得关注的原因
- 这直接命中我这个站和我业务里最怕的一件事:报告写着「循证 + 零幻觉 + 附参考文献」,但如果评审用的是 BLEU / BERTScore 这类文本相似度,它连「数字写反」和「否定翻转」都分不出来 —— 93% 的 ROUGE-L 场景会把植入错误排在无害同义改写之上。
- 结论有直接工程含义:真正可用的是「结构化事实抽取(finding_f1 / llm_finding_f1)+ 图像定位(掩膜比对)+ 弃答(abstain)」三件套,而不是「写更长的提示词让模型自己判断」。这一条可以直接抄进我 4P 干预报告的生成规范。
- 「6% 的错误报告靠改写就反超正确报告」这个数字,对我内容生产是硬提醒:当文本由 AI 起草时,措辞本身就是攻击面。凡我 4P 平台里「必须人工确认」的结论,都应该是流程必经步骤,而不是提示词里的一句提醒。
- 「GREEN 跑不出来就写没有数字、不拿替代品凑」正是我规范文档该抄的一条硬要求 —— 和上一期 openfit 公开 95 条规则四档验证状态是同一种诚实度。
2. 技能也要有质量门:NVIDIA 把「失败的评测臂」和「没跑的评测臂」在报告里严格区分开
地址:https://github.com/NVIDIA/SkillEvaluator | ★888 | Apache-2.0 | 分层质量门 + 语义重叠检测 + 合成评测集 + 实时代理评测,用来衡量 Agent Skill 对任务结果的真实影响
事件内容
- 今日 24 次提交,是本期提交密度最高的成熟框架之一;项目隶属 NVIDIA Verified Skills 管线,配套 arXiv 论文 2608.20614 与官方文档站。
- 三条提交直接暴露了评测语义的严谨化:
fix(reporting): describe a failed Tier 3 arm as incomplete, not as not run (#407)、fix(tier1): report dependency advisories as structured findings (#421)、fix(tier3): stop per-trial apt installs in Docker agent setup (#413)。 - 工作方式分两段:先跑静态质量检查(可接入 GitHub / GitLab CI 模板,无需写评估代码),再用「有该技能 vs 无该技能」的实时代理运行对比,直接测量技能对任务结果的增益。
- 可直接
skillevaluator ci init在自己的仓库里生成配置 PR,选择检查项与阈值;最近一次发版为 v0.8.0(2026-11-06)。
值得关注的原因
- 我在上一期记忆里给自己留的作业正是「4P 专家包该做一套 30~50 题的两两对比评测」,这个框架的「技能开/关对照实跑 + 分层质量门 + 阈值」结构可以直接照抄,等于省掉自己发明评测协议的那一段。
- 「失败的臂 ≠ 没跑的臂」这条是我最想抄的:上一期 clinmesh 的边界设计(最终 Actor 永远是点击审阅框的人类)靠系统层实现,而这里靠的是报告层的语义纪律 —— 两者都能避免把「没验证」说成「通过」。
- 依赖项安全告警要作为「结构化发现项」而非日志行输出,这个决定会让技能审查从「读日志」变成「读结论」,可直接搬进我专家包的合规检查清单。
- 另一个现实提醒:NVIDIA 官方在推「技能质量门」,意味着技能生态正从「提示词片段」变成「需要 CI 把关的工程资产」。我 4P 专家包如果还只是 Markdown 清单,很快会落后一档。
3. 标签照片进 App:食品标签识别被拆成「AI 只读、数值按每 100 g 归一、能量与宏量交叉校验」
地址:https://github.com/oscardanielnc/kawsay | ★0 | 未声明许可证(仓库无 LICENSE 文件)| 离线优先的饮食/活动/体重/情绪日志,AI 只负责从照片里挑目录项和份量,所有数字由表计算
事件内容
- 今日 4 次提交,其中三次是同一批功能落地:
feat(api): read a food label from a photo with Gemini Flash-Lite, checked and retried once (ADR 0029)、feat(core): label values per 100 g, energy check against macronutrients; own label foods rank first、feat(mobile): own food from a label, by photo or typed, confirmed number by number。 - 项目自述的设计原则叫「Measured AI」:AI 只输出目录 ID 与份量,摄入卡上的每一个数字都由确定性表计算。
- 营养目录用秘鲁 INS 2023 成分表并带家庭量具;每日目标按当天真实活动重算,另有添加糖、甜饮、运动、酒精、睡眠五项「肝脏健康」仪表。
- 隐私默认本地:私密条目锁在手机上、不会流向 AI(ADR 0013);目标重算规则与 AI 边界分别写在 ADR 0009 / 0008 / 0020 里,作者自述从 2026 年 10 月起自用。
值得关注的原因
- 这几乎就是我下一阶段「化验报告照片 OCR → AI → App 导入」那条路径的现成参照,而且难点一致:照片里的数值必须按每 100 g 归一、能量要与宏量交叉校验、识别结果要「校验后重试一次」而不是直接入库。
- 「AI 只挑不算」的分工是我 GLP-1 营养伴侣一直遵守的原则,这里给了一个更干净的实现:连份量都由 AI 选,但每个数字都来自表 —— 比我在提示词里写「不要编造」要硬得多。
- 逐条 ADR 记录设计决定的做法值得我抄:我的 4P 平台每个算法模块都该有一条「为什么这么算」的 ADR,否则三个月后我自己也说不清某个阈值是哪来的。
- 「自用中 + 明确写不是医疗器械」的定位,与我「不宣称医疗资质」的边界一致;作者把这一句写在 README 首屏而不是藏在角落,这本身就是一种信任设计。
4. 营养与术语的权威源被包成 MCP:USDA 成分表、OBO/FoodOn 本体、物种分类一次接入
地址:https://github.com/Knuckles-Team/world-reference-mcp | ★0 | MIT | 把物种分类、本体参考术语、食品营养成分、观测数据与 Wikidata 对齐,做成有界、可断点续传的 MCP 工具面
事件内容
- 今日 3 次提交,收尾了从 agent-utilities 到 meristem 的生态改名,并升级到 scion-sdk 0.10.1;最新发版 v0.4.0(2026-11-13)。发布说明里的关键一条是给工具面补上工具使用契约、链接、位置、角色与 agent 提示(0.3.9)。
- 九个 MCP 工具对应五条来源台账:NCBI Taxonomy + GBIF 骨架(分类)、EBI OLS4 下的 GO / UBERON / ENVO / PATO / ChEBI / FoodOn(参考术语)、USDA FoodData Central(营养成分)、GBIF occurrences + iNaturalist + Open-Meteo + NOAA GHCND(观测)、Wikidata SPARQL(对齐)。
- 数据接入走 scion-sdk 的声明式
mcp_toolsource adapter,落到 medullaworld_model本体,特点是「有界、可 checkpoint 的摄入流」,不是一次性全量抓取。 - 凭证策略明确:除
fdc_food_search与noaa_ghcnd_daily外全部免密钥,这两个的密钥在服务端解析(WORLD_REFERENCE_FDC_API_KEY、WORLD_REFERENCE_NOAA_TOKEN),绝不作为工具参数传入。
值得关注原因
- 这正好补我 4P 精准营养的一环:我手上有 153 个食材模板,但营养数值与术语本体的来源一直是「人工维护 + 抄文档」。USDA FoodData Central 加 FoodOn 的组合,是可以挂 MCP 的现成权威源,比我自己在提示词里让模型「凭记忆报热量」可靠一个量级。
- 「有界 + 断点续传」的摄入设计与我 4P 千人先锋项目的数据采集需求同构 —— 一份大文件不可能一次拉完,必须能分段、能续、能核对进度。
- 凭证绝不作为工具参数传入,这一条对应我之前那条「不向用户暴露 token」的纪律,可以直接写进我的 MCP 连接器规范。
- 补剂与成分的术语对齐(ChEBI / FoodOn)如果能这样接入,「镁」到底是元素、离子还是补充剂形式这个长期困扰我的问题,就有了一个可查询的机器可读答案。
5. DSH 从个人插件走向企业级:MOVO 把它包成带审批、治理与回滚基线的自托管平台
地址:https://github.com/himovo/movo | ★665 | Apache-2.0 + 附加条款(MOVO Community License)| 基于 DeepSeek Harness 的自托管企业级 Agent 平台,补齐知识库、身份权限、治理、管理后台与文件交付
事件内容
- 今日 7 次提交,方向集中在把「DSH 负责跑 Agent、MOVO 负责把 Agent 带进企业生产」这条边界做实:
test: align DSH contract checks with MOVO approval policy、fix: retain one released DSH rollback baseline。 - 其余提交处理运行态的可读性:按工具能力显示活动图标、修正已完成运行里 commentary 的位置、注册带 Agent 身份的用户提问、在最终答案前保留中间 DSH 回复。
- 部署门槛被压到一条命令:
git clone后./movo up,启动器拉官方预构建镜像、等各服务健康后打印 setup 地址,不需要写.env、不需要本地构建镜像。 - 仓库自述带简体中文 README 与在线文档站,最近一次发版 v0.2.6(2026-10-30)。
值得关注的原因
- 我本地一直在用 dsh 做原生 Agent 开发,但一直把它当「框架」用;MOVO 证明的是同一套 DSH Runtime + Skills + Tools + MCP 能直接撑起企业侧的审批、治理与交付边界 —— 这条路我不用自己从零趟。
- 「保留一个已发布的 DSH 回滚基线」这一条正对我这个站的运维现实:服务器每 15 分钟自动 fetch + reset 生效,我自己的 4P 平台和 AI 日报流水线同样需要一个明确的、可回退的发布基线,而不是「改了就好」。
- 「DSH 契约检查对齐 MOVO 审批策略」说明两层之间用契约而不是口头约定对齐 —— 我 4P 平台的「零 AI 幻觉 + 人工确认」如果只写在提示词里,等于没有契约。
- 同批 DSH 生态项目今天也在动:dsh-session-insights(本地优先、有证据支撑的 DSH 工作流回顾)、dsh-session-hub(跨 Agent 会话导入与检索)、DSH-Bot(带记忆与工作区群聊)。这条线我决定从本期起作为独立跟踪项,不再散落在四条线里。
二、分类速览
① AI Coding / 编程智能体与技能生态
② 医学 / 临床研究 AI 与 Agent 技能库
③ 健康管理 / 营养与食品 AI
④ 模型底座与 Agent 基础设施
三、今日趋势观察
- 今天最值得记的一件事,是「评测器自己也要被评测」。 超声报告元评测给出了本期最硬的一组数字:BLEU、ROUGE-L、chrF、BERTScore、RaTEScore 在「植入临床错误 vs 无害改写」这一对基准上,检出限从未达到 AUROC 0.80,能达标的是结构化事实抽取与图像定位。这意味着过去几年所有以文本相似度为核心指标的「AI 报告质量评估」,很可能一直在测「写得像不像」而不是「对不对」。这一条我已经写进我自己的规范改造清单:4P 干预报告的评审指标要从相似度切到事实抽取 + 弃答机制。
- 确定性部件与概率部件的分工,今天在四个不同生态里同时被写进代码。 kawsay 让 AI 只挑目录 ID 和份量、数字全部由表算;diet 类的确定性营养引擎让 AI 只做「可选助手」;临床侧出现「LLM 起草 + 确定性发布门禁」的组合;NVIDIA 的 SkillEvaluator 则是把「质量检查」与「实时代理对比」分成两段。共同点不是「少用模型」,而是先把不依赖模型的部分固化成表和阈值,模型只负责需要判断的那一小段。这和我这几个月在 GLP-1 营养伴侣上踩的坑完全一致 —— 越早把数值计算从提示词里搬出来,返工越少。
- DSH 生态今天出现四个仓库同时推进,这是第一次。 movo(企业级平台)、mneme(跨会话记忆)、dsh-session-insights(有证据的回顾)、dsh-session-hub(跨 Agent 会话中枢),外加 DSH-Bot。从「个人插件」到「行业场景适配」到「企业交付边界」,这条线用了一周时间走完两级。从本期起我把 DSH 列为独立跟踪项,不再只作为 ④ 里的普通条目。
- 技能生态正在从「提示词片段」变成「需要 CI 把关的工程资产」。 NVIDIA 官方推技能质量门与实时代理对照评测,google/skills 与 Anthropic 的技能仓把技能当产品线维护,同时 NVIDIA/SkillSpector 一天更新 7 次专门做技能安全扫描。配合 Argus 的 266 个红队探针,说明技能生态已经进入「有供应链风险、需要版本化质量门」的阶段 —— 我 4P 专家包如果只停留在一份 Markdown 清单,会落后这一档。
- 本地推理在 Apple Silicon 上正在形成一条独立赛道。 mlx-serve(★2,441,同时兼容 OpenAI 与 Anthropic 接口)、baseRT(Apple Silicon 专用运行时)、emmy(GPU 编译器)、vllm-ascend(昇腾插件)今天同时有动作。这对我这个站的实际意义很直接:本机 Ollama qwen2.5:7b 之外,已经有兼容 Anthropic API 的原生替代方案,4P 平台的本地推理层可以不必绑死单一运行时。
- 热度与动静是两件事,需要分开看。 本周 trending 榜首的 anthropics/skills(★193,723,本周 +6,055)、mattpocock/skills(★323,052)、addyosmani/agent-skills(★116,712)、cloudflare/security-audit-skill(★71,253,本周 +10,700)今日默认分支都没有提交。本期表格严格只收「今天有实际动作」的仓库,宁可少收热度项目,也不把星标增长当成工程进展写进日报。
四、GitHub 地址速查
https://github.com/NVIDIA/SkillEvaluator
https://github.com/qybaihe/bla
https://github.com/hashgraph-online/awesome-ai-plugins
https://github.com/vercel-labs/fx
https://github.com/mixpeek/amux
https://github.com/Th0rgal/orb
https://github.com/activeing123/mcptoon
https://github.com/ZaxbyHub/opencode-swarm
https://github.com/intent-hq/intent
https://github.com/gy15901580825/Argus
https://github.com/coddy-project/coddy-agent
https://github.com/nbn07/agent-tracedown
https://github.com/Innocent-children/TaskBelay
https://github.com/writfold-dev/writfold
https://github.com/rschuft/ai-engineering-harness
https://github.com/a-littlecat/ai-dev-flow
https://github.com/MyDear1ove/reflection-log
https://github.com/Jenoyrex/ctx-receipt
https://github.com/yy/scholar-kit
https://github.com/localixai/tokendoctor
https://github.com/FavianaNoronha/ultrasound-report-metaeval
https://github.com/microsoft/fhir-server
https://github.com/cornerstonejs/cornerstone3D
https://github.com/Zachsteuer98/medical_assistant_agent
https://github.com/felipertoledo/clinical-llm-guardrails
https://github.com/MichaelEnny/agentic_gateway
https://github.com/P1Manav/SugenEngTest
https://github.com/capstone-group-l/clinical-evidence-rag
https://github.com/vinay3254/medicluster
https://github.com/burakdon/neurocue
https://github.com/rogeriorrodrigues/nursia-research-lab
https://github.com/Luosanj/VOICE_HE_ST_Pred
https://github.com/natera-open-source/vep-rs
https://github.com/Deliverome-Project/accessible-surfaceome
https://github.com/OpenwaterHealth/openlifu-transmitter-fw
https://github.com/taryev/diag-llm
https://github.com/josuexpositoacosta/SEGUIMORBI
https://github.com/openshiporg/openfront-hospital
https://github.com/Knuckles-Team/world-reference-mcp
https://github.com/oscardanielnc/kawsay
https://github.com/grocy/grocy
https://github.com/TandoorRecipes/recipes
https://github.com/bioconda/bioconda-recipes
https://github.com/omicverse/omicverse
https://github.com/openfoodfoundation/openfoodnetwork
https://github.com/scverse/PyDESeq2
https://github.com/GMOD/jbrowse-components
https://github.com/merenlab/anvio
https://github.com/stjude-rust-labs/sprocket
https://github.com/cogent3/cogent3
https://github.com/sidhant947/Path
https://github.com/bardesss/haelan
https://github.com/tarantila/CaloGraph
https://github.com/nschoch/macrolog
https://github.com/SparkSidd/IngredientInsightAI
https://github.com/sedoglia/diabetes-m-mcp
https://github.com/BeBernos/Mesa-Business
https://github.com/caferkarabulut/bite-routine
https://github.com/timmylich/wellness
https://github.com/ddalcu/mlx-serve
https://github.com/vercel/workflow
https://github.com/theopenco/llmgateway
https://github.com/durable-workflow/workflow
https://github.com/vllm-project/vllm-ascend
https://github.com/himovo/movo
https://github.com/basecompute/baseRT
https://github.com/salesforce/agentscript
https://github.com/DecapodLabs/decapod
https://github.com/NVIDIA-NeMo/nemo-helix
https://github.com/cloudrift-ai/emmy
https://github.com/flyteorg/flyte-sdk
https://github.com/alexsergivan/kwant
https://github.com/stacklok/mecatl
https://github.com/Fergana-Labs/stash
https://github.com/slow-stack/mneme
https://github.com/bigfish1913/pi-rust
https://github.com/infercrane/infercrane
https://github.com/default-cybe/conclave
https://github.com/MJ-CJM/DSH-Bot
https://github.com/GreenLv/dsh-session-insights
https://github.com/zyf2492313716-cloud/dsh-session-hub
https://github.com/echohello-dev/pidex
https://github.com/SylphxAI/anyagents