跳到正文

#图像生成

今日 0 条
10月8日周四
10月5日周一
9月30日周三
  1. Google DeepMind75

    Google DeepMind 发布 SynthID Bio 用于蛋白质水印

    Google DeepMind 发布 SynthID Bio,将数字水印技术延伸至合成生物学领域,在保留蛋白质生物功能的同时实现物理层面的可验证性。该方法通过微调 AlphaFold 3 扩散网络,使预测的 3D 结构自带可检测签名,并在湿实验中对 VEGF-A 等靶点验证了功能一致性。

    推荐理由:将数字水印技术延伸至合成生物学领域,在保留蛋白质生物功能的同时实现物理层面的可验证性。

  2. Google Research68

    Google Research 提出 Diffusion Controller 统一图像生成控制框架

    Google Research 提出 Diffusion Controller 框架,将图像生成过程重构为连续控制问题,通过轻量级“转向阻尼器”网络动态调整生成轨迹。该框架在灰盒和全白盒环境下均优于 LoRA,实现了更优的质量与效率平衡。

    推荐理由:提出统一控制框架解决图像生成引导难题,在受限访问下优于LoRA。

9月10日周四
9月2日周三
  1. Google Research70

    Google与NASA合作发布基于深度学习的全球甲烷排放卫星检测框架

    Google Research与NASA JPL合作在PNAS发表论文,提出MAPL-EMIT深度学习框架,利用Swin-S视觉Transformer和360万合成数据,实现了对EMIT卫星数据中甲烷羽流的高精度检测与源定位。该模型在专家标注数据上召回率达84%,并开源了全球羽流数据库、训练模型及推理库。

    推荐理由:论文提出结合物理模拟与视觉Transformer的深度学习框架,显著提升了卫星遥感甲烷排放检测的精度与灵敏度。

9月1日周二
  1. Microsoft Research75

    微软开源 GigaPath-Flash 和 GigaTIME-Flash 高效病理基础模型

    微软研究团队开源 GigaPath-Flash 和 GigaTIME-Flash,通过知识蒸馏将原始模型参数量大幅缩减,在保持竞争力的同时使推理成本降低约 50 倍、内存占用减少约 8 倍。这两个 Apache 2.0 许可的研究模型支持全切片表示学习和肿瘤微环境空间蛋白质组学预测,旨在降低计算门槛以推动大规模病理发现。

    推荐理由:通过知识蒸馏显著降低算力需求,使病理大模型在大规模队列分析中具备实际可行性。

7月23日周四
  1. Hugging Face Blog76

    Diffusers原生支持Nunchaku Lite 4-bit扩散推理

    Hugging Face Diffusers原生集成Nunchaku Lite,支持4-bit权重与激活量化(W4A4),无需自定义Pipeline即可加载预量化模型。实测在Blackwell GPU上峰值显存降低约50%,推理速度提升约30%,配合torch.compile可提速至1.8倍。

    推荐理由:Nunchaku Lite原生集成至Diffusers,实现4-bit权重与激活量化,显著降低显存占用并提升推理速度。

7月16日周四
7月6日周一
  1. Hugging Face Blog67

    Photoroom PRX 数据策略:从 Lance 探索到 MDS 流式训练

    Photoroom 发布 PRX 模型数据策略,采用 Lance 格式进行数据探索与特征工程,利用 Qwen3-VL-8B 对图像进行长文本重标注,最终转换为 MDS 格式进行流式训练。

    推荐理由:Photoroom 公开了 PRX 模型的数据构建全流程,提供了从数据探索、VLM 重标注到 MDS 流式训练的具体工程实践。

7月1日周三
  1. Google Research65

    Google Research 发布覆盖50+全球城市的建筑级屋顶反射率数据集

    Google Research 发布覆盖50+全球城市的建筑级屋顶反射率数据集,并上线 Heat Resilience Earth Engine App。该数据集基于 Sentinel-2 与高分辨率卫星影像融合生成,精度达30厘米,旨在帮助城市规划者识别低反射率建筑并实施降温干预。

    推荐理由:原文提供了覆盖50+城市的建筑级屋顶反射率数据集及可视化应用,为城市热岛缓解规划提供了高精度数据支持。

  2. Google DeepMind81

    Google 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash 视频模型

    Google 发布 Nano Banana 2 Lite 和 Gemini Omni Flash 两款模型。Nano Banana 2 Lite 主打极速低成本图像生成,4 秒出图,价格 0.034 美元/千张,可无缝替代旧版 Nano Banana。

    推荐理由:Nano Banana 2 Lite 提供极速低成本的图像生成,Gemini Omni Flash 开放视频生成与对话编辑,两者结合可构建端到端的多媒体工作流。

6月22日周一
  1. Hugging Face Blog68

    PP-OCRv6 发布:支持50种语言的轻量级OCR模型

    PaddleOCR 发布 PP-OCRv6 模型家族,包含 1.5M 至 34.5M 参数的三档模型,支持 50 种语言。medium 版本检测 Hmean 达 86.2%,较 v5 提升 4.6 个百分点,提供 Transformers 和 ONNX 后端。

    推荐理由:提供了从1.5M到34.5M参数的三档模型及多后端支持,便于评估其在不同场景下的部署可行性。

6月9日周二
  1. Hugging Face Blog82

    利用 agents.md 链式调用 Hugging Face Spaces 构建 3D 巴黎画廊

    Hugging Face 推出 agents.md 标准,使 Agent 能直接调用 Gradio Space 的 API 进行链式组合。作者通过该机制调用 ideogram-ai/ideogram4 生成图像,再经 VAST-AI/TripoSplat 重建 3D 高斯泼溅,最终自动构建并部署了 3D 巴黎地标画廊,展示了多媒体应用开发的模块化新范式。

    推荐理由:通过 agents.md 实现 Hugging Face Spaces 的标准化调用与链式组合,展示了 Agent 构建多媒体应用的低成本路径。

6月3日周三
5月20日周三
  1. Hugging Face Blog68

    OlmoEarth v1.1 发布:计算成本降低至三分之一

    AllenAI 发布 OlmoEarth v1.1 模型系列,通过优化 Transformer 的 Token 设计将计算成本降低至 v1 的三分之一,同时保持基准性能。该版本包含 Base、Tiny 和 Nano 多种尺寸,支持更高效的卫星图像推理与微调。

    推荐理由:通过优化Token设计降低计算成本,为遥感模型的高效部署提供了可复用的工程实践。

5月17日周日
4月27日周一
  1. Hugging Face Blog80

    Hugging Face 展示基于 OpenAI Privacy Filter 构建的三个 Web 应用

    Hugging Face 展示了基于 OpenAI 开源隐私过滤模型 Privacy Filter 构建的三个 Web 应用:文档隐私探索器、图像匿名化工具和智能文本脱敏服务。该模型支持 128k 上下文,可识别八类个人敏感信息。

    推荐理由:Hugging Face 展示了基于 OpenAI Privacy Filter 构建的三个 Web 应用,揭示了其在文档、图像和文本场景中的工程实践。

4月23日周四
4月9日周四
  1. Google Research60

    Google 发布 PaperVizAgent 与 ScholarPeer 两个科研 AI 智能体

    Google Research 发布两个实验性 AI 智能体:PaperVizAgent 可从文本自动生成出版级学术图表,在多项指标上超越 GPT-Image-1.5 等基线;ScholarPeer 模拟资深审稿人,通过多智能体协作和实时文献检索生成深度评审意见。

    推荐理由:Google 发布两个实验性 AI 智能体,分别用于生成高质量学术图表和模拟资深审稿人,展示了 AI 深度介入科研流程的潜力。

3月18日周三
  1. Google Research75

    Google Research 发布 AI 辅助乳腺癌筛查研究:双读流程可减 46% 工作量

    Google Research 联合英国 NHS 发表两项研究,证实 AI 辅助乳腺癌筛查系统在双读流程中表现不劣于纯人工,且可减少 46% 的人工阅片工作量。AI 在独立检测中灵敏度高于首位放射科医生,能识别 25% 的漏诊间期癌,但需解决模型可解释性及数据漂移问题。

    推荐理由:研究证实AI辅助双读流程在保持检测准确率的同时,可显著减少放射科医生工作量,为缓解医疗人力短缺提供实证。

2月27日周五
  1. Google DeepMind83

    Google 发布 Nano Banana 2 图像生成模型

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),结合 Pro 级智能与 Flash 速度,支持多主体一致性和精确文本渲染。该模型已上线 Gemini、Search、AI Studio 及 Google Ads 等产品,并集成 SynthID 和 C2PA 溯源技术。

    推荐理由:Nano Banana 2 将 Pro 级能力与 Flash 速度结合,提供多主体一致性和精确文本渲染,适合快速迭代场景。

1月10日周六
  1. Berkeley AI Research35

    基于信息论直接评估与优化成像系统

    伯克利 AI 研究团队提出一种基于互信息的框架,直接评估并优化成像系统。该方法通过分解噪声物理特性,仅需测量数据即可量化系统区分物体的能力。在色彩摄影、射电天文、无透镜成像和显微镜四个领域验证中,信息估计准确预测了下游任务性能,且优化结果匹配最先进端到端方法,同时显著降低内存和算力需求。

11月25日周二
  1. Hugging Face Blog35

    Diffusers 支持 FLUX-2

    Diffusers 正式支持 FLUX-2 图像生成模型,提供 Flux2Pipeline 和 Flux2Transformer2DModel 等组件。该模型使用 Mistral3 作为文本编码器,可通过 diffusers/FLUX.2-dev-bnb-4bit 仓库加载,支持 4-bit 量化部署。

11月20日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 3 Pro Image 图像生成模型

    Google DeepMind 发布 Gemini 3 Pro Image(代号 Nano Banana Pro),提供 2K/4K 分辨率、高精度文本渲染及物理控制能力。该模型支持通过 Google Search 进行实时知识检索,并内置 SynthID 数字水印,已在 Google AI Studio 和 Vertex AI 开放预览。

    推荐理由:该模型在文本渲染、物理控制和知识检索方面实现升级,开发者可据此构建更精准的多模态应用。

11月14日周五
  1. Google Research61

    Google Research 发布全球天然林地图及AI基准数据集

    Google Research 联合 Google DeepMind 发布 Natural Forests of the World 2020 地图及数据集,利用 MTSViT 模型实现 10 米分辨率天然林识别,准确率达 92.2%。同时发布 Planted 和 ForTy 两个大规模基准数据集,用于支持 EUDR 合规及下一代森林分类模型研发。

    推荐理由:发布全球首个10米分辨率天然林地图及基准数据集,为合规与生态监测提供高精度AI基线。

11月5日周三
  1. Google Research70

    Google 发布 ForestCast 预测森林砍伐风险并开源基准数据集

    Google Research 与 DeepMind 发布 ForestCast,利用纯卫星数据和视觉 Transformer 模型预测森林砍伐风险。同时开源首个用于训练深度学习模型的公开基准数据集,旨在帮助政府和企业提前干预以遏制森林损失。

    推荐理由:基于纯卫星数据预测森林砍伐风险并开源基准数据集,为生态保护提供可复现的AI工具。

10月21日周二
  1. Hugging Face Blog70

    Hugging Face 开源OCR模型选型指南与部署教程

    Hugging Face 发布指南,对比了 Nanonets-OCR2、OlmOCR-2、Granite-Docling 等开源OCR模型的能力与成本,介绍了 OlmOCR-Bench 等评测基准,并提供了基于 vLLM 和 Transformers 的本地部署与批量推理代码。

    推荐理由:系统梳理了多款开源OCR模型的能力差异与评测基准,并提供了本地部署与批量推理的实操代码。

10月15日周三
  1. Hugging Face Blog38

    三步在 Intel CPU 上运行 VLM

    Hugging Face 发布教程,指导用户通过 Optimum Intel 和 OpenVINO 在 Intel CPU 上运行 SmolVLM2-256M-Video-Instruct 视觉语言模型。教程涵盖将模型转换为 OpenVINO IR、应用权重或静态量化以优化内存和推理速度,以及执行推理的具体步骤。

10月2日周四
  1. Hugging Face Blog67

    Hugging Face 详解如何将 3B 参数 OCR 模型适配 Core ML 实现端侧推理

    Hugging Face 发布教程详解如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换为 Core ML 格式以在 Apple 设备上运行。文章通过简化模型结构、修复 PyTorch 到 CoreML 转换中的算子报错,成功将模型部署至端侧,并预告后续将介绍 MLX 集成与 Neural Engine 量化优化。

    推荐理由:详细拆解了将3B参数OCR模型适配Core ML的具体步骤与踩坑经验,为端侧部署提供了可复用的工程参考。

9月2日周二
  1. Hugging Face Blog72

    Hugging Face 教程:在 ZeroGPU Spaces 中使用 PyTorch 提前编译加速

    Hugging Face 发布教程,展示如何在 ZeroGPU Spaces 中利用 PyTorch 提前编译(AoT)技术加速图像和视频生成。通过结合 FP8 量化、动态形状处理和 FlashAttention-3,FLUX.1-dev 等模型可获得 1.3 至 1.8 倍的速度提升。

    推荐理由:原文给出了在ZeroGPU上结合AoT编译与量化加速的具体代码,读者可直接复用以优化生成类应用。

8月19日周二
8月12日周二
  1. Hugging Face Blog42

    Arm 发布 Neural Super Sampling 实时超采样方案

    Arm 发布 Neural Super Sampling (NSS),一款专为移动端 GPU 神经网络加速器优化的实时时序超采样模型。在演示中,NSS 将 540p 渲染结果在 4ms 内超采样至 1080p,并降低 50% GPU 负载。该模型已集成至 Unreal Engine 插件及 Vulkan ML 扩展,供开发者在移动游戏和 XR 场景中实验。

7月31日周四
  1. Hugging Face Blog72

    Gradio 新增 MCP 支持:构建具备虚拟试穿能力的 AI 购物助手

    Hugging Face 官方博客介绍 Gradio 新增 Model Context Protocol (MCP) 集成,可将 Python 函数自动转换为 LLM 工具。文章演示了如何利用该功能结合 IDM-VTON 模型和 Playwright,在 VS Code 中构建一个能自动浏览网页并生成虚拟试穿效果的 AI 购物助手。

    推荐理由:Gradio 新增 MCP 支持可将 Python 函数自动转为 LLM 工具,本文演示了如何快速构建具备网页浏览与虚拟试穿能力的 AI 助手。

7月23日周三
7月17日周四
  1. Mistral AI68

    Mistral Le Chat 新增 Deep Research 智能体与 Voxtral 语音功能

    Mistral 发布 Le Chat 多项新功能,包括 Deep Research 智能体可自动生成结构化研究报告;基于 Voxtral 模型的语音模式支持自然对话;Magistral 推理模型提供原生多语言思考能力;Projects 功能支持将对话分组管理;与 Black Forest Labs 合作实现图像直接编辑。

    推荐理由:Le Chat 新增 Deep Research 智能体、Voxtral 语音交互及 Magistral 多语言推理,提供了更完整的 AI 助手工作流。

2月13日周四
  1. Hugging Face Blog56

    10亿级分类与嵌入推理的成本优化与基准测试

    Hugging Face 发布文章,通过实测分析10亿级文本分类、嵌入及视觉嵌入推理的成本与延迟。使用Infinity服务器和k6工具,在NVIDIA L4等硬件上寻找最优Batch Size与并发数。结果显示文本分类10亿次成本约253美元,嵌入约409美元,而视觉嵌入因模型复杂和图像Token多,成本高达44496美元。

1月16日周四
12月9日周一
  1. Hugging Face Blog68

    Hugging Face 发布文本到图像生成开源偏好数据集

    Hugging Face 社区发布了面向文本到图像生成的开源偏好数据集,包含 1 万对偏好样本,涵盖多种图像风格与提示词复杂度。数据集采用 Apache 2.0 协议,附带用于数据预处理和后处理的代码,并提供了基于 FLUX.1-dev 模型的 LoRA 微调适配器。

    推荐理由:开源了文本到图像生成的偏好数据集及微调代码,为社区提供了可复用的训练素材。

10月22日周二
  1. Hugging Face Blog83

    Diffusers 支持 Stable Diffusion 3.5 Large 发布

    Hugging Face Diffusers 正式支持 Stable Diffusion 3.5 Large,提供 8B 参数模型及少步推理的 Turbo 版本。文章介绍了 QK 归一化与双注意力层等架构变化,并给出了量化推理与 LoRA 微调的实操代码。

    推荐理由:文章详细说明了SD3.5 Large的架构变化及Diffusers使用方式,并提供了量化推理与微调的实操指南。