clip简单过一遍 就是图文对然后编码计算得到文本向量和图像向量之后计算相似度。训练的目的就是使得对角线上的损失是最小的然后如何将clip用于分类任务其实就是将类别直接填入提示词中这是一个模板直接就构成一个分类器了推理阶段输入图像然后和这些类别的文本向量进行计算看和谁的相似度最高损失计算clip使用对称的对比损失实际是两个交叉熵损失损失1图像-文本 给定图像I预测正确的文本损失2文本-图像给定文本T预测正确的图像将两部分损失加起来反向更新同时更新 文本编码和图像编码的参数clip损失计算不管那么多细节了就是找个损失就是计算了文本和图像之间的相似度对于这个矩阵来讲N*N只需要计算一次就行。横着看就是文本对图像的相似度竖着看就是图像对文本的相似度。然后在计算的时候是使得正对角线的上的相似度尽可能大其他的尽可能小是要看全局的。这个全局指的还是一个行或者是一个列这个损失就是会计算。这个zi,j会去1和-1那么当ij相等的时候就是1这个时候就希望相似度高这样log得到的数值就小损失就小

相关新闻

最新新闻

Mistral-7B-Instruct-v0.3_rai_1.7.1_npu_4K量化策略详解:AWQ与BFP16激活优化

Mistral-7B-Instruct-v0.3_rai_1.7.1_npu_4K量化策略详解:AWQ与BFP16激活优化

Mistral-7B-Instruct-v0.3_rai_1.7.1_npu_4K量化策略详解:AWQ与BFP16激活优化 【免费下载链接】Mistral-7B-Instruct-v0.3_rai_1.7.1_npu_4K 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3_rai_1.7.1_npu_4K Mistral-7B-Instr…

2026/7/13 21:01:24
普通人难以承受的高强度工作节奏

普通人难以承受的高强度工作节奏

近日国产芯片圈真实职场现状刷屏全网,长鑫存储员工薪资与加班数据引发热议, 普通员工年薪可达 35 万,但月加班时长高达 80 至 90 小时,忙季无休常态化。光鲜的高薪标签背后,是无尽的熬夜、连轴转、高强度加班&#xff…

2026/7/13 21:01:24
事故管理:流程、角色与最佳实践

事故管理:流程、角色与最佳实践

有效的事故管理 ,是尽可能降低事故影响、缩短服务中断时间、尽快恢复正常业务运行的关键。如果没有事先演练过潜在事故的应对方案,那么真正遇到事故时,原本清晰的原则和流程很可能会在混乱中失效。 本文将先描述一起因临时、无序处置而逐步失…

2026/7/13 21:01:24
AMD Ryzen AI NPU性能优化指南:Qwen-2.5_1.5B_Instruct_rai_1.7.1_npu_4K的10个最佳实践

AMD Ryzen AI NPU性能优化指南:Qwen-2.5_1.5B_Instruct_rai_1.7.1_npu_4K的10个最佳实践

AMD Ryzen AI NPU性能优化指南:Qwen-2.5_1.5B_Instruct_rai_1.7.1_npu_4K的10个最佳实践 【免费下载链接】Qwen-2.5_1.5B_Instruct_rai_1.7.1_npu_4K 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen-2.5_1.5B_Instruct_rai_1.7.1_npu_4K 想要在AMD …

2026/7/13 21:01:24
微信自动化开发:3天搭建企业级中台

微信自动化开发:3天搭建企业级中台

在很多后端工程师的认知里,即时通讯(IM)网络自动化一直是个高门槛、甚至有点“黑盒”的领域。提起自动化或者 RPA(机器人流程自动化),大家脑海里浮现的往往是复杂的底层协议逆向、脆弱的内存 Hook 注入&…

2026/7/13 21:01:24
DriftDB安全模型解析:如何保护实时应用的数据安全 [特殊字符]

DriftDB安全模型解析:如何保护实时应用的数据安全 [特殊字符]

DriftDB安全模型解析:如何保护实时应用的数据安全 🔒 【免费下载链接】driftdb A real-time data backend for browser-based applications. 项目地址: https://gitcode.com/gh_mirrors/dr/driftdb 在当今的实时应用开发中,数据安全是…

2026/7/13 20:56:24

月新闻