最大CLIP！LAION发布CLIP的扩增定律|焦点

(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

最大CLIP！LAION发布CLIP的扩增定律|焦点

即时焦点：刘方涛：养老金建设是一个系统工程，要尊重客观规律

世界观天下！涨停雷达：互联网金融个股异动 生意宝触及涨停

全球视讯！中信证券：消费复苏方向明确 互联网、文旅有望受益

返利科技(600228):返利网数字科技股份有限公司关于业绩补偿回购股份实施结果暨股份变动公告_焦点速读

A股异动 | 中顺洁柔涨超8%创9个月新高 股权激励彰显成长信心

邦彦技术（688132）12月21日主力资金净卖出313.32万元

美国芬太尼泛滥，今年缉获量足以毒杀所有美国人_环球看点

皇氏集团：公司近期中标的EPC项目所使用组件拟对外采购|当前通讯

卫星互联网板块12月20日跌0.17%，万通发展领跌，主力资金净流出1.32亿元|天天热文

Free Arch： 将 IdentityServer 部署到 Okteto

波卡周报｜31 项公投在 OpenGov 系统上提出，Bifrost 与 Astar & Shiden 开通 HRMP 通道！_消息

董事长表态将促成终止投资 万里石投资标的或遭ST开元“夺走”

世界热消息：博雅生物董秘回复：公司一直积极在符合条件的区域申请新设浆站，新浆站获批的时间存在不确定性

当前报道:天华超净：公司已经关注到您关心的问题，如涉及上述工作，将及时履行信息披露义务，请关注公司公告

太康王秀丽：甘当保姆 一手包揽隔离学生生活起居

天津港海嘉码头公司与一汽物流有限公司签署合作协议

专家提醒新冠感染者：重复、超剂量用药或致肝衰竭

暴涨700%！这些化工品订单排到2030年！

今日热搜：动力源: 动力源独立董事关于第八届董事会第九次会议相关议案的独立意见

联防联控机制综合组：加强县域内必需药品和抗原检测试剂盒储备 全球速读

新申新材拟向银行申请不超过800万贷款实际控制人申静为此次贷款提供不可撤销的连带责任保证

新联电子：截至2022年12月10日，公司股东总数为4.44万户

伤病成为拦路虎 摩洛哥队虽败犹荣_天天热门

世界资讯：华润三九: 独立董事关于公司限制性股票激励计划（2022年12月修订稿）及其摘要事项的独立意见

汝阳县开展纺织品领域风险隐患专项治理

塔牌集团：水泥是国民经济建设的重要基础原材料，广泛应用于土木建筑、水利、国防等工程，目前尚无任何一种材料可以替代|每日聚焦

宸展光电(003019.SZ)：拟开展不超4亿元外汇套期保值业务 快报

万孚生物（300482）12月12日主力资金净卖出1.37亿元

特发服务(300917.SZ)：拟增加经营范围

焦点资讯：七个小时 百部电话

世界最新：ST升达最新公告：公司债权人涉及公司债权资产转让

东方创业：截至2022年12月8日，公司不存在5%以上股东减持的情况 速读

浙江建投（002761）12月7日主力资金净卖出1.04亿元

天天热消息：江海股份: 南通江海电容器股份有限公司关于2018年股票期权激励计划第二个考核年度第三次行权期行、第三个考核年度第二次行权期行权条件成就的公告

山东高院通报消费者权益保护工作情况：新类型案件明显增多

南京查处涉疫案件41件 坚持处罚与教育相结合

深入推进科技特派员制度 北京市将开展全民科学素质提升行动

近期多部门相继释放积极信号 房地产市场不对称复苏格局显现

加强国际传播人才培养 专家学者探讨新疆经济社会发展与人权保障

保障职业技能等级制度体系规范运行 “山寨职业证书”专项治理来了

对电商“霸王条款”说不 新司法解释宣告“签收即认可”无效

当好农民工的“护薪人”

“通讯录里所有人都知道我欠钱了”——网贷乱象调查

大连宝马车撞人案肇事司机被判死刑

医院财务迷上网络赌博输光5000万元公款

辊环车削 雕琢毫厘

北京交警严查超标电动自行车挪用“白牌”

寒潮来袭 北方气温普降10℃以上

北京多种蔬菜价格降幅达五成

北京周日最低气温或达-4℃

北京朝阳两涉疫校区及16所学校停课

事业单位招聘可适当降低学历要求

他们积极努力生活的样子 全都是最好的素材

通信老兵贺春立：用镜头记录广外“变迁”

100个北京新网红打卡地本月揭晓

为老助老 快递小哥加入志愿服务队

新华全媒+|与病毒赛跑，让滞留者早回家——聚焦江西铅山疫情防控

重庆本土新冠肺炎确诊病例增至两例

新华时评：生死逆行显担当

石家庄市此轮疫情病毒传播源头已基本锁定

黑暗中的一束光——记国家安全生产应急救援中心副主任兼总工程师肖文儒

重庆九龙坡区、长寿区各发现1例新冠肺炎确诊病例

2021中国-东盟音乐周南宁开幕

厦门海事局推出“一条龙”服务 惠企纾困添动能

重庆九龙坡新冠肺炎确诊病例轨迹公布

成都金牛区开发小程序 满足封控区居民外卖网购需求

广东省文旅厅：严格控制跨省团队旅游活动

闭环中的上海儿童医学中心：网格化管理、互联网问诊

西宁城东区“银发”老党员自发坚守抗“疫”一线

江苏应急管理厅：网传家庭应急物资清单为正常工作安排

寒风中打响“德尔塔”合围之战

内蒙古额济纳旗：疫情扩散外溢风险已经有效管控

成都第一轮核酸已采样34968人

探索绿色转型 河北武安采石场变身农业示范园

拉萨城关区社区第一书记：让“异乡土”成为“故乡地”

重庆市长寿区新增1例新冠肺炎确诊病例

成都本土确诊病例与兰州确诊病例有时空轨迹重叠

河北石家庄市本轮疫情病毒传播源头已基本锁定

北京累计查处生活垃圾分类违法行为8.25万起

世界观天下！涨停雷达：互联网金融个股异动生意宝触及涨停

全球视讯！中信证券：消费复苏方向明确互联网、文旅有望受益

A股异动 | 中顺洁柔涨超8%创9个月新高股权激励彰显成长信心

Free Arch：将 IdentityServer 部署到 Okteto

董事长表态将促成终止投资万里石投资标的或遭ST开元“夺走”

太康王秀丽：甘当保姆一手包揽隔离学生生活起居

联防联控机制综合组：加强县域内必需药品和抗原检测试剂盒储备全球速读

伤病成为拦路虎摩洛哥队虽败犹荣_天天热门

宸展光电(003019.SZ)：拟开展不超4亿元外汇套期保值业务快报

焦点资讯：七个小时百部电话

东方创业：截至2022年12月8日，公司不存在5%以上股东减持的情况速读

南京查处涉疫案件41件坚持处罚与教育相结合

深入推进科技特派员制度北京市将开展全民科学素质提升行动

近期多部门相继释放积极信号房地产市场不对称复苏格局显现

加强国际传播人才培养专家学者探讨新疆经济社会发展与人权保障

对电商“霸王条款”说不新司法解释宣告“签收即认可”无效

辊环车削雕琢毫厘

寒潮来袭北方气温普降10℃以上

他们积极努力生活的样子全都是最好的素材

为老助老快递小哥加入志愿服务队

厦门海事局推出“一条龙”服务惠企纾困添动能

成都金牛区开发小程序满足封控区居民外卖网购需求

探索绿色转型河北武安采石场变身农业示范园

浙江金华推大病商业补充保险为民众减负近50亿元

大范围寒潮来袭中国大部地区气温下降8℃～10℃

陕西深化医疗保障制度改革完成城乡居民基本医保整合

福建晋江启动3至11岁人群新冠病毒疫苗接种覆盖全市670多所学校

打破数据壁垒江苏推社保卡文旅资源“一卡通”

成都新增1例本土病例密接者共152人