作者 | 郭人通凭借将流水线予以定义, 历经生成镜像这一过程, 进而启动服务并实施调用执行, 总共代码数目不到 30 行?想要模型落地有一连串大坑躲都躲不开为解决上述一连串问题, 我们发起了一个开源项目, 任何用户均可从代码一键构建面向生产的高性能推理流水线。该项目提供了一套优雅的函数式编程接口, 以及一组覆盖日常工作所需的工具集。只需几行代码, 就能够自动解决上述问题, 即将推理流水线内出现的代码模型、算法、数据处理过程等转换成对应的高性能实现, 组织端到端的推理服务代码, 一键生成镜像。拿下面的一个小例子来演示怎么样去使用, 针对怎样凭借CLIP施行图片特征提取这种情况。从对流水线进行定义开始, 一直延续到生成镜像操作, 接着将服务启动随后调用执行, 总体总共不到30行代码。首先用 定义一个“流水线”流水线, 接纳图片当作输入, 随后输出与那图片相匹配相应的向量, 此流水线涵盖包含 两个算子, 分别为. 和。.分别负责图片的解码以及 CLIP 的图片特征提取。例子当中针对流水线开展了配置操作, 借助特定的参数给予了一个提示信息, 此提示告知要优先将模型转换到所需的格式上去做推理, 要是出现失败状况, 则尝试走ONNX。的算子所需配置设定为等于4, 这使得在流水线那里的它能够起到于其中有着4个图片解码的实例的作用, 以此提高并发方面的性能。其算子配置为等于零, 以使它在 GPU0 上运行 CLIP 的推理。要是指定了运用 GPU 来进行模型推理, 它会自动地挑选 GPU 版本的模型前后处理流程, 且在同一块 GPU 设备上开展前处理、模型推理以及后处理。更多流水线配置能力在官方文档中有详细说明哟。接下来, 我们借助特定方式, 将这个流水线制作成镜像, 在此选用某种事物, 作为高性能推理服务框架:命令执行完成之后, 我们会得着一个称作 :v1 的镜像, 运用下面的命令开启服务实例:在达成模型服务启动之事后, 于本地撰写一个简单的测试程式, 借由调取适才启动之和服务, 对现处目录下的 jpg 图片予以特征提取。若你想要更深入地去做一个以 CLIP 为依据的 “文本 - 图像跨模态” 召回服务, 我们能够再增添一趟用 “CLIP 提取文本特征” 的流水线 , 并且进一步充实服务的调用代码 , 毕竟完整程序行数不会超出 100 行代码。而后这里鉴于和上面给出的示例代码相互比较近乎 而不对其展开赘述 , 感兴趣的同学们是可以自行去尝试的 , 要是被问遇到难题欢迎前往 Slack 或者微信进行反馈 , 具体链接在文章末尾处。除了针对大量工程细节予以极致封装之外, 在性能层面也有着相当出众的表现。于我自身的机器之上该机器配备64核CPU以及3080单卡, 借助所使用的CLIP预训练模型以及与之配套的工具库构建起了实现相同功能的流水线, 并且还与另一条流水线展开了性能方面的对比:与 的流水线性能对比历经多次实验, 流水线的平均 QPS 为 67, 流水线的平均 QPS 是 328。该流水线有着近乎 5 倍的提速。这意味着, 借助使用, 仅凭借一块卡便能达成之前五块卡的服务能力, 两个字, 省钱之后, 接着去分享一些里头的关键组件还有实用工具: Hub, 编程接口, 高性能推理服务, 以及项目的。Hub所提及的 Hub 并非被称作 Model Hub, 而是被叫做 Hub。主要缘由在于, 这 Hub 面向的是端到端的流水线构建, 它在聚焦神经网络模型之外, 还更为注重算法模块功能的丰富程度, 以及高性能推理和标准的任务接口。其所涵盖的算法模块, 有着丰富的程度如何呢, 其中的算法模块, 包含神经网络模型的同时, 还包含各种各样、林林总总支离破碎的数据处理方式, 像是音视频编解码、图片裁切、文本进行逐字逐词分割、对向量进行维度降低、关联以及使用数据库等操作等等。关注的算法来源主要有四类当前, 已然涵盖计算机视觉领域、自然语言处理领域、音频领域、生物医药领域、多模态领域这五大领域里的十多项任务, 120多种模型结构, 700多个预训练模型。去查看那支持的列表。。高性能推理, Hub之上的算法模块, 除了用以提供预训练模型以及Fine - 能力之外, 会更着重聚焦于流水线落地之后的推理性能, 会针对常用算法或者前沿模型给出对应的高性能实现, 依据侧流水线的定义 , 会在推理服务修建的时期进行自动化替换, 这些加速支持涵盖:针对任务类型, 会对算子采用模块化这种的组织方式, 由此形成标准的任务接口。这一特定的标准的调用接口的确定是靠着明确任务类型来达成并且借助算子给出接口的不同实现结果。Hub里的组织形式相仿, 执行相同任务的会被归到同一个分类当中, 从而使得结构目录明晰, 便于阅读与使用当前, 社区正试着逐步涵盖with Code上的关键任务, 去支持用户对SOTA 模型进行迅速试用, 以此避免用户在 “读懂论文-看懂论文作者的初版实现-面向工程的落地性代码重构-PoC-性能优化” 这一流程中的重复劳动还会给已支持的模型添加with Code链接。要是于with Code模式页面里的Code板块瞧见 -io/, 那就表明于其是能够针对该模式予以试用的。比如说跨模态视频召回的那种模式, 就是其中一种。每一个处于 Hub 之上的 repo, 它是关于一个模型的对应代码存放之地, 同时又是一个能够被直接用来进行调用动作的模块, 就像在先前的某些例子当中所使用到的那样。. 算子对应 Hub 上与流水线调用里的包名、算子名相对应的是这个仓库的用户名与仓库名, 此仓库为image-text-/。规定了一套代码仓库接口协议, 只要代码仓库的组织方式依照这套协议规范, 就能借助提供的工具, 把仓库代码自动化打包, 并且能够以“用户名.仓库名”的形式对算法模块直接加载调用。任务接口标准化存在着一项极为显著的优势, 那便是能够灵活地实现模型切换, 并且无需担忧会引入额外的工程量。这一点对于快速开展 PoC 以及流水线升级而言均具有相当重要的意义所在。于原型阶段之时, 能够依据业务逻辑确切定夺所需的任务类型究竟有哪些, 鉴于相同任务情形下的不同算子具备着一致的调用接口, 所以能够如同乐高积木那样实现自由组合, 进而开展快速的效果尝试。在生产环境当中, 若需要对流水线的某一个方面进行升级, 也仅仅是在流水线的定义里替换相应的部分, 经由重新构建 image 便能够达成。当下, 社区正对用户的算子需求开展收集工作, 于各个版本当中做汇总处理, 还要实施更新, 有在这方面存有需求的同学, 能够加入项目的Slack或者微信群去实施讨论, 亦或是去提issue, 相关链接位于文章末尾处。编程接口是乐高积木, 其接口是强力胶, 此强力胶的作用是连接乐高积木。凭借这般接口, 用户能够简单轻易地构建推理流水线。在逻辑范畴内的定义身为带有特定内容表述的非结构化数据表格, 每一行对应的是一个数据实体, 每一列对应的是一种数据属性。一条流水线对应的乃是一组数据属性操作, 每个特定部分接受一至多个数据属性作为输入, 并产出新的数据数据属性作为输出。主要有三个作用在文章起始部分CLIP的那个例子当中, 已然简略演示过后两个用法了。于此对流水线的本地快速原型构建作一个简易的简介。CLIP此范例的本地可执行版本写出来呈现这般模样标点。代码里方括号的那部分, 指定了与之相关的信息, 在这个例子当中, 3个形成了那种收尾相互连接的链, 当然了, 还能够借助其来定义一些比 -chain更为复杂的DAG。在这个例子里头我们先是借助 YOLO v5 对图形里展现出来的进行检测, 接着于原图之中把这些进行裁切抽出, 并且运用 CLIP 逐一针对这些的图片开展的的提取。这个 DAG 绘制出来呈现的是如此模样:CLIP 示例对应的 DAG高性能推理服务项目的目标并非是去打造一款全新的推理引擎, 而是着重于使现有的高性能推理引擎得以更切实地落地。当下, 所存在的推理服务适配了特定的推理框架, 主要展现出的特性涵盖了:在对上述特性予以支持之际, 为用户达成了诸多自动化任务, 其中包含逻辑图朝向物理图的映射, 物理图朝着异构执行后端的映射, 以及运行期的调度。DAG 的映射与自动优化上方的图呈现了CLIP这个示例, 从流水线的定义开始, 一直到生成推理流水线服务的整个过程。从前往后观察, 整个自动化构建与执行的进程总共划分为三个阶段, 其一为逻辑图阶段, 处于编译期, 其二是物理图阶段, 同样处于编译期, 再就是执行后端阶段, 位于运行期。逻辑图是借助对相关对象进行Trace而获取到的, 和图定义有关的完整元信息。物理图针对逻辑图里各个算子节点开展物理实现的绑定工作, 比如说, 节点于物理层会依照model的方式去执行程序内容, CLIP所对应的图片前处理进程在物理层会借助DALI来达成绑定实现, CLIP模型于物理层会实施对应的绑定实现与此同时, 这些算子节点在物理层会完成相关配置、实例个数配置以及物理资源的分配安排, 过程即为如此这般。在运行的时期, 会依据物理图里各个节点的物理绑定情况, 去适配执行后端, 还要对物理内存与计算资源进行适配, 再者, 会按照图上各个算子节点的依赖关系, 来驱动流水线的自动化执行。关于该项目的相关情况, 是能够于官网处进行查看的。此刻, 此项目仍旧处于那种快速迭代以及重度研发的时段范围。该项目之中所涵盖的关键内容包含有:前沿算法模型这是关于模型的情况, 在近期的时候, 会着重关注CVPR 2022新出现的前沿的成果表现, 就比如说CV大神名称为何恺明的MAE , 还有香港大学、UC、腾讯共同合作的MCQ等等情况。与此同时, 会进行集成, 为其提供向量降维的能力效果。面对中文跨模态搜索、多模态召回、代码等数据方面的任务类型, 也会存在模型更新的情况。进展详情请关注项目的 Model 。计算机视觉多模态代码文件向量降维编程接口与工具推理服务优化本地执行优化团队 2023 秋季招聘已经启动