由LinkedIn开发并与微软合作开源的特徵商店专案Feathr,现在贡献给LF AI & Data基金会成为沙盒专案,期望使人工智慧社群的DataOps和MLOps变得更加简单容易。
LinkedIn在2017年时发布Feathr,并且在2022年的时候与微软合作开源,Feathr是一个企业级高效能特徵商店,可自动计算资料特徵值,并联合特徵创建训练资料库,官方提到,Feathr使用称为Point-In-Time-Correct语义,来避免资料泄漏,并且可对快速的网路服务即时提供和部署特徵值。
在LinkedIn中,已经有数十个应用程式使用Feathr,定义、运算用於训练的特徵,并部署到生产环境中。LinkedIn提到,与过去其他特定於应用程式的特徵工作管线相比,Feathr能够大幅减少向模型训练工作流程添加新特徵的时间,因此提高了执行时效能。
之所以LinkedIn当初需要开发Feathr,是因为遭遇到扩展特徵工作管线的问题,在Feathr中,有数百个模型被用於搜寻、Feed、广告等应用程式,LinkedIn提到,准备和管理特徵一直都是大规模机器学习应用程式中极度耗费时间的工作之一,而这个庞大的负担,直接伤害开发团队创新和改进应用程式的生产力。
为此,LinkedIn建构了Feathr,Feathr是一个抽象层,提供用於定义特徵的通用特徵命名空间,以及从机器学习流程中,按名称计算、存取特徵的通用平台,Feathr减少了团队管理和定义特徵工作管线的需求。Feathr作为抽象层,创造了特徵生产者和消费者的角色,生产者可以定义特徵,并且注册到Feathr,供消费者存取和汇入特徵到机器学习模型工作流程中。
Feathr的具体功能,包括能够定义一次特徵,应用在不同的场景中,Feathr还能够连接各种离线资料来源,像是资料湖、资料仓储,并将来源资料转换为特徵,将特徵资料从离线系统传送到线上储存,加快线上服务的速度,同时Feathr也有利於团队协作,团队成员可以更简单地发现功能,并且在团队中共享。
Feathr加入LF AI & Data基金会,目标是要进一步推动专案,并且扩大使用者基础,发展开发者社群,并且使Feathr能够与其他专案协作、整合。Feathr加入LF AI & Data基金会的第一步,是成为沙盒专案,开发者现在可以在GitHub储存库,了解更多细节并且参与贡献。