Flyte：用于ML/AI工作流的开源编排器
Flyte是一个开源的编排工具，用于管理机器学习和人工智能项目的工作流。它运行在Kubernetes之上。
用于人工智能和机器学习的数据是否需要自己的工作流和编排系统？据Union.ai认为是的，它确实提供了一种名为Flyte的开源解决方案，该解决方案提供了工作流和编排，以满足数据而非软件的独特需求。
Union.AI首席营销官兼开发者关系主管Martin Stein表示：“我们从使用编排器进行机器学习的人那里得到的第一个反馈是，这些编排器不是为人工智能工作流、机器学习工作流而生的，他们被迫写YAML代码，被迫理解Docker文件，被迫去做机器学习工程师、数据科学家和研究人员不会做的事情。”
他补充道，基本上，使用Flyte，开发人员编写代码，然后在本地或远程运行。
Union.ai首席机器学习工程师Niels Bantilan表示：“我们的论点是，软件与机器学习有着根本的不同，尽管它们是相关的。在我们看来，软件和机器学习之间的主要区别在于，软件是无状态的，另一方面，数据和模型一直在变化。”
Flyte是面向机器学习的编排器
“什么是编排？以音乐类比，管弦乐队中的指挥将是协调的中心点，它告诉每个部分的每个乐器何时演奏、如何演奏以及什么是动态的，本质上，它是一个软件编配器。工作流编排器在抽象层次上非常相似，在进行某些计算后进行协调，在执行某些数据时进行处理它从哪里被推到哪里，并从本质上协调整个系统以实现一些期望的行为。”
他认为，Flyte通过丰富的工具解决了这些问题。
Union.ai认为，一个好的数据和人工智能编排器可以提供：
——管理和安全：RBAC、数据所有权、多租户和调度。
——监控和可视化：数据沿袭、数据可视化、工作流可视化、任务级观察能力。
——性能和准确性：强类型接口，GPU加速，并行，产生信令。
——工作流效率：任务内检查点；从故障中恢复；重新运行单个任务；缓存；点/可抢占实例；超时；动态资源配置；通知。
——灵活性：任务内检查点；版本控制；依赖关系隔离；多云支持。
Flyte实现了上面每一个要点。
Stein解释道：“大多数编排器都不像Flyte那样。Flyte是极少数真正超越Airflow等仅限数据的编排器的产品之一。例如，Airflow没有缓存，没有任务内检查点，实际上不是为ML管道而构建的。它是为数据管道而构建。”
他补充道，AWS的SageMaker也存在同样的问题。
Flyte通过自动化基础设施挑战来工作。
Stein说：“并行和GPU之类的东西——你不必专门为Flyte编写任何功能。这真的很重要，因为Flyte会自动完成这项工作，这样你就不必在Python代码中输入‘Please run in parallel，yada，yada、yada’，decorator会在任务级别上指定想要运行多少机器，或者需要多少计算。”
该云原生编排平台是在Kubernetes之上构建的，如果单独运行Flyte，需要Kubernete工程师的帮助。
它不是ML运维工具，但…
Stein说，Flyte经常被误认为是ML Ops工具。事实并非如此。
Stein说：“我们在Flyte上运行MLOps，这样你就可以把权重和偏见、y日志或任何想要的东西带到一起，我们把这些东西连接在一起，让它们完美地工作。这就是编排器的真正力量。”
他补充道，它确实可以让你看到完整的机器学习工作流，其中一个工作流与另一个工作流挂钩。Stein说，这确保了数据科学家能够看到从开始到结束的一切。
Bantilan说：“你可能有一个数据团队和一个分类模型团队，一个预测模型团队，他们都可以使用同一个平台，也就是Flyte，在同一个工作空间里一起工作，但仍然不会互相踩到。”
该开源工具还拥有50个集成，包括DataBricks和Anyscale with Ray。
Stein说：“我们无法访问你的任何数据，这是最重要的。”
