IO 架构
IO的。NET 的生态系统架构强调速度、有效性和效率。每个元素都经过微调,以实现快速性能,我们优先考虑可持续、环保的资源使用。
用户界面
该层是用户的视觉网关。它包括公共网站、客户区域和 GPU 提供商区域(Workers)。该设计直观且以用户为中心,确保易于导航和交互。
主要使用的技术栈:ReactJS、Tailwind、web3.js、zustand。
安全层
确保系统完整性和安全性的关键层。它包括用于网络保护的防火墙、用于用户验证的身份验证服务以及用于跟踪活动的日志记录服务。
主要使用的技术栈:防火墙(pfSense、iptables)、身份验证(OAuth、JWT)、日志记录服务(ELK Stack、Graylog)。
API 层
作为通信桥梁,该层具有多个方面:用于网站的公共 API、用于 Workers/GPU 提供商和客户的私有 API,以及用于集群管理、分析和监控/报告的内部 API。
主要使用的技术栈:FastAPI、Python、GraphQL、RESTful 服务、gunicorn、solana。
后端层
系统的动力源。它管理提供程序(工作线程)、集群/GPU 操作、客户交互、故障监控、分析、计费/使用情况监控和自动缩放。
主要使用的技术栈:FastAPI、Python、Node.js、Flask、solana、IO-SDK(Ray 2.3.0 的一个分支)、Pandas。
数据库层
系统的数据存储库。它对结构化数据使用主存储,对经常访问的临时数据使用缓存。
主要使用的技术栈:Postgres(主存储)、Redis(缓存)。
消息代理/任务层
该层协调异步通信和任务管理,确保数据流畅和任务高效执行。
主要使用的技术栈:RabbitMQ(消息代理)、Celery(任务管理)。
基础架构层
基础层。它容纳了 GPU 池,其中包含来自我们经过验证的合作伙伴的硬件。编排工具管理部署,而执行/ML 任务处理计算和机器学习操作。此外,它还提供数据存储解决方案。使用 Nvidia-smi 或 NVIDIA DCGM 监控 GPU 性能。
主要使用的技术栈:
- GPU/CPU 池
- 编排:Kubernetes、Prefect、Apache Airflow
- 执行/ML 任务:Ray、Ludwig、Pytorch、Keras、TensorFlow、Pandas
- 数据存储:Amazon S3、Hadoop HDFS
- Сontainerization: Docker
- 监控:Grafana、Datadog、Prometheus、NVIDIA DCGM
IO-SDK:IO.NET 背后的动力源
IO-SDK 是 Ray 的专用分支,是驱动 IO 的核心技术。NET 的功能。IO-SDK 采用 Ray 的原生并行性,毫不费力地并行化 Python 函数,实现动态任务执行。其内存存储可确保任务之间的快速数据共享,从而消除序列化延迟。动态自动扩缩容功能意味着IO-SDK可以快速适应计算需求。此外,它不仅限于 Python;它的语言多功能性以及与 PyTorch 和 TensorFlow 等领先 ML 框架的集成功能使其成为强大而灵活的选择。无论是在单台机器上,还是在海量的云平台上,IO-SDK都能保证IO。NET 的可扩展性和性能。
这些层由上述技术堆栈提供支持,共同构成了 IO.NET Portal 的强大且可扩展的架构,确保其满足现代用户的需求并保持面向未来。