What is Ray?
Ray는 AI 및 머신러닝 작업을 간소화하고 최적화하는 오픈소스 프레임워크입니다. 개발자를 위해 설계된 Ray는 대규모 모델 학습, 다중 모달 데이터 처리 또는 프로덕션 준비 솔루션 배포 등 AI의 증가하는 복잡성을 처리하도록 설계되었습니다. Ray를 사용하면 노트북에서 수천 개의 GPU까지 원활하게 확장할 수 있으며, 리소스 활용도를 극대화하고 비용을 최소화할 수 있습니다.
Ray를 선택해야 하는 이유
AI는 그 어느 때보다 빠르게 발전하고 있으며, 그 복잡성을 관리하는 것은 어려운 과제입니다. 팀들은 종종 느린 프로덕션 일정, 활용되지 않는 리소스 및 급증하는 비용과 씨름합니다. Ray는 AI 컴퓨팅 엔진 역할을 하여 AI, ML 또는 Gen AI 등 모든 작업 부하를 위한 인프라를 통합함으로써 이러한 문제를 해결합니다.
주요 기능
? 병렬 Python 코드
Python 애플리케이션을 손쉽게 확장하고 분산합니다. 시뮬레이션, 백테스팅 또는 기타 컴퓨팅 집약적인 작업을 실행하는 경우 Ray를 사용하면 최소한의 변경으로 코드를 병렬화할 수 있습니다.
? 다중 모달 데이터 처리
이미지, 비디오, 오디오 등 구조화된 데이터와 비구조화된 데이터를 손쉽게 처리합니다. Ray의 프레임워크에 구애받지 않는 접근 방식은 기존 도구와의 호환성을 보장합니다.
? 분산 모델 학습
XGBoost와 같은 기존 ML 모델부터 Gen AI 기반 모델까지 다양한 규모로 모델을 학습합니다. Ray는 단 한 줄의 코드로 분산 학습을 지원하며, 선호하는 프레임워크와 원활하게 통합됩니다.
? 모델 제공
Ray Serve를 사용하여 모델을 효율적으로 배포합니다. 독립적인 확장 및 분할 리소스 할당을 통해 LLM부터 안정적인 확산 모델까지 모든 ML 모델에 대한 최적의 성능을 보장합니다.
? 배치 추론
이기종 컴퓨팅을 활용하여 오프라인 배치 추론 워크플로를 최적화합니다. 동일한 파이프라인에서 CPU와 GPU를 사용하여 활용도를 극대화하고 비용을 절감합니다.
? 강화 학습
Ray RLlib를 사용하여 프로덕션 수준의 강화 학습 워크플로를 실행합니다. 통합된 API는 광범위한 애플리케이션에 대한 복잡한 RL 작업을 간소화합니다.
? Gen AI 워크플로
Ray의 유연한 인프라를 사용하여 다중 모달 모델 및 RAG(Retrieval-Augmented Generation) 파이프라인을 포함한 엔드투엔드 Gen AI 애플리케이션을 구축합니다.
? LLM 추론 및 미세 조정
가장 까다로운 작업 부하에도 대규모 언어 모델(LLM) 추론을 원활하게 확장하고 모델을 효율적으로 미세 조정합니다.
Ray의 사용 대상
? 데이터 과학자 및 ML 실무자
심층적인 인프라 전문 지식 없이도 ML 작업 부하를 확장할 수 있습니다. Ray를 사용하면 분산 컴퓨팅의 복잡성을 처리하는 동안 모델 구축에 집중할 수 있습니다.
? ML 플랫폼 구축자 및 엔지니어
Ray의 통합 API를 사용하여 확장 가능하고 강력한 ML 플랫폼을 만듭니다. 개발과 프로덕션 간의 마찰을 줄이고 더 넓은 ML 생태계와의 온보딩 및 통합을 간소화합니다.
? 분산 시스템 엔지니어
Ray의 분산 컴퓨팅 기본 요소를 사용하여 오케스트레이션, 스케줄링, 내결함성 및 자동 확장을 자동화합니다.
실제 결과
Ray는 대규모 AI를 처리하는 팀에 측정 가능한 영향을 제공합니다.
10~100배 더 많은 모델 학습 데이터 처리.
100만 개 이상의 CPU 코어 온라인 모델 제공에 배포.
3000억 개 이상의 매개변수 기반 모델에 대해 학습.
데이터 처리 비용 82% 절감, 연간 1억 2천만 달러 절약.
배치 추론을 위해 Spark에서 Ray로 전환하여 비용 30배 절감.
GPU 활용률 4배 향상 및 비용 7배 절감.
작동 방식
Ray의 통합된 컴퓨팅 프레임워크는 세 가지 계층으로 구성됩니다.
Ray AI 라이브러리: 데이터 처리, 학습 및 제공과 같은 ML 작업을 위한 확장 가능한 도메인별 라이브러리.
Ray Core: Python 애플리케이션을 확장하기 위한 범용 분산 컴퓨팅 기본 요소.
Ray 클러스터: 클라우드, 온프레미스 또는 Kubernetes 등 모든 인프라에서 실행되는 유연하고 자동 확장되는 클러스터.





