게시판

home 화살표 게시판 화살표 뉴스

뉴스

클라우드와 엣지로 LLM 분할하기
등록일 2024.05.31
관련링크 https://www.itworld.co.kr/news/338818

ㅇ 출  처 : IT world 

ㅇ 보도일 : 2024. 05. 30.

ㅇ 내  용

 - 대규모 언어 모델(LLM)은 상당한 컴퓨팅 리소스를 필요로 한다. 이 때문에 LLM의 개발과 배포는 주로 퍼블릭 클라우드 서비스 업체처럼 강력한 중앙 집중식 시스템에 집중되어 있다. 이처럼 많은 사람이 생성형 AI를 실행하려면 방대한 양의 스토리지에 연결된 대량의 GPU가 필요하다고 생각하지만, 사실 특정 비즈니스 사용례에 가치를 창출하기 위해 계층 또는 분할 아키텍처를 사용하는 방법도 있다. 

 - 어쨌든 지금은 생성형 AI가 ‘시대 정신’이고, 엣지 컴퓨팅은 이 시대 정신과 잘 맞지 않는다. 생성형 AI 모델의 처리 요구 사항과 고성능 추론의 필요성을 고려할 때 그렇다. 필자는 이런 잘못된 인식 때문에 '엣지 중심' 아키텍처를 제안할 때 종종 어려움을 겪는다. 혁신을 이룰 수 있는 엄청난 기회를 놓치고 있는 것이니 한번 살펴보자. 

 

 * 언제나 가능한 엣지

 * 하이브리드 AI 아키텍처가 널리 보급되지 않는 이유 

 * 생성형 AI를 위한 하이브리드 아키텍처를 구축하는 방법 

문의하기 위로가기TOP