
vLLM
Translation
Part 2: 번역 추론 확장: 처리량 +82%
AsyncLLMEngine과 적절한 Continuous Batching 설정으로 vLLM 추론 처리량을 82% 향상시킨 방법
Ashar Mirza - VoicePing
5 min
VoicePing의 벤치마크, 연구 방법론, 모델 평가 및 제품 연구를 확인하세요.
37개의 글

AsyncLLMEngine과 적절한 Continuous Batching 설정으로 vLLM 추론 처리량을 82% 향상시킨 방법
FastAPI + 멀티프로세싱 구조에서 효율적인 GPU 활용을 방해하는 아키텍처 병목 지점 분석

얼굴 분석, 자세 추정, 감정 감지를 위한 영상 전처리 파이프라인 구축에 관한 연구 보고서입니다.

Python, aiohttp, BeautifulSoup을 활용한 대규모 데이터 수집용 효율적 비동기 웹 크롤러 개발

Llama 3.1의 중영 번역 파인튜닝과 환각 완화 전략에 관한 연구

Llama 3.1을 활용한 영중 양방향 번역에서의 RAFT 방법론 탐구