top of page

NVIDIA cudaMemcpy 최적화, B300에서 5배 성능 향상 주장

10분 전
9분 분량
Illustrative photograph. Photo: Godfrey Atima / Pexels.

Henry Zhu는 B300 GPU에서 산술 처리 성능이 아닌 데이터 이동을 겨냥한 NVIDIA cudaMemcpy 최적화로 약 5배의 성능 향상을 달성했다고 보고했다. 2026년 11월 15일 게시물에서 그는 운영체제가 물리 메모리 페이지를 관리하는 일반 CPU 메모리인 pageable 메모리로부터의 전송 속도가 빨라졌다고 설명했다. 이 주장은 AI 애플리케이션 전반이 5배 빨라진다는 뜻이 아니라 CPU와 GPU 사이의 특정 병목 구간에 관한 것이다.

Zhu의 pageable 전송 벤치마크는 대용량 CPU-to-GPU 복사에서 튜닝 전 약 10 GB/s와 비교해 약 52 GB/s를 기록했다고 보고한다. 전송 중 물리적 위치가 고정되는 pinned 메모리는 같은 비교에서 약 56 GB/s에 도달했다. 이는 작성자가 보고한 측정치이며, 본 매체가 독립적으로 재현한 결과는 아니다.

이 비교는 기존의 엔지니어링 선택을 다시 검토하게 한다. 일반 메모리 전송을 감수할 것인가, 아니면 애플리케이션을 pinned 버퍼 중심으로 재구성할 것인가. Zhu의 프로젝트는 애플리케이션의 기존 메모리 선택을 유지하면서 중간 복사 작업을 개선하는 또 다른 방안을 제시한다. 이 방안의 중요성은 실제 애플리케이션이 해당 전송을 기다리는 데 얼마나 많은 시간을 쓰는지에 달려 있다.

NVIDIA cudaMemcpy 최적화가 실제로 주장하는 내용

보고된 개선은 cudaMemcpy라는 이름이 붙은 모든 작업이 아니라 특정 전송 경로를 겨냥한다.

CUDA는 NVIDIA의 GPU 프로그래밍 플랫폼이며, cudaMemcpy는 메모리 복사 인터페이스다. 애플리케이션은 관련 인터페이스를 사용해 CPU 메모리와 GPU 메모리 사이에서 정보를 이동한다. 전송 벤치마크는 이 이동을 측정할 뿐, 텍스트 생성·이미지 생성·완료된 학습 작업을 직접 측정하지는 않는다.

Zhu의 cudamemcpy-tuner는 CPU 스레드와 스테이징 버퍼, 즉 메모리 시스템 사이로 데이터를 옮기는 동안 사용되는 임시 메모리 영역을 조정한다. 프로젝트의 tuner repository는 애플리케이션에 투명한 튜닝을 설명한다. 핵심 제안은 개발자가 데이터 처리 방식을 다시 작성하도록 요구하는 대신, 기존 워크로드 아래의 동작 구조를 개선하는 것이다.

이 차이가 이 주장의 실용적 관심을 만든다. 애플리케이션의 메모리 전략을 바꾸려면 여러 라이브러리, 소유권 규칙, 데이터 사용 가능 시점에 관한 가정이 얽힐 수 있다. 그 경계 아래의 최적화는 다른 도입 경로를 제시한다. 다만 소스 코드를 보존한다고 해서 모든 실행 패턴이나 배포 환경과의 호환성이 보장되는 것은 아니다.

제목의 분모도 명확히 해야 한다. 5배 개선이란 보고된 조건에서 튜닝된 작업이 선택된 기준선보다 더 빠르게 실행된다는 의미다. GPU가 공개 사양보다 5배 빨라진다는 뜻은 아니다. 또한 모든 전송에 회수 가능한 오버헤드가 같은 수준으로 존재한다는 점도 입증하지 않는다.

Pinned 메모리와의 비교는 단순한 전후 수치보다 결과를 더 유익하게 만든다. 이는 같은 보고 환경에서 다른 메모리 경로의 기준점을 제공한다. 튜닝된 결과는 소프트웨어가 연결의 물리적 한계를 없앴다고 주장하기보다 그 기준점에 근접한다.

따라서 이 주장을 평가하는 독자에게 중요한 변화는 좁게 정의된다. 작성자는 기본 pageable 경로가 활용하지 못하던 대역폭을 회수했다고 보고한다. 이 해석은 결과를 NVIDIA 하드웨어의 전반적 가속으로 간주하는 것보다 더 유용하고 방어하기 쉽다.

이 구분은 최적화 기회와 제품 발표도 분리한다. 이는 독립적으로 개발된 도구와 벤치마크 보고서다. NVIDIA가 cudaMemcpy에 보편적인 성능 업그레이드를 적용했다는 발표가 아니며, 공식 성능 보장을 수립하는 것도 아니다.

여기에는 여전히 의미 있는 엔지니어링 질문이 있다. 익숙한 기본 경로가 특정 장비에서 상당한 대역폭을 활용하지 못한다면, 애플리케이션 개발자는 그 이유를 이해해야 한다. 하드웨어 성능만으로는 소프트웨어가 그 성능에 도달하는지 답할 수 없다.

더 빠른 복사는 애플리케이션 병목을 다시 살핀다

압박은 이미 연산을 바쁘게 유지하는 워크로드보다 GPU가 데이터를 기다리는 팀에 먼저 가해진다.

애플리케이션의 임계 경로는 유용한 작업이 완료되는 시점을 결정하는 작업 순서다. 복사가 임계 경로에 있을 때 더 빠른 복사의 효과가 가장 크다. 다른 작업이 완료 시점을 결정한다면, 전송 대역폭이 향상되어도 사용자가 체감하는 결과에는 거의 영향이 없을 수 있다.

모델을 로드한 뒤 오랫동안 요청에 응답하는 AI 서비스를 생각해 볼 수 있다. 더 빠른 로딩은 준비 상태 도달 시간을 개선하지만, 로딩 단계와 요청 처리 단계는 서로 다른 측정 대상이다. 전자의 변화가 후자를 자동으로 바꾸지는 않는다.

다른 서비스는 모델 구성 요소를 CPU와 GPU 메모리 사이에서 반복적으로 옮길 수 있다. 일부 작업 데이터를 GPU 메모리 밖에 저장하는 오프로딩은 전송 동작을 지속적인 실행의 일부로 만든다. 그런 가상의 배포 환경에서는 애플리케이션이 유용한 작업 중에 데이터 이동을 반복하기 때문에 데이터 이동에 더 큰 관심을 둘 필요가 있다.

학습에는 또 다른 구분이 있다. 체크포인팅은 작업을 재개하는 데 필요한 상태를 저장하며, 그 상태를 준비하는 과정에는 GPU 메모리에서 데이터를 이동하는 작업이 포함될 수 있다. 준비 중단 시간을 줄이는 것은 가치가 있지만, 체크포인트 사이의 모든 계산을 가속하는 것과는 다르다.

이러한 사례는 워크로드 명칭만으로는 충분하지 않은 이유를 보여 준다. 두 애플리케이션이 모두 모델 로딩을 수행해도 시간 사용 방식은 다를 수 있다. 파일 접근, 데이터 준비, 메모리 할당, GPU 전송은 전체 지연 시간에서 서로 다른 비중을 차지할 수 있다.

NVIDIA의 성능 평가 지침은 최적화 전에 애플리케이션에서 비용이 큰 부분을 찾을 것을 권고한다. 또한 한 구성 요소의 가속 효과가 변경되지 않은 작업에 의해 제한된다는 원리인 Amdahl의 법칙도 다룬다. 이는 이 주장을 분석하기에 적절한 틀을 제공한다.

시사점은 간단하다. 두 측정 모두 틀리지 않더라도, 큰 국소적 개선은 전체적으로는 완만한 개선을 낳을 수 있다. 두 결과는 서로 다른 질문에 답한다. 하나는 데이터가 얼마나 빨리 이동하는지 묻고, 다른 하나는 애플리케이션이 작업을 얼마나 빨리 완료하는지 묻는다.

따라서 인프라 구매자는 하드웨어 비교와 소프트웨어 경로 비교를 구분해야 한다. 서버에 성능이 뛰어난 가속기가 탑재되어 있어도, 주변 애플리케이션이 데이터를 효율적으로 공급하지 못할 수 있다. 다른 가속기를 구매하는 일과 해당 전송 경로를 고치는 일은 서로 다른 지연 원인을 해결한다.

프레임워크 유지관리자에게 이 보고서는 더 좁은 과제를 제시한다. 대표적인 애플리케이션이 피할 수 있는 스테이징 오버헤드를 겪는지 확인해야 한다. 또한 기본 pageable 기준선이 최선의 구현이라고 가정하지 말고, 가능한 해결책을 기존 pinned 메모리 워크플로와 비교해야 한다.

AI 제품 사용자에게 중요한 결과는 여전히 구체적이다. 모델이 더 빨리 준비되는가? 학습 작업의 중단 시간이 줄어드는가? 일반 부하에서 요청이 더 빨리 완료되는가? 대역폭 차트는 구성 요소에 관한 증거일 뿐, 이러한 결과를 대신하지는 않는다.

CPU 스테이징이 이 주장의 핵심 메커니즘이다

제안된 개선은 데이터가 GPU에 도달하기 전 CPU 측 복사를 더 효과적으로 구성하는 데서 나온다.

Pageable 전송에는 pinned 메모리를 거치는 중간 단계가 포함될 수 있다. 이후 하드웨어가 관리하는 메모리와 장치 간 이동인 직접 메모리 접근이 장치 전송을 처리한다. 이 추가 스테이징 단계는 눈에 보이는 작업에 물리적 연결 속도 이상의 요소가 포함됨을 뜻한다.

NVIDIA의 복사 동기화 규칙은 pageable 메모리의 스테이징 동작을 명시적으로 설명한다. 또한 동기화가 작업과 그 인수에 따라 달라진다고 설명한다. 비동기라고 표시된 인터페이스가 모든 호출이 대기 없이 즉시 반환된다는 보장은 아니다.

이는 애플리케이션 개발자가 고수준 프레임워크를 통해 전송을 접하는 경우가 많기 때문에 중요하다. 짧은 표현식 하나가 할당, 스테이징, 제출, 대기를 숨길 수 있다. 눈에 보이는 표현식만 측정해서는 어떤 숨겨진 구성 요소가 경과 시간의 대부분을 차지하는지 알 수 없다.

Zhu가 제안한 메커니즘은 이런 맥락에서 타당하다. 더 효과적인 CPU 스테이징은 장치 연결에 데이터를 더 일관되게 공급할 수 있다. 이 설명에는 GPU 연산 유닛, 모델 아키텍처, 수치 정밀도의 변화가 필요하지 않다.

그러나 개연성과 검증은 별개다. 공식 문서는 스테이징 및 동기화 동작의 존재를 뒷받침한다. 하지만 이 도구가 보고한 성능 향상, 구현 선택, 다른 장비에서의 동작을 독립적으로 검증하지는 않는다.

이 구분은 흔한 해석 오류도 막는다. CPU 작업자를 추가한다고 전송 대역폭이 무한히 늘어나는 것은 아니다. 이는 기존 자원을 사용하는 방식을 바꾸는 것이며, 이러한 자원은 결국 시스템의 다른 지점에서 제약될 수 있다.

더 많은 작업자는 프로세서 시간을 두고 애플리케이션 작업과 경쟁할 수 있다. 추가 버퍼는 메모리를 소비하며 관리가 필요하다. 관련 질문은 대표적인 워크로드에서 이러한 비용이 제거하는 지연보다 작은지다.

따라서 유휴 상태의 전송 벤치마크와 바쁜 애플리케이션은 서로 다른 설정을 선호할 수 있다. 벤치마크는 스테이징 작업자에게 상당한 CPU 용량을 제공할 수 있다. 반면 프로덕션 프로세스는 요청 준비, 입력 디코딩, 다른 작업 조율을 위해 같은 용량이 필요할 수 있다.

버퍼 재사용도 고려해야 한다. 반복 전송에 사용되는 버퍼는 단일 작업을 위해 생성된 버퍼와 경제성이 다르다. 초기화 작업은 반복 사용에 분산될 수 있지만, 일회성 작업은 준비 비용을 직접 부담해야 한다.

이 때문에 NVIDIA cudaMemcpy 최적화는 대역폭 이야기인 동시에 스케줄링과 자원 할당 이야기이기도 하다. 그 가치는 CPU와 전송 메커니즘을 얼마나 효과적으로 조율하는지에 달려 있다. 가장 유용한 평가는 경쟁 작업을 포함해 애플리케이션 내부에서 그 조율을 측정한다.

또한 하나의 튜닝 프로필이 보편적 권장 사항이 되어서는 안 되는 이유도 설명한다. 주변 워크로드가 바뀌면 최적 설정이 더 이상 최적이 아닐 수 있다. 신뢰할 수 있는 결과는 최적화가 도움이 되는 조건과 추가 메커니즘이 더 이상 효과를 내지 못하는 조건을 식별한다.

Pageable 메모리와 pinned 메모리는 여전히 실질적인 선택지다

Pageable 전송을 개선한다고 해서 개발자가 의도적으로 pinned 메모리를 사용하는 이유가 사라지는 것은 아니다.

Pinned 메모리는 전송의 시작 조건을 바꾼다. 애플리케이션은 중간 경로를 통해 일반 메모리를 준비하는 대신, 전송 가능한 데이터를 적절한 버퍼에 미리 배치할 수 있다. 이는 최적화의 일부를 애플리케이션 설계로 옮긴다.

PyTorch의 pinned 메모리 지침은 이 비교에 신중함이 필요한 이유를 보여 준다. 텐서를 전송 직전에 수동으로 pin하는 방식은 직접 전송하는 것보다 느릴 수 있다고 설명한다. 워크로드가 실제로 부담하는 준비 비용은 측정에 포함되어야 한다.

동일한 안내는 GPU 연산과 복사 작업을 겹치려면 특정 조건이 필요하다고 설명한다. 여기에는 적절한 하드웨어 리소스, 고정된 소스 메모리, 그리고 GPU 작업을 위한 별도 실행 스트림과 순서가 정해진 큐가 포함된다. 더 빠른 복사와 복사 작업의 중첩은 관련된 목표이지만, 동일한 것은 아니다.

이러한 구분은 비교할 수 있는 두 가지 정당한 대안을 만든다. 하나는 애플리케이션이 이미 생성하는 일반 메모리의 전송 경로를 개선한다. 다른 하나는 전송이 실행 패턴에 더 효과적으로 맞도록 애플리케이션이 데이터를 준비하고 스케줄링하는 방식을 바꾼다.

어느 접근법도 개별 복사 결과가 더 좋아 보인다는 이유만으로 우위를 차지하지는 않는다. 공정한 비교에는 준비 과정, 메모리 사용량, 동기화, 애플리케이션 완료 시간이 포함된다. 또한 한 접근법에 유리하도록 워크로드를 바꾸는 대신 동일하게 유용한 출력을 보존해야 한다.

예를 들어 재사용 가능한 입력 파이프라인이라면 전용 전송 버퍼를 유지하는 것이 타당할 수 있다. 가끔 사용하는 가져오기 경로에서는 이러한 추가 복잡성이 덜 매력적일 수 있다. 이는 특정 모델에서 어느 접근법이 우세한지를 보여주는 측정 결과가 아니라 아키텍처적 사례다.

운영상의 질문은 준비 작업을 누가 담당하는가이다. 애플리케이션이 관리하는 pinning은 이 작업을 프로그램이나 프레임워크에서 명시적으로 처리하게 한다. 튜너는 전송 경로 내부의 작업을 개선하려고 시도한다. 두 접근법 모두 결국 어딘가에서 리소스를 소비한다.

타이밍 경계는 이러한 리소스가 벤치마크에 나타나는지를 결정한다. 버퍼 준비 후에 타이머를 시작하면 그 이전부터 시작하는 경우와는 다른 작업을 측정하게 된다. 어느 경계도 본질적으로 잘못된 것은 아니지만, 그 결과 수치를 서로 대체 가능한 것처럼 제시해서는 안 된다.

이 때문에 원래 주장에 포함된 고정 메모리 참조가 중요하다. 이는 애플리케이션 관리형 pinning이 시대에 뒤떨어졌음을 증명하지 않으면서 독자에게 또 하나의 비교 기준을 제공한다. 애플리케이션이 서로 다른 메모리 구성에서 출발하기 때문에 고정 메모리 전송 대역폭에 근접하는 것은 흥미로운 결과다.

PyTorch 같은 프레임워크와 CUDA 같은 GPU 플랫폼은 이 문제의 서로 다른 계층에서 작동한다. 이들의 동작을 비교하려면 애플리케이션이 실제로 무엇을 요청하고 기반 런타임이 무엇을 수행하는지 추적해야 한다. 이들을 서로 대체 가능한 경쟁 제품으로 취급하면 작동 원리가 가려진다.

유의미한 경쟁은 동일한 워크로드에서의 전송 전략 간 비교다. 핵심 질문은 투명한 스테이징 개선이 리소스 비용을 정당화할 만큼 충분한 이점을 제공하는가이다. 이러한 비교는 브랜드 간 경쟁이 아니라 애플리케이션 결과에 분석의 초점을 맞춘다.

벤치마크는 배포 관련 질문에 답하지 못한다

검증의 공백은 단순히 제안된 메커니즘이 그럴듯하게 들리는지의 문제가 아니라 재현성, 리소스 비용, 규모에 관한 것이다.

Zhu는 듀얼 Xeon 6787P 프로세서, 16개 가상 CPU, 드라이버 595.91.07을 갖춘 B300 SXM6 시스템을 보고했다. 또한 단일 B300 또는 8-B300 노드에서 대규모 모델을 테스트하지 않았다고 밝혔다. 이러한 한계는 배포 규모에 관한 주장을 해석할 때 중요하다.

그의 게시물은 공유 임대 환경에서의 CPU 간섭을 보고하며 AMD 하드웨어와 CPU-to-GPU NVLink-C2C 시스템은 테스트하지 않았다. NVLink-C2C는 짝을 이루는 NVIDIA CPU와 GPU 구성 요소 간의 직접 연결이다. 한 전송 구성의 결과를 다른 구성에 자동으로 적용해서는 안 된다.

이러한 공개 내용은 몇 가지 미해결 질문을 정의한다. 반복 실행 전반에서 결과는 얼마나 안정적인가? 튜닝에는 얼마나 많은 CPU 용량이 필요한가? 다른 프로세스가 메모리 대역폭과 프로세서 시간을 놓고 경쟁할 때도 애플리케이션은 이점을 유지하는가?

독립적인 재현은 헤드라인 수치를 맞추는 것과 그 원리를 설명하는 것을 구분해야 한다. 유사한 대역폭 수치에 도달하면 관찰 결과를 뒷받침할 수 있다. 시간이 어디에서 소모되는지 보여주면 메커니즘과 한계에 관한 더 강한 증거가 된다.

반대의 경우도 마찬가지로 중요하다. 원래 결과를 재현하지 못했다고 해서 즉시 원인을 알 수 있는 것은 아니다. 더 폭넓은 결론을 내리기 전에 CPU 접근, 메모리 배치, 드라이버 동작 또는 워크로드 준비의 차이를 조사해야 한다.

전송 방향도 별도로 다뤄야 한다. GPU로 데이터를 이동하는 것과 다시 되돌리는 것은 완료 요건이 서로 다른 별개의 작업이다. 한 방향에 대해 보고된 결과는 다른 방향이 자체 측정을 받을 때까지 해당 방향으로 명시되어야 한다.

복사 크기도 또 다른 경계 조건이다. 큰 연속 전송에서는 고정 오버헤드의 비중이 많은 작은 작업보다 작다. 분할된 데이터를 이동하는 애플리케이션은 총 전송 바이트가 더 큰 벤치마크와 같더라도 다르게 동작할 수 있다.

정확성은 속도와 함께 고려되어야 한다. 전송은 애플리케이션이 이를 소비하는 시점에 대상 위치에 예상한 데이터가 있어야만 유용하다. 필요한 작업이 끝나기 전에 종료되는 타이밍 측정은 완료된 작업을 개선하지 않고도 작업이 더 빨라 보이게 할 수 있다.

애플리케이션 준비 상태 역시 신중하게 정의해야 한다. 프로세스는 모델이 준비되기 전에 존재할 수 있고, 전송은 대상이 사용 가능해지기 전에 제출될 수 있다. 비교는 사용자나 다운스트림 구성 요소가 실제로 의존하는 이벤트를 측정해야 한다.

저자의 플릿 수준 절감 논의는 고객 배포 결과가 아닌 가상적 추정이다. 이는 재로딩 패턴, 워크로드 또는 리소스 제약이 다른 조직에서 실현된 절감 효과를 입증할 수 없다. 방어 가능한 상업적 주장은 측정할 가치가 있는 기회라는 수준에서 멈춘다.

따라서 엔터프라이즈 독자는 NVIDIA cudaMemcpy 최적화를 명확한 범위를 가진 가설로서 평가에 포함해야 한다. 이는 전송 튜닝을 무시할 이유도 아니며, 인프라 요구 사항이 비례해서 줄어들 것이라고 가정할 근거도 아니다.

공개된 구성과 재현 가능한 워크로드가 있다면 이 주장을 더 쉽게 평가할 수 있다. 지속적인 애플리케이션 개선의 증거는 또 하나의 고립된 최고치보다 더 중요하다. 현실적인 경쟁 상황에서 이점이 미미하다는 증거는 원래 관찰 결과를 부정하지 않으면서 적용 가능한 사용 사례를 좁힐 수 있다.

결과의 확장성을 보여줄 세 가지 신호

독립 재현, 현실적인 규모, 기본 소프트웨어 경로의 개선이 다음으로 유용한 신호다.

첫째, 장비와 타이밍 경계를 모두 공개하는 독립 측정을 주시해야 한다. 가장 유익한 재현은 동등한 조건에서 기본 pageable 전송, 튜닝된 pageable 전송, 고정 메모리 전송을 비교하는 것이다. 유리한 한 번의 실행만 제시하는 대신 변동성도 보고해야 한다.

동일한 패턴이 저자의 환경 밖에서도 유지된다면 주장은 강화된다. 개선이 비정상적으로 제한된 CPU 접근이나 좁은 범위의 전송 크기에 의존한다면 광범위한 해석은 약화된다. 어느 결과든 개발자가 어디에서 평가할 가치가 있는지 파악하는 데 도움이 된다.

강력한 재현에는 애플리케이션 수준의 결과도 포함되어야 한다. 전송 차트는 구성 요소를 설명하고, 애플리케이션 결과는 그 영향을 설명한다. 두 측정치를 모두 드러내면 성공적인 국소 최적화가 전체 AI 성능에 관한 근거 없는 주장으로 확대되는 것을 막을 수 있다.

둘째, 더 큰 모델과 여러 GPU를 대상으로 한 현실적인 워크로드를 주시해야 한다. 여러 장치가 동시에 서비스를 요구할 수 있으므로 멀티 GPU 구성에서는 주변 CPU와 메모리 리소스가 특히 중요해진다. 단일 장치의 개선만으로는 이러한 요구가 어떻게 상호작용하는지 알 수 없다.

중요한 신호는 공유 리소스를 고려한 뒤에도 지속되는 유용한 작업이다. CPU 측 애플리케이션 작업을 굶주리게 만드는 더 빠른 전송은 부수적 비용이 거의 없는 더 빠른 전송과는 다른 트레이드오프를 제시한다. 이점과 리소스 부담 모두 측정해야 한다.

이 단계에서는 시작, 복구, 정상 운영도 구분해야 한다. 배포 환경은 다른 영역을 개선하지 않으면서 그중 하나에서 이점을 얻을 수 있다. 명확한 분리는 구매자가 모든 결과를 일반적인 처리량 주장으로 해석하는 대신 증거를 자신의 서비스 동작과 연결할 수 있게 한다.

셋째, 런타임이나 프레임워크 기본값의 변화를 주시해야 한다. 유지관리자가 병목 지점을 재현하고 표준 경로를 개선한다면, 더 많은 애플리케이션이 별도의 튜닝 워크플로를 채택하지 않고도 이점을 얻을 수 있다. 이는 전송 소프트웨어가 다시 주목받을 가치가 있다는 더 폭넓은 관찰을 강화한다.

반대의 결과도 유익할 수 있다. 유지관리자가 이 최적화에 애플리케이션별 지식이 필요하다고 판단한다면 자동 적용은 더 어려워진다. 결과는 여전히 관련성이 있지만, 보편적인 기본값보다는 특정 워크로드 구성에 더 적합할 수 있다.

개발자는 이러한 구분의 근거가 되는 증거를 보존해야 한다. 장비 세부 정보, 워크로드 버전, 타이밍 경계, 실패한 실행 기록은 이후 비교를 해석 가능하게 만든다. 검색 가능한 지식 기반을 유지하는 팀은 이러한 기록을 그것이 뒷받침하는 의사결정과 연결해 둘 수 있다.

현재로서는 데이터 이동이 애플리케이션의 중요 경로에 어디에서 들어오는지 살펴보는 것이 실질적인 대응이다. 모델 준비 상태를 요청 처리와 분리하고, 동일하게 유용한 작업을 사용해 전송 전략을 비교하라. 애플리케이션이 이러한 비용을 부담한다면 준비와 대기도 포함하라. NVIDIA cudaMemcpy 최적화는 낭비되는 시간을 회수할 수 있는, 보고된 기회로 다뤄야 하며 그 기회의 규모는 여전히 워크로드에 달려 있다. 인프라 계획을 바꾸기 전에 그 변화를 정당화할 측정을 파악하라. 애플리케이션은 pageable 전송을 기다리고 있는가? 그리고 그 대기 시간을 줄이면 사용자가 실제로 필요로 하는 결과가 개선되는가?

 
 

무료로 시작하세요

개인 지식 관리 기능을 갖춘 로컬 우선 AI 어시스턴트

더 나은 AI 경험을 위해

현재 remio는 Windows 10+ (x64) 및 M-Chip Macs만 지원합니다.

업무를 위한 AI 파트너
remio와 더 많은 일을 해내세요

계획하고, 만들고, 완성하세요
모든 일을 한곳에서

bottom of page