分配共享GPU内存大小

Question

我正在尝试本地部署大模型，由于核显显存只有8GB，想利用共享GPU内存。

目前系统自动分配的共享GPU内存为集显核显各32GB，我想手动调整这一设置，使得核显的可用共享GPU内存变为64GB。

物理内存为2条三星的32G DDR5 5600MHz。

显卡信息：

系统信息：

Answer 1

此响应已自动翻译。 因此，可能存在语法错误或奇异的措辞。

你好

感谢您在 Microsoft 社区论坛中发帖。

根据描述，我知道您的问题与 GPU 有关。

共享 GPU 内存的分配通常由系统和显卡驱动程序管理。共享 GPU 内存分配通常由系统根据硬件配置和系统要求确定。不建议手动调整共享 GPU 内存分配，因为这可能会导致系统不稳定和性能问题。

如果您在大型模型部署中遇到性能问题，我建议您优化模型或考虑升级到具有更高专用 GPU 内存的显卡，以更好地处理工作负载。

有好的一天。 

此致敬意

莫莉