GPU (TensorRT) を使用する
サーバに NVIDIA 製 GPU が搭載されている場合、GPU を用いてより高速な推論を行えます。
利用要件は以下の通りです。お使いの GPU がこれらに対応しているかどうかは GPU Compute Capability の一覧表と TensorRT のサポートページを参照してください。
| 項目 | バージョン |
|---|---|
| CUDA | 11.8 |
| cuDNN | 8.5.0 |
| TensorRT | 8.6 |
CUDA 11.8 のインストール
公式ページからインストーラを入手し、実行します。
実行後、システム環境変数に CUDA_PATH が追加され、値がインストールされた CUDA のディレクトリを指していることをご確認ください。
cuDNN 8.5.0 のインストール
公式のアーカイブから該当する圧縮済み書庫を入手し、C:\Program Files\NVIDIA GPU ToolKit\cuDNN\v8.5.0 に解凍します(ディレクトリは一例です)。
システム環境変数に CUDNN_PATH を、値を解凍したディレクトリとして追加します。
TensorRT 8.6 のインストール
公式ページから該当するバージョン(安定版である GE を選択してください)の圧縮済み書庫を入手し、C:\TensorRT-8.6.1.6 に解凍します(ディレクトリは一例です)。
システム環境変数の PATH に C:\TensorRT-8.6.1.6\lib を追加します。
インストール完了後、サーバマシンを再起動してください。設定から Use GPU (TensorRT) にチェックを入れることで GPU での推論が可能になります。
初回実行時の警告について
TensorRT を使用した推論では、AI モデルをお使いの環境に最適化する作業が必要になります。そのため、特に初回起動時はモデルが有効になるまでに時間がかかり、「Method execution took too long」という警告が発生することがありますが、動作に問題はございません。