GPU (TensorRT) を使用する

サーバに NVIDIA 製 GPU が搭載されている場合、GPU を用いてより高速な推論を行えます。

利用要件は以下の通りです。お使いの GPU がこれらに対応しているかどうかは GPU Compute Capability の一覧表と TensorRT のサポートページを参照してください。

項目	バージョン
CUDA	11.8
cuDNN	8.5.0
TensorRT	8.6

CUDA 11.8 のインストール

公式ページからインストーラを入手し、実行します。

実行後、システム環境変数に CUDA_PATH が追加され、値がインストールされた CUDA のディレクトリを指していることをご確認ください。

cuDNN 8.5.0 のインストール

公式のアーカイブから該当する圧縮済み書庫を入手し、C:\Program Files\NVIDIA GPU ToolKit\cuDNN\v8.5.0 に解凍します(ディレクトリは一例です)。

解凍後のディレクトリ構造が以下のようになっていれば問題ありません(一部省略)。

C:
`-- Program Files
    `-- NVIDIA GPU ToolKit
        `-- cuDNN
            `-- v8.5.0
                |-- bin
                |-- include
                |-- lib
                `-- LICENSE

システム環境変数に CUDNN_PATH を、値 C:\Program Files\NVIDIA GPU ToolKit\cuDNN\v8.5.0 として追加します。

その後、システム環境変数の Path に %CUDNN_PATH%\bin を追加します。

TensorRT 8.6 のインストール

公式ページから該当するバージョン(安定版である GE を選択してください)の圧縮済み書庫を入手し、C:\TensorRT-8.6.1.6 に解凍します(ディレクトリは一例です)。

解凍後のディレクトリ構造が以下のようになっていれば問題ありません(一部省略)。

C:
`-- TensorRT-8.6.1.6
    |-- bin
    |-- data
    |-- doc
    |-- graphsurgeon
    |-- include
    |-- lib
    |-- onnx_graphsurgeon
    |-- python
    |-- samples
    `-- uff

システム環境変数の Path に C:\TensorRT-8.6.1.6\lib を追加します。

インストール完了後、サーバマシンを再起動してください。設定から Use GPU (TensorRT) にチェックを入れることで GPU での推論が可能になります。

初回実行時の警告について

TensorRT を使用した推論では、AI モデルをお使いの環境に最適化する作業が必要になります。そのため、特に初回起動時はモデルが有効になるまでに時間がかかり、「Method execution took too long」という警告が発生することがありますが、動作に問題はございません。