VS2017のパッケージ作成のUIだとタイムスタンプサーバーの設定が無いので、ビルド後にコマンドラインで署名します。
コマンドラインの説明はダイアログの署名方法の選択のページにあるリンクから表示されるSignTool を使用してアプリ パッケージに署名に説明があります。
コマンドは以下のような感じになります。
signtool sign /f "(証明書pfxファイルへのパス) /fd "sha256" /tr "http://timestamp.digicert.com" /td "SHA256" "(出力されているmsixファイルへのパス)"
証明書が証明書ストアにある場合などは/fではなく/sオプションを使うなど、適宜変更する必要があります。あとは、このコマンドがビルド後に実行されるように、プロジェクトのビルドイベントに登録してやればいいです。