@Eki.KK さん
Azure OpenAI Service (AOAI) のAPIキーは2個までしか作成できません。どうしてもキーが必要な場合は、Azure API Management (APIM) をAOAIの前段に配置して、APIMで個々人向けにキー(APIMではAPIキーと呼ばず、サブスクリプションキーと表現していますが、同じ意味合いです)を発行し、利用してもらうのがよろしいかと考えます。
もちろん、利用者のアカウントがEntra IDにあるならば、そのアカウントに対してRBAC構成するのがいちばん安全ではありますが、キーをご所望だとすると、先ほどのコメントの通りです。