Hola, la latencia que estas presentando puede ser por como tienes configurada tu infraestructura.
Problemas comunes:
- La VM y el SQL están en regiones distintas.
- La VM y el SQL se comunican a través de sus IPs publicas.
En el caso de #1 lo que debes hacer es asegurarte de que los dos servicios estén en la misma región de azure, de esta manera la latencia debe quedar al mínimo.
En el caso de #2 debes eliminar eso por temas de seguridad y latencia, lo mejor que puedes hacer es crear un Private Endpoint para el SQL, y atachas la IP privada del SQL a una VNET y que la VM Ubuntu se conecte a tu servidor usando la IP Privada del SQL.