Azure Synapse Analytics 中的 Apache Spark 诊断日志

若要在 Azure Synapse Analytics 工作区中排查与 Apache Spark 池相关的问题,Microsoft 支持部门和 Azure Synapse Analytics 工程团队可以查看和下载与 Apache Spark 池关联的诊断日志。 Microsoft 可能会访问日志数据或创建日志数据的临时副本,以帮助解决支持事件。

收集用于故障排除的日志

下表列出了将为排查支持事件而收集的日志数据。 此外,系统可能会要求你使用 Synapse Studio 提供 Apache Spark 池中相同类型的数据。

类型 说明
Apache Spark 驱动程序日志 Spark 驱动程序程序是一个关键过程,用于与群集管理器协商资源并计划作业执行。 驱动程序日志包含有关作业运行方式和所用资源的详细信息。 此信息对于对 Spark 应用程序进行故障排除至关重要。
Apache Spark 执行程序日志 Spark 执行器是与工作器节点相关的进程,负责在给定 Spark 作业中运行单个任务。 它们从 Spark 应用程序的开头启动,通常在应用程序的整个生命周期内运行。 Spark 执行程序运行任务后,会将结果发送到驱动程序应用程序。 执行程序日志包含有关应用程序的单个任务执行方式以及其中任何任务是否失败的详细信息。
Apache Spark 事件日志 Spark 事件日志包含所有执行程序的执行相关指标和性能指标。 它们还包含计划程序阶段和任务的列表,以及执行环境信息。

联系我们寻求帮助

如果你有任何疑问或需要帮助,请创建支持请求联系 Azure 社区支持。 还可以向 Azure 反馈社区提交产品反馈。