Share via

チュートリアル: Apache Kafka サービスを作成して開発に使用する

  • [アーティクル]

Azure Container Apps を使用すると、開発および運用グレードのサービスに接続して、さまざまな機能をアプリケーションに提供できます。

このチュートリアルでは、開発用 Apache Kafka サービスを作成して使用する方法について説明します。

このチュートリアルでは、Azure CLI コマンドと Bicep テンプレート フラグメントを紹介します。 Bicep を使用する場合は、すべてのフラグメントを 1 つの Bicep ファイルに追加し、テンプレートをすべて一度にデプロイできます。

  • サービスとコンテナー アプリをデプロイするための Container Apps 環境を作成する
  • Apache Kafka サービスを作成する
  • コマンド ライン アプリを設定して開発用 Apache Kafka サービスを使用する
  • アプリケーション データを表示する kafka-ui アプリをデプロイする
  • 最終的な bicep テンプレートをコンパイルし、一貫性のある予測可能なテンプレートデプロイを使用してすべてのリソースをデプロイする
  • すべてのリソースの 1 つのコマンド デプロイに azd テンプレートを使用する

前提条件

注意

1 つのコマンド デプロイの場合は、最後のazdテンプレート ステップに進みます。

セットアップ

  1. 共通の値のための変数を定義します。

    RESOURCE_GROUP="kafka-dev"
LOCATION="northcentralus"
ENVIRONMENT="aca-env"
KAFKA_SVC="kafka01"
KAFKA_CLI_APP="kafka-cli-app"
KAFKA_UI_APP="kafka-ui-app"

  2. Azure にログインします。

    az login

  3. CLI を最新バージョンにアップグレードします。

    az upgrade

  4. Bicep を最新バージョンにアップグレードします。

    az bicep upgrade

  5. containerapp 拡張機能を追加します。

    az extension add --name containerapp --upgrade

  6. 必要な名前空間を登録します。

    az provider register --namespace Microsoft.App

    az provider register --namespace Microsoft.OperationalInsights

Container Apps 環境を作成する

  1. リソース グループを作成する。

    az group create \
    --name "$RESOURCE_GROUP" \
    --location "$LOCATION"

  2. Container Apps 環境を作成します。

    az containerapp env create \
  --name "$ENVIRONMENT" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION"

Apache Kafka サービスを作成する

  1. Apache Kafka サービスを作成します。

    ENVIRONMENT_ID=$(az containerapp env show \
  --name "$ENVIRONMENT" \
  --resource-group "$RESOURCE_GROUP" \
  --output tsv \
  --query id)

  2. テンプレートをデプロイします。

        az containerapp add-on kafka create \
    --name "$KAFKA_SVC" \
    --resource-group "$RESOURCE_GROUP" \
    --environment "$ENVIRONMENT"

  3. Kafka インスタンスからのログ出力を表示する

    logs コマンドを使用してログ メッセージを表示します。

    az containerapp logs show \
    --name $KAFKA_SVC \
    --resource-group $RESOURCE_GROUP \
    --follow --tail 30

    コンテナー アプリの Kafka サービス ログのスクリーンショット。

サービスをテストするためのアプリを作成する

アプリを作成するときには、Kafka インスタンスに接続するために ./kafka-topics.sh、./kafka-console-producer.sh、kafka-console-consumer.sh を使用するように設定します。

  1. Kafka サービスにバインドする kafka-cli-app アプリを作成します。

    az containerapp create \
    --name "$KAFKA_CLI_APP" \
    --image mcr.microsoft.com/k8se/services/kafka:3.4 \
    --bind "$KAFKA_SVC" \
    --environment "$ENVIRONMENT" \
    --resource-group "$RESOURCE_GROUP" \
    --min-replicas 1 \
    --max-replicas 1 \
    --command "/bin/sleep" "infinity"

  2. CLI の exec コマンドを実行してテスト アプリに接続します。

    az containerapp exec \
    --name $KAFKA_CLI_APP \
    --resource-group $RESOURCE_GROUP \
    --command /bin/bash

    テスト アプリで --bind または serviceBinds を使用すると、接続情報がアプリケーション環境に取り込まれます。 テスト コンテナーに接続したら、env コマンドを使用して値を検査できます。

    env | grep "^KAFKA_"

KAFKA_SECURITYPROTOCOL=SASL_PLAINTEXT
KAFKA_BOOTSTRAPSERVER=kafka01:9092
KAFKA_HOME=/opt/kafka
KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
KAFKA_SASLUSERNAME=kafka-user
KAFKA_SASL_USER=kafka-user
KAFKA_VERSION=3.4.0
KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
KAFKA_SASL_PASSWORD=7dw...
KAFKA_SASLPASSWORD=7dw...
KAFKA_SASL_MECHANISM=PLAIN
KAFKA_SASLMECHANISM=PLAIN

  3. kafka-topics.sh を使用してイベント トピックを作成します。

    kafka.props ファイルを作成します。

    echo "security.protocol=$KAFKA_SECURITY_PROTOCOL" >> kafka.props && \
echo "sasl.mechanism=$KAFKA_SASL_MECHANISM" >> kafka.props && \
echo "sasl.jaas.config=$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" >> kafka.props

    quickstart-events イベント トピックを作成します。

    /opt/kafka/bin/kafka-topics.sh \
    --create --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --command-config kafka.props
# Created topic quickstart-events.

/opt/kafka/bin/kafka-topics.sh \
    --describe --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --command-config kafka.props
# Topic: quickstart-events	TopicId: lCkTKmvZSgSUCHozhhvz1Q	PartitionCount: 1	ReplicationFactor: 1	Configs: segment.bytes=1073741824
# Topic: quickstart-events	Partition: 0	Leader: 1	Replicas: 1	Isr: 1

  4. kafka-console-producer.sh を使用して、イベントをトピックに書き込みます。

    /opt/kafka/bin/kafka-console-producer.sh \
    --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --producer.config kafka.props

> this is my first event
> this is my second event
> this is my third event
> CTRL-C

    注意

    ./kafka-console-producer.sh コマンドでは、> を使用してイベントを記述するように求められます。 次に示すようにいくつかのイベントを書き込んだ後に、CTRL-C を押して終了します。

  5. kafka-console-consumer.sh を使用してトピックからイベントを読み取ります。

    /opt/kafka/bin/kafka-console-consumer.sh \
     --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --from-beginning \
    --consumer.config kafka.props

# this is my first event
# this is my second event
# this is my third event

コンテナー アプリの Kafka CLI 出力ログのスクリーンショット。

既存のアプリでの開発サービスの使用

Apache Kafka を使用するアプリが既にある場合は、接続情報の読み込み方法を変更できます。

まず、次の環境変数を作成します。

KAFKA_HOME=/opt/kafka
KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
KAFKA_SASL_USER=kafka-user
KAFKA_VERSION=3.4.0
KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
KAFKA_SASL_PASSWORD=7dw...
KAFKA_SASL_MECHANISM=PLAIN

CLI (または Bicep) を使用することで、アプリを更新して、開発サービスを使用するための --bind $KAFKA_SVC を追加できます。

開発サービスへのバインド

kafka-ui をデプロイして、Kafka インスタンスを表示および管理します。

Bicep または azd の例を確認してください。

Kafka サービスに接続している pgweb コンテナー アプリのスクリーンショット。

すべてのリソースをデプロイする

すべてのリソースを一度にデプロイする場合は、次の例を使用します。

Bicep

次の Bicep テンプレートには、このチュートリアルのすべてのリソースが含まれています。

次の内容を含む kafka-dev.bicep ファイルを作成できます。

targetScope = 'resourceGroup'
param location string = resourceGroup().location
param appEnvironmentName string = 'aca-env'
param kafkaSvcName string = 'kafka01'
param kafkaCliAppName string = 'kafka-cli-app'
param kafkaUiAppName string = 'kafka-ui'

resource logAnalytics 'Microsoft.OperationalInsights/workspaces@2022-10-01' = {
  name: '${appEnvironmentName}-log-analytics'
  location: location
  properties: {
    sku: {
      name: 'PerGB2018'
    }
  }
}

resource appEnvironment 'Microsoft.App/managedEnvironments@2023-04-01-preview' = {
  name: appEnvironmentName
  location: location
  properties: {
    appLogsConfiguration: {
      destination: 'log-analytics'
      logAnalyticsConfiguration: {
        customerId: logAnalytics.properties.customerId
        sharedKey: logAnalytics.listKeys().primarySharedKey
      }
    }
  }
}

resource kafka 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaSvcName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      service: {
          type: 'kafka'
      }
    }
  }
}

resource kafkaCli 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaCliAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
        }
      ]
      containers: [
        {
          name: 'kafka-cli'
          image: 'mcr.microsoft.com/k8se/services/kafka:3.4'
          command: [ '/bin/sleep', 'infinity' ]
        }
      ]
      scale: {
        minReplicas: 1
        maxReplicas: 1
      }
    }
  }
}

resource kafkaUi 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaUiAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      ingress: {
        external: true
        targetPort: 8080
      }
    }
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
          name: 'kafka'
        }
      ]
      containers: [
        {
          name: 'kafka-ui'
          image: 'docker.io/provectuslabs/kafka-ui:latest'
          command: [
            '/bin/sh'
          ]
          args: [
            '-c'
            '''export KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS="$KAFKA_BOOTSTRAP_SERVERS" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG="$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM="$KAFKA_SASL_MECHANISM" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL="$KAFKA_SECURITY_PROTOCOL" && \
            java $JAVA_OPTS -jar kafka-ui-api.jar'''
          ]
          resources: {
            cpu: json('1.0')
            memory: '2.0Gi'
          }
        }
      ]
    }
  }
}

output kafkaUiUrl string = 'https://${kafkaUi.properties.configuration.ingress.fqdn}'

output kafkaCliExec string = 'az containerapp exec -n ${kafkaCli.name} -g ${resourceGroup().name} --command /bin/bash'

output kafkaLogs string = 'az containerapp logs show -n ${kafka.name} -g ${resourceGroup().name} --follow --tail 30'

Azure CLI を使用してこれをテンプレートにデプロイします。

RESOURCE_GROUP="kafka-dev"
LOCATION="northcentralus"

az group create \
    --name "$RESOURCE_GROUP" \
    --location "$LOCATION"

az deployment group create -g $RESOURCE_GROUP \
    --query 'properties.outputs.*.value' \
    --template-file kafka-dev.bicep

Azure Developer CLI

最終的なテンプレートは GitHub で入手できます。

azd up を使用してテンプレートをデプロイします。

git clone https://github.com/Azure-Samples/aca-dev-service-kafka-azd
cd aca-dev-service-kafka-azd
azd up

リソースをクリーンアップする

完了したら、次のコマンドを実行して、Container Apps のリソースを含むリソース グループを削除します。

注意事項

次のコマンドを実行すると、指定されたリソース グループとそれに含まれるすべてのリソースが削除されます。 指定したリソース グループにこのチュートリアルの範囲外のリソースが含まれている場合、それらも削除されます。

az group delete \
    --resource-group $RESOURCE_GROUP