Azure İzleyici uç işlem hattının yapılandırması

Makale
04/30/2024

Azure İzleyici işlem hattı , Azure İzleyici için tutarlı ve merkezi veri toplama sağlayan bir veri alımı işlem hattıdır. Uç işlem hattı , telemetri verilerinin buluta gönderilmeden önce ölçek düzeyinde toplanmasına ve yönlendirilmesine olanak tanır. Bağlantı geri yüklendiğinde verileri yerel olarak önbelleğe alabilir ve bulutla eşitleyebilir ve ağın segmentlere ayrıldığı ve verilerin doğrudan buluta gönderilemediği durumlarda telemetriyi Azure İzleyici'ye yönlendirebilir. Bu makalede, ortamınızda uç işlem hattının nasıl etkinleştirileceği ve yapılandırıldığı açıklanır.

Genel bakış

Azure İzleyici uç işlem hattı, Arc özellikli bir Kubernetes kümesine dağıtılan ve temel olarak OpenTelemetry Collector'ı kullanan kapsayıcılı bir çözümdür. Aşağıdaki diyagramda kenar işlem hattının bileşenleri gösterilmektedir. Bir veya daha fazla veri akışı istemcilerden gelen verileri dinler ve işlem hattı uzantısı gerekirse yerel önbelleği kullanarak verileri buluta iletir.

İşlem hattı yapılandırma dosyası, uç işlem hattı için veri akışlarını ve önbellek özelliklerini tanımlar. DCR, bulut işlem hattına gönderilen verilerin şemasını, verileri filtrelemeye veya değiştirmeye ilişkin bir dönüşümü ve verilerin gönderilmesi gereken hedefi tanımlar. İşlem hattı yapılandırmasına yönelik her veri akışı tanımı, bu DCR'nin içindeki DCR'yi ve bu verileri bulut işlem hattında işleyecek akışı belirtir.

Not

Özel bağlantı, bulut işlem hattına bağlantı için uç işlem hattı tarafından desteklenir.

Azure İzleyici uç işlem hattını etkinleştirmek için aşağıdaki bileşenler ve yapılandırmalar gereklidir. Uç işlem hattını yapılandırmak için Azure portalını kullanırsanız, bu bileşenlerin her biri sizin için oluşturulur. Diğer yöntemlerle her birini yapılandırmanız gerekir.

Bileşen	Veri Akışı Açıklaması
Edge işlem hattı denetleyicisi uzantısı	İşlem hattı işlevselliğini desteklemek için Arc özellikli Kubernetes kümenize eklenen uzantı - `microsoft.monitor.pipelinecontroller`.
Edge işlem hattı denetleyicisi örneği	Arc özellikli Kubernetes kümenizde çalışan uç işlem hattının örneği.
Veri akışı	İşlem hattı denetleyicisi örneğinde çalışan alıcıların ve dışarı aktarıcıların birleşimi. Alıcılar, istemcilerin verilerini kabul eder ve bu verileri Azure İzleyici'ye teslim etmek için dışarı aktarıcıları kabul eder.
İşlem hattı yapılandırması	İşlem hattı örneği için veri akışlarını tanımlayan yapılandırma dosyası. Her veri akışı bir alıcı ve bir dışarı aktarma içerir. Alıcı gelen verileri dinler ve dışarı aktarma, verileri hedefe gönderir.
Veri toplama uç noktası (DCE)	Verilerin Azure İzleyici işlem hattına gönderildiği uç nokta. İşlem hattı yapılandırması DCE'nin URL'si için bir özellik içerir, böylece işlem hattı örneği verilerin nereye göndereceğini bilir.

Yapılandırma	Açıklama
Veri toplama kuralı (DCR)	Verilerin bulut işlem hattında nasıl alındığını ve nereye gönderildiğini tanımlayan yapılandırma dosyası. DCR, hedefe gönderilmeden önce verileri filtrelemek veya değiştirmek için bir dönüştürme de içerebilir.
İşlem hattı yapılandırması	Veri akışları ve önbellek dahil olmak üzere işlem hattı örneği için veri akışlarını tanımlayan yapılandırma.

Desteklenen yapılandırmalar

Desteklenen dağıtımlar
Edge işlem hattı aşağıdaki Kubernetes dağıtımlarında desteklenir:

Canonical
Azure için Küme API Sağlayıcısı
K3
Rancher Kubernetes Engine
VMware Tanzu Kubernetes Grid

Desteklenen konumlar
Edge işlem hattı aşağıdaki Azure bölgelerinde desteklenir:

Doğu ABD 2
Batı ABD 2
West Europe

Önkoşullar

Dış IP adresiyle kendi ortamınızda arc özellikli Kubernetes kümesi . Bir küme için Arc'ı etkinleştirme hakkında ayrıntılı bilgi için bkz. Mevcut kubernetes kümesini Azure Arc'a Bağlan.
Arc özellikli Kubernetes kümesinde özel konum özellikleri etkinleştirilmelidir. Bkz. Azure Arc özellikli Kubernetes'te özel konumlar oluşturma ve yönetme.
Uç işlem hattından verileri almak için Azure İzleyici'deki Log Analytics çalışma alanı. Çalışma alanı oluşturma hakkında ayrıntılı bilgi için bkz . Azure portalında Log Analytics çalışma alanı oluşturma.
Aşağıdaki kaynak sağlayıcılarının Azure aboneliğinize kaydedilmesi gerekir. Bkz. Azure kaynak sağlayıcıları ve türleri.
- Microsoft.Insights
- Microsoft.Monitor

İş Akışı

Azure portalını kullanarak yapılandırmak için Azure İzleyici işlem hattı tarafından gerçekleştirilen farklı adımları ayrıntılı olarak anlamanız gerekmez. Başka bir yükleme yöntemi kullanıyorsanız veya verileri hedefinde depolanmadan önce dönüştürme gibi daha gelişmiş bir yapılandırma gerçekleştirmeniz gerekiyorsa, bunu daha ayrıntılı anlamanız gerekebilir.

Aşağıdaki tablo ve diyagramlar, uç işlem hattını kullanarak veri toplama ve Azure İzleyici'de depolama için bulut işlem hattına geçirme sürecindeki ayrıntılı adımları ve bileşenleri açıklar. Tablolarda bu bileşenlerin her biri için gereken yapılandırma da yer alır.

Adım	Eylem	Yapılandırmayı destekleme
1.	İstemci, uç işlem hattı alıcısına veri gönderir.	İstemci, uç işlem hattı alıcısının IP ve bağlantı noktası ile yapılandırılır ve alıcı türü için beklenen biçimde veri gönderir.
2.	Alıcı verileri verene iletir.	Alıcı ve verme aynı işlem hattında yapılandırılır.
3.	Dışarı aktarma, verileri bulut işlem hattına göndermeye çalışır.	İşlem hattı yapılandırmasındaki dışarı aktarma, DCE'nin URL'sini, DCR için benzersiz bir tanımlayıcıyı ve DCR'deki verilerin nasıl işlendiğini tanımlayan akışı içerir.
3a.	Dışarı aktarma, DCE'ye bağlanamıyorsa verileri yerel önbellekte depolar.	Yerel önbelleğin önbelleği ve yapılandırması için kalıcı birim işlem hattı yapılandırmasında etkinleştirilir.

Adım	Eylem	Yapılandırmayı destekleme
4.	Bulut işlem hattı gelen verileri kabul eder.	DCR, gelen akış için uç işlem hattından gelen verilerin şemasıyla eşleşmesi gereken bir şema tanımı içerir.
5.	Bulut işlem hattı, verilere bir dönüşüm uygular.	DCR, hedefe gönderilmeden önce verileri filtreleyen veya değiştiren bir dönüştürme içerir. Dönüştürme verileri filtreleyebilir, sütunları kaldırabilir veya ekleyebilir ya da şemasını tamamen değiştirebilir. Dönüşümün çıkışı hedef tablonun şemasıyla eşleşmelidir.
6.	Bulut işlem hattı verileri hedefe gönderir.	DCR, Verilerin depolanacağı Log Analytics çalışma alanını ve tablosunu belirten bir hedef içerir.

Kesimli ağ

Ağ segmentasyonu , ağınızın farklı bölümleri için farklı bir güvenlik duruşu oluşturmak üzere yazılım tanımlı çevreleri kullandığınız bir modeldir. Bu modelde İnternet'e veya diğer ağ kesimlerine bağlanabilen bir ağ kesiminiz olabilir. Uç işlem hattı, bu ağ kesimlerinden veri toplamak ve bulut işlem hattına göndermek için kullanılabilir.

Azure İzleyici işlem hattını katmanlı bir ağ yapılandırmasında kullanmak için Arc özellikli Kubernetes kümesinin izin verilenler listesine aşağıdaki girdileri eklemeniz gerekir. Bkz . 4. düzey kümede Azure IoT Katmanlı Ağ Yönetimi Önizlemesini yapılandırma.

- destinationUrl: "*.ingest.monitor.azure.com"
  destinationType: external
- destinationUrl: "login.windows.net"
  destinationType: external

Log Analytics çalışma alanında tablo oluşturma

Uç işlem hattı için veri toplama işlemini yapılandırmadan önce, verileri almak için Log Analytics çalışma alanında bir tablo oluşturmanız gerekir. Yerleşik tablolar şu anda desteklenmediğinden bu özel bir tablo olmalıdır. Tablonun şemasının aldığı verilerle eşleşmesi gerekir, ancak toplama işleminde gelen verileri değiştirebileceğiniz birden çok adım vardır; bu nedenle tablo şemasının topladığınız kaynak verilerle eşleşmesi gerekmez. Log Analytics çalışma alanında tablonun tek gereksinimi bir TimeGenerated sütuna sahip olmasıdır.

Tablo oluşturmaya yönelik farklı yöntemlerle ilgili ayrıntılar için bkz . Azure İzleyici Günlüklerinde tablo ve sütun ekleme veya silme. Örneğin, aşağıdaki CLI komutunu kullanarak , TimeGeneratedve SeverityTextadlı Bodyüç sütuna sahip bir tablo oluşturun.

az monitor log-analytics workspace table create --workspace-name my-workspace --resource-group my-resource-group  --name my-table_CL --columns TimeGenerated=datetime Body=string SeverityText=string

Önbelleği etkinleştir

Bazı ortamlardaki uç cihazlar ağ tıkanıklığı, sinyal girişimi, güç kesintisi veya hareketlilik gibi çeşitli faktörlerden dolayı aralıklı bağlantıyla karşılaşabilir. Bu ortamlarda, kümenizde kalıcı bir birim oluşturarak uç işlem hattını verileri önbelleğe almak üzere yapılandırabilirsiniz. Bu işlem, belirli ortamınıza göre değişir, ancak yapılandırmanın aşağıdaki gereksinimleri karşılaması gerekir:

Meta veri ad alanı, belirtilen Azure İzleyici işlem hattı örneğiyle aynı olmalıdır.
Erişim modu'nu desteklemelidir ReadWriteMany.

Birim uygun ad alanında oluşturulduktan sonra aşağıdaki işlem hattı yapılandırma dosyasındaki parametreleri kullanarak yapılandırın.

Dikkat

Uç işlem hattının her çoğaltması, verileri bu çoğaltmaya özgü kalıcı birimdeki bir konumda depolar. Kümenin bulutla bağlantısı kesilirken çoğaltma sayısını azaltmak, bağlantı geri yüklendiğinde bu verilerin yedeklenmesini engeller.

İşlem hattını etkinleştirme ve yapılandırma

Etkinleştirme ve yapılandırma için geçerli seçenekler aşağıdaki sekmelerde ayrıntılı olarak yer almaktadır.

Azure portalını kullanarak işlem hattını yapılandırma

İşlem hattını etkinleştirmek ve yapılandırmak için Azure portalını kullandığınızda, tüm gerekli bileşenler seçimlerinize göre oluşturulur. Bu sizi her bileşeni ayrı ayrı oluşturma karmaşıklığından kurtarır, ancak

Azure İzleyici işlem hattı yükleme işlemini başlatmak için Azure portalında aşağıdakilerden birini gerçekleştirin:

Azure İzleyici işlem hatları (önizleme) menüsünde Oluştur'a tıklayın.
Arc özellikli Kubernetes kümenizin menüsünden Uzantılar'ı seçin ve ardından Azure İzleyici işlem hattı uzantısı (önizleme) uzantısını ekleyin.

Temel sekmesi, uzantıyı ve işlem hattı örneğini kümenize dağıtmak için sizden aşağıdaki bilgileri ister.

Bu sekmedeki ayarlar aşağıdaki tabloda açıklanmıştır.

Özellik	Açıklama
Örnek adı	Azure İzleyici işlem hattı örneğinin adı. Abonelik için benzersiz olmalıdır.
Abonelik	İşlem hattı örneğini oluşturmak için Azure aboneliği.
Kaynak grubu	İşlem hattı örneğini oluşturmak için kaynak grubu.
Küme adı	İşlem hattının yükleneceği Arc özellikli Kubernetes kümenizi seçin.
Özel Konum	Arc özellikli Kubernetes kümeniz için özel konum. Bu, kümeniz için oluşturulacak özel konumun adıyla otomatik olarak doldurulur veya kümede başka bir özel konum seçebilirsiniz.

Veri Akışı sekmesi, işlem hattı örneği için veri akışları oluşturmanıza ve düzenlemenize olanak tanır. Her veri akışı aşağıdaki ayrıntıları içerir:

Bu sekmedeki ayarlar aşağıdaki tabloda açıklanmıştır.

Özellik	Açıklama
Ad	Veri akışının adı. Bu işlem hattı için benzersiz olmalıdır.
Source type	Toplanan verilerin türü. Şu anda aşağıdaki kaynak türleri desteklenmektedir: -Syslog - OTLP
Bağlantı noktası	İşlem hattının gelen veriler için dinlediğini bağlantı noktası. İki veri akışı aynı bağlantı noktasını kullanırsa, verileri hem alır hem de işler.
Log Analytics Çalışma Alanı	Verileri göndermek için Log Analytics çalışma alanı.
Tablo Adı	Verileri göndermek için Log Analytics çalışma alanında tablonun adı.

Azure CLI kullanarak işlem hattını yapılandırma

Azure CLI kullanarak Azure İzleyici uç işlem hattı için gereken bileşenleri oluşturmak ve yapılandırmak için gereken adımlar aşağıdadır.

Edge işlem hattı uzantısı

Aşağıdaki komut, Arc özellikli Kubernetes kümenize uç işlem hattı uzantısını ekler.

az k8s-extension create --name <pipeline-extension-name> --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --release-train Preview

## Example
az k8s-extension create --name my-pipe --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --release-train Preview

Özel konum

Aşağıdaki ARM şablonu, Arc özellikli Kubernetes kümeniz için özel konumu oluşturur.

az customlocation create --name <custom-location-name>  --resource-group <resource-group-name> --namespace <name of namespace> --host-resource-id <connectedClusterId> --cluster-extension-ids <extensionId>

## Example
az customlocation create --name my-cluster-custom-location --resource-group my-resource-group --namespace my-cluster-custom-location --host-resource-id /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster --cluster-extension-ids /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster/providers/Microsoft.KubernetesConfiguration/extensions/my-cluster

DCE

Aşağıdaki ARM şablonu, uç işlem hattının bulut işlem hattına bağlanması için gereken veri toplama uç noktasını (DCE) oluşturur. Aynı bölgede zaten varsa mevcut bir DCE kullanabilirsiniz. Şablonu dağıtmadan önce aşağıdaki tabloda yer alan özellikleri değiştirin.

az monitor data-collection endpoint create -g "myResourceGroup" -l "eastus2euap" --name "myCollectionEndpoint" --public-network-access "Enabled"

## Example
 az monitor data-collection endpoint create --name strato-06-dce --resource-group strato --public-network-access "Enabled"

DCR

DCR, Azure İzleyici'de depolanır ve uç işlem hattından alındığında verilerin nasıl işleneceğini tanımlar. Uç işlem hattı yapılandırması, DCR'nin ve stream verileri işleyecek DCR'de öğesini belirtirimmutable ID. immutable ID, DCR oluşturulduğunda otomatik olarak oluşturulur.

Aşağıdaki şablondaki özellikleri değiştirin ve CLI komutunu çalıştırarak DCR'yi oluşturmadan önce bunları bir json dosyasına kaydedin. DCR'nin yapısı hakkında ayrıntılı bilgi için bkz . Azure İzleyici'de veri toplama kuralının yapısı.

Parametre	Açıklama
`name`	DCR'nin adı. Abonelik için benzersiz olmalıdır.
`location`	DCR'nin konumu. DCE'nin konumuyla eşleşmelidir.
`dataCollectionEndpointId`	DCE'nin Kaynak Kimliği.
`streamDeclarations`	Alınan verilerin şeması. İşlem hattı yapılandırmasındaki her veri akışı için bir akış gereklidir. Ad DCR'de benzersiz olmalı ve Custom- ile başlamalıdır. `column` Aşağıdaki örneklerde yer alan bölümler OLTP ve Syslog veri akışları için kullanılmalıdır. Hedef tablonuzun şeması farklıysa, parametresinde `transformKql` tanımlanan bir dönüştürmeyi kullanarak bunu değiştirebilirsiniz.
`destinations`	Birden çok çalışma alanına veri göndermek için ek bölüm ekleyin.
- `name`	Bölümünde başvurulacak hedefin `dataFlows` adı. DCR için benzersiz olmalıdır.
- `workspaceResourceId`	Log Analytics çalışma alanının kaynak kimliği.
- `workspaceId`	Log Analytics çalışma alanının çalışma alanı kimliği.
`dataFlows`	Akışlarla ve hedeflerle eşleşir. Her akış/hedef bileşimi için bir giriş.
- `streams`	Bir veya daha fazla akış (içinde `streamDeclarations`tanımlanır). Aynı hedefe gönderiliyorsa birden çok akış ekleyebilirsiniz.
- `destinations`	Bir veya daha fazla hedef (içinde `destinations`tanımlanır). Aynı hedefe gönderiliyorsa birden çok hedef ekleyebilirsiniz.
- `transformKql`	Hedefe göndermeden önce verilere uygulanacak dönüştürme. Verileri herhangi bir değişiklik yapmadan göndermek için kullanın `source` . Dönüşümün çıkışı hedef tablonun şemasıyla eşleşmelidir. Dönüştürmelerle ilgili ayrıntılar için bkz . Azure İzleyici'de veri toplama dönüştürmeleri.
- `outputStream`	Log Analytics çalışma alanında hedef tabloyu belirtir. Tablo çalışma alanında zaten mevcut olmalıdır. Özel tablolar için, tablo adını Custom- ile önekleyin. Yerleşik tablolar şu anda uç işlem hattında desteklenmemaktadır.

{
    "properties": {
        "dataCollectionEndpointId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionEndpoints/my-dce",
        "streamDeclarations": {
            "Custom-OTLP": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            },
            "Custom-Syslog": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            }
        },
        "dataSources": {},
        "destinations": {
            "logAnalytics": [
                {
                    "name": "LogAnayticsWorkspace01",
                    "workspaceResourceId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace",
                    "workspaceId": "00000000-0000-0000-0000-000000000000"
                }
            ]
        },
        "dataFlows": [
            {
                "streams": [
                    "Custom-OTLP"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-OTelLogs_CL"
            },
            {
                "streams": [
                    "Custom-Syslog"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-Syslog_CL"
            }
        ]
    }
}

Aşağıdaki komutu kullanarak DCR'yi yükleyin:

az monitor data-collection rule create --name 'myDCRName' --location <location> --resource-group <resource-group>  --rule-file '<dcr-file-path.json>' 

## Example
az monitor data-collection rule create --name my-pipeline-dcr  --location westus2 --resource-group 'my-resource-group' --rule-file 'C:\MyDCR.json'

DCR erişimi

Arc özellikli Kubernetes kümesinin bulut işlem hattına veri göndermek için DCR'ye erişimi olmalıdır. Kümeniz için Sistem Tarafından Atanan Kimliğin nesne kimliğini almak için aşağıdaki komutu kullanın.

az k8s-extension show --name <extension-name> --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --query "identity.principalId" -o tsv 

## Example:
az k8s-extension show --name my-pipeline-extension --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --query "identity.principalId" -o tsv

Azure İzleyici işlem hattına telemetrisini DCR'ye gönderme yetkisi vermek için aşağıdaki komuta giriş olarak bu komutun çıkışını kullanın.

az role assignment create --assignee "<extension principal ID>" --role "Monitoring Metrics Publisher" --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Insights/dataCollectionRules/<dcr-name>" 

## Example:
az role assignment create --assignee "00000000-0000-0000-0000-000000000000" --role "Monitoring Metrics Publisher" --scope "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"

Edge işlem hattı yapılandırması

Uç işlem hattı yapılandırması, uç işlem hattı örneğinin ayrıntılarını tanımlar ve telemetriyi alıp buluta göndermek için gereken veri akışlarını dağıtır.

Şablonu dağıtmadan önce aşağıdaki tabloda yer alan özellikleri değiştirin.

Özellik	Veri Akışı Açıklaması
Genel
`name`	İşlem hattı örneğinin adı. Abonelikte benzersiz olmalıdır.
`location`	İşlem hattı örneğinin konumu.
`extendedLocation`
Alıcı	Her alıcı için bir giriş. Her girdi, alınan veri türünü, dinleyeceği bağlantı noktasını ve yapılandırmanın `pipelines` bölümünde kullanılacak benzersiz bir adı belirtir.
`type`	Alınan veri türü. Geçerli seçenekler ve `Syslog`şeklindedir`OTLP`.
`name`	Bölümünde başvuruda bulunan `service` alıcının adı. İşlem hattı örneği için benzersiz olmalıdır.
`endpoint`	Alıcının dinlediğinden adres ve bağlantı noktası. Al adresleri için kullanın `0.0.0.0` .
Işlemci	Daha sonraki kullanımlar için ayrılmıştır.
Ihracatçı	Her hedef için bir giriş.
`type`	Yalnızca şu anda desteklenen tür şeklindedir `AzureMonitorWorkspaceLogs`.
`name`	İşlem hattı örneği için benzersiz olmalıdır. Ad, yapılandırmanın `pipelines` bölümünde kullanılır.
`dataCollectionEndpointUrl`	Uç işlem hattının verileri göndereceği DCE URL'si. Bunu Azure portalında DCE'ye gidip Günlük Alımı değerini kopyalayarak bulabilirsiniz.
`dataCollectionRule`	Bulut işlem hattındaki veri toplamayı tanımlayan DCR'nin sabit kimliği. Azure portalındaki DCR'nizin JSON görünümünden Genel bölümündeki sabit kimliğin değerini kopyalayın.
- `stream`	DCR'nizde verileri kabul edecek akışın adı.
- `maxStorageUsage`	Önbelleğin kapasitesi. Bu kapasitenin %80'ine ulaşıldığında, daha fazla veriye yer açmak için en eski veriler budanmış olur.
- `retentionPeriod`	Dakika cinsinden saklama süresi. Veriler bu süreden sonra ayıklama yapılır.
- `schema`	Bulut işlem hattına gönderilen verilerin şeması. Bunun DCR'deki akışta tanımlanan şemayla eşleşmesi gerekir. Örnekte kullanılan şema hem Syslog hem de OTLP için geçerlidir.
Hizmet	Her işlem hattı örneği için bir giriş. Her işlem hattı uzantısı için yalnızca bir örnek önerilir.
Pipelines	Her veri akışı için bir giriş. Her girdi ile `receiver` ile `exporter`eşleşir.
`name`	İşlem hattının benzersiz adı.
`receivers`	Alacak verileri dinleyecek bir veya daha fazla alıcı.
`processors`	Daha sonraki kullanımlar için ayrılmıştır.
`exporters`	Verileri bulut işlem hattına göndermek için bir veya daha fazla ihracatçı.
`persistence`	Önbellek için kullanılan kalıcı birimin adı. Önbelleği etkinleştirmek istemiyorsanız bu parametreyi kaldırın.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "metadata": {
        "description": "This template deploys an edge pipeline for azure monitor."
    },
    "resources": [
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "eastus",
            "apiVersion": "2023-10-01-preview",
            "name": "my-pipeline-group-name",
            "extendedLocation": {
                "name": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.ExtendedLocation/customLocations/my-custom-location",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-log-analytics-workspace",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "https://my-dce-4agr.eastus-1.ingest.monitor.azure.com",
                                "dataCollectionRule": "dcr-00000000000000000000000000000000",
                                "stream": "Custom-OTLP",
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            },
                            "cache": {
                                "maxStorageUsage": 10000,
                                "retentionPeriod": 60
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        },
                        {
                            "name": "DefaultSyslogs",
                            "receivers": [
                                "receiver-Syslog"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        }
                    ],
                    "persistence": {
                        "persistentVolumeName": "my-persistent-volume"
                    }
                },
                "networkingConfigurations": [
                    {
                        "externalNetworkingMode": "LoadBalancerOnly",
                        "routes": [
                            {
                                "receiver": "receiver-OTLP"
                            },
                            {
                                "receiver": "receiver-Syslog"
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

Aşağıdaki komutu kullanarak şablonu yükleyin:

az deployment group create --resource-group <resource-group-name> --template-file <path-to-template>

## Example
az deployment group create --resource-group my-resource-group --template-file C:\MyPipelineConfig.json

Tüm bileşenleri yapılandırmak için ARM şablonu örneği

Aşağıda gösterilen tek ARM şablonunu kullanarak Azure İzleyici uç işlem hattı için gerekli tüm bileşenleri dağıtabilirsiniz. Parametre dosyasını ortamınız için belirli değerlerle düzenleyin. Şablonun her bölümü, kullanmadan önce değiştirmeniz gereken bölümler de dahil olmak üzere aşağıda açıklanmıştır.

Bileşen	Type	Açıklama
Log Analytics çalışma alanı	`Microsoft.OperationalInsights/workspaces`	Mevcut bir Log Analytics çalışma alanını kullanıyorsanız bu bölümü kaldırın. Gereken tek parametre çalışma alanı adıdır. Çalışma alanının diğer bileşenler için gerekli olan sabit kimliği otomatik olarak oluşturulur.
Veri toplama uç noktası (DCE)	`Microsoft.Insights/dataCollectionEndpoints`	Mevcut bir DCE kullanıyorsanız bu bölümü kaldırın. Gereken tek parametre DCE adıdır. Diğer bileşenler için gerekli olan DCE için günlük alma URL'si otomatik olarak oluşturulur.
Edge işlem hattı uzantısı	`Microsoft.KubernetesConfiguration/extensions`	Gereken tek parametre işlem hattı uzantısı adıdır.
Özel konum	`Microsoft.ExtendedLocation/customLocations`	Özel oluşturmak için Arc özellikli Kubernetes kümesinin özel konumu
Edge işlem hattı örneği	`Microsoft.monitor/pipelineGroups`	Dinleyici, dışarı aktarıcılar ve veri akışlarının yapılandırmasını içeren Edge işlem hattı örneği. Şablonu dağıtmadan önce işlem hattı örneğinin özelliklerini değiştirmeniz gerekir.
Veri toplama kuralı (DCR)	`Microsoft.Insights/dataCollectionRules`	Gereken tek parametre DCR adıdır, ancak şablonu dağıtmadan önce DCR'nin özelliklerini değiştirmeniz gerekir.

Şablon dosyası

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "type": "string"
        },
        "clusterId": {
            "type": "string"
        },
        "clusterExtensionIds": {
            "type": "array"
        },
        "customLocationName": {
            "type": "string"
        },
        "cachePersistentVolume": {
            "type": "string"
        },
        "cacheMaxStorageUsage": {
            "type": "int"
        },
        "cacheRetentionPeriod": {
            "type": "int"
        },
        "dceName": {
            "type": "string"
        },
        "dcrName": {
            "type": "string"
        },
        "logAnalyticsWorkspaceName": {
            "type": "string"
        },
        "pipelineExtensionName": {
            "type": "string"
        },
        "pipelineGroupName": {
            "type": "string"
        },
        "tagsByResource": {
            "type": "object",
            "defaultValue": {}
        }
    },
    "resources": [
        {
            "type": "Microsoft.OperationalInsights/workspaces",            
            "name": "[parameters('logAnalyticsWorkspaceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2017-03-15-preview",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.OperationalInsights/workspaces'), parameters('tagsByResource')['Microsoft.OperationalInsights/workspaces'], json('{}')) ]",
            "properties": {
                "sku": {
                    "name": "pergb2018"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionEndpoints",            
            "name": "[parameters('dceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-04-01",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionEndpoints'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionEndpoints'], json('{}')) ]",
            "properties": {
                "configurationAccess": {},
                "logsIngestion": {},
                "networkAcls": {
                    "publicNetworkAccess": "Enabled"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dcrName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "dependsOn": [
                "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionRules'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionRules'], json('{}')) ]",
            "properties": {
                "dataCollectionEndpointId": "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]",
                "streamDeclarations": {
                    "Custom-OTLP": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    },
                    "Custom-Syslog": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {},
                "destinations": {
                    "logAnalytics": [
                        {
                            "name": "DefaultWorkspace-westus2",
                            "workspaceResourceId": "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                            "workspaceId": "[reference(resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2'))].customerId"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-OTLP"
                        ],
                        "destinations": [
                            "localDest-DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-OTelLogs_CL"
                    },
                    {
                        "streams": [
                            "Custom-Syslog"
                        ],
                        "destinations": [
                            "DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-Syslog_CL"
                    }
                ]
            }
        },
        {
            "type": "Microsoft.KubernetesConfiguration/extensions",
            "apiVersion": "2022-11-01",
            "name": "[parameters('pipelineExtensionName')]",
            "scope": "[parameters('clusterId')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.KubernetesConfiguration/extensions'), parameters('tagsByResource')['Microsoft.KubernetesConfiguration/extensions'], json('{}')) ]",
            "identity": {
                "type": "SystemAssigned"
            },
            "properties": {
                "aksAssignedIdentity": {
                    "type": "SystemAssigned"
                },
                "autoUpgradeMinorVersion": false,
                "extensionType": "microsoft.monitor.pipelinecontroller",
                "releaseTrain": "preview",
                "scope": {
                    "cluster": {
                        "releaseNamespace": "my-strato-ns"
                    }
                },
                "version": "0.37.3-privatepreview"
            }
        },
        {
            "type": "Microsoft.ExtendedLocation/customLocations",
            "apiVersion": "2021-08-15",
            "name": "[parameters('customLocationName')]",
            "location": "[parameters('location')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.ExtendedLocation/customLocations'), parameters('tagsByResource')['Microsoft.ExtendedLocation/customLocations'], json('{}')) ]",
            "dependsOn": [
                "[parameters('pipelineExtensionName')]"
            ],
            "properties": {
                "hostResourceId": "[parameters('clusterId')]",
                "namespace": "[toLower(parameters('customLocationName'))]",
                "clusterExtensionIds": "[parameters('clusterExtensionIds')]",
                "hostType": "Kubernetes"
            }
        },
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "[parameters('location')]",
            "apiVersion": "2023-10-01-preview",
            "name": "[parameters('pipelineGroupName')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.monitor/pipelineGroups'), parameters('tagsByResource')['Microsoft.monitor/pipelineGroups'], json('{}')) ]",
            "dependsOn": [
                "[parameters('customLocationName')]",
                "[resourceId('Microsoft.Insights/dataCollectionRules','Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "extendedLocation": {
                "name": "[resourceId('Microsoft.ExtendedLocation/customLocations', parameters('customLocationName'))]",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP-4317",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog-514",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-lu7mbr90",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "[reference(resourceId('Microsoft.Insights/dataCollectionEndpoints','Aep-mytestpl-ZZPXiU05tJ')).logsIngestion.endpoint]",
                                "stream": "Custom-DefaultAEPOTelLogs_CL-FqXSu6GfRF",
                                "dataCollectionRule": "[reference(resourceId('Microsoft.Insights/dataCollectionRules', 'Aep-mytestpl-ZZPXiU05tJ')).immutableId]",
                                "cache": {
                                    "maxStorageUsage": "[parameters('cacheMaxStorageUsage')]",
                                    "retentionPeriod": "[parameters('cacheRetentionPeriod')]"
                                },
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-lu7mbr90"
                            ]
                        }
                    ],
                    "persistence": {
                        "persistentVolume": "[parameters('cachePersistentVolume')]"
                    }
                }
            }
        }
    ],
    "outputs": {}
}

Örnek parametre dosyası

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
        "value": "eastus"
        },
        "clusterId": {
            "value": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-arc-cluster"
        },
        "clusterExtensionIds": {
            "value": ["/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.KubernetesConfiguration/extensions/my-pipeline-extension"]
        },
        "customLocationName": {
            "value": "my-custom-location"
        },
        "dceName": {
            "value": "my-dce"
        },
        "dcrName": {
            "value": "my-dcr"
        },
        "logAnalyticsWorkspaceName": {
            "value": "my-workspace"
        },
        "pipelineExtensionName": {
            "value": "my-pipeline-extension"
        },
        "pipelineGroupName": {
            "value": "my-pipeline-group"
        },
        "tagsByResource": {
            "value": {}
        }   
    }
}

Yapılandırmayı doğrulama

Kümede çalışan işlem hattı bileşenlerini doğrulama

Azure portalında Kubernetes hizmetleri menüsüne gidin ve Arc özellikli Kubernetes kümenizi seçin. Hizmetler ve girişler'i seçin ve aşağıdaki hizmetleri gördüğünüzden emin olun:

<işlem hattı adı-dış-hizmet>
<işlem hattı adı-hizmeti>

İşlem hattı adı-external-service> girdisine <tıklayın ve Uç Noktalar sütunundaki IP adresini ve bağlantı noktasını not edin. Bu, istemcilerinizin veri göndereceği dış IP adresi ve bağlantı noktasıdır.

Sinyali doğrulama

İşlem hattı örneğinizde yapılandırılan her işlem hattı, Log Analytics çalışma alanınızdaki tabloya Heartbeat dakikada bir sinyal kaydı gönderir. Sütunun OSMajorVersion içeriği işlem hattı örneğinizin adıyla eşleşmelidir. İşlem hattı örneğinde birden çok çalışma alanı varsa, yapılandırılan ilk çalışma alanı kullanılır.

Aşağıdaki örnekte olduğu gibi bir günlük sorgusu kullanarak sinyal kayıtlarını alın:

İstemci yapılandırması

Uç işlem hattı uzantınız ve örneğiniz yüklendikten sonra istemcilerinizi işlem hattına veri gönderecek şekilde yapılandırmanız gerekir.

Giriş uç noktasını alma

Her istemci, işlem hattının dış IP adresini gerektirir. Bu adresi almak için aşağıdaki komutu kullanın:

kubectl get services -n <namespace where azure monitor pipeline was installed>

Günlük oluşturan uygulama kümenin dışındaysa, nginx-controller-service hizmetinin dış ip değerini yük dengeleyici türüyle kopyalayın. Uygulama küme içindeki bir poddaysa cluster-ip değerini kopyalayın. Dış ip alanı beklemede olarak ayarlandıysa, küme yapılandırmanıza göre bu giriş için el ile bir dış IP yapılandırmanız gerekir.

İstemci	Açıklama
Syslog	Syslog istemcilerini, işlem hattı uç noktasına ve Syslog veri akışınızın bağlantı noktasına veri gönderecek şekilde güncelleştirin.
OTLP	Azure İzleyici uç işlem hattı, 4317 numaralı bağlantı noktasında gRPC tabanlı bir OTLP uç noktasını kullanıma sunar. İzlemenizi bu OTLP uç noktasına gönderecek şekilde yapılandırmak, izleme kitaplığının kendisine bağlıdır. OpenTelemetry için OTLP uç noktası veya Toplayıcı belgelerine bakın. Ortam değişkeni yöntemi OTLP Verme Verme Yapılandırması'nda belgelenmiştir.

İstemci

Açıklama

Syslog

Syslog istemcilerini, işlem hattı uç noktasına ve Syslog veri akışınızın bağlantı noktasına veri gönderecek şekilde güncelleştirin.

OTLP

Azure İzleyici uç işlem hattı, 4317 numaralı bağlantı noktasında gRPC tabanlı bir OTLP uç noktasını kullanıma sunar. İzlemenizi bu OTLP uç noktasına gönderecek şekilde yapılandırmak, izleme kitaplığının kendisine bağlıdır. OpenTelemetry için OTLP uç noktası veya Toplayıcı belgelerine bakın. Ortam değişkeni yöntemi OTLP Verme Verme Yapılandırması'nda belgelenmiştir.

Verileri doğrulama

Son adım, verilerin Log Analytics çalışma alanına alındığını doğrulamaktır. Tablodan veri almak için Log Analytics çalışma alanında bir sorgu çalıştırarak bu doğrulamayı gerçekleştirebilirsiniz.

Sonraki adımlar

Azure İzleyici işlem hattı hakkında daha fazla bilgi edinin.

Aracılığıyla paylaş