Sdílet prostřednictvím


Použití chybových výstupů v komponentě toku dat

platí pro:SQL Server SSIS Integration Runtime ve službě Azure Data Factory

Do komponent lze přidat speciální IDTSOutput100 objekty označované jako chybové výstupy, aby bylo možné přesměrovat řádky komponenty, které nemůže během provádění zpracovat. Problémy, se kterými může komponenta narazit, jsou obecně kategorizovány jako chyby nebo zkrácení a jsou specifické pro každou komponentu. Komponenty, které poskytují výstupy chyb, poskytují uživatelům komponenty flexibilitu pro zpracování chybových podmínek filtrováním řádků chyb mimo sadu výsledků, selháním komponenty, když dojde k problému, nebo ignorováním chyb a pokračováním.

Pokud chcete implementovat a podporovat výstupy chyb v komponentě, musíte nejprve nastavit UsesDispositions vlastnost komponenty na true. Pak musíte přidat výstup do komponenty, která má jeho IsErrorOut vlastnost nastavenou na true. Komponenta musí obsahovat kód, který přesměruje řádky na výstup chyby, když dojde k chybám nebo zkrácení. Toto téma popisuje tyto tři kroky a vysvětluje rozdíly mezi synchronními a asynchronními výstupy chyb.

Vytvoření výstupu chyby

Vytvoříte výstup chyby voláním New metody OutputCollectiona pak nastavíte IsErrorOut vlastnost nového výstupu na true. Pokud je výstup asynchronní, ve výstupu se nesmí provádět nic jiného. Pokud je výstup synchronní a existuje další výstup, který je synchronní se stejným vstupem, musíte také nastavit ExclusionGroup vlastnosti a SynchronousInputID vlastnosti. Obě vlastnosti by měly mít stejné hodnoty jako druhý výstup, který je synchronní se stejným vstupem. Pokud tyto vlastnosti nejsou nastaveny na nenulovou hodnotu, řádky zadané vstupem se odešlou do obou výstupů, které jsou synchronní se vstupem.

Když komponenta během provádění narazí na chybu nebo zkrácení, pokračuje na základě nastavení ErrorRowDisposition a TruncationRowDisposition vlastností vstupu nebo výstupu nebo vstupního nebo výstupního sloupce, kde došlo k chybě. Hodnota těchto vlastností by měla být ve výchozím nastavení nastavena na RD_NotUsed. Pokud je výstup chyby komponenty připojen k podřízené komponentě, tato vlastnost je nastavena uživatelem komponenty a umožňuje uživateli řídit, jak komponenta zpracovává chybu nebo zkrácení.

Naplnění chybových sloupců

Při vytvoření výstupu chyby úloha toku dat automaticky přidá do kolekce výstupních sloupců dva sloupce. Tyto sloupce používají komponenty k určení ID sloupce, který způsobil chybu nebo zkrácení, a k poskytnutí kódu chyby specifického pro komponentu. Tyto sloupce se generují automaticky, ale hodnoty obsažené ve sloupcích musí být nastaveny komponentou.

Metoda použitá k nastavení hodnot těchto sloupců závisí na tom, jestli je výstup chyby synchronní nebo asynchronní. Komponenty s synchronními výstupy volají metodu DirectErrorRow , podrobněji popsány v další části a poskytují kód chyby a chybové hodnoty sloupců jako parametry. Komponenty s asynchronními výstupy mají dvě možnosti pro nastavení hodnot těchto sloupců. Mohou buď volat SetErrorInfo metodu výstupní vyrovnávací paměti a zadat hodnoty, nebo vyhledat chybové sloupce ve vyrovnávací paměti pomocí FindColumnByLineageID a nastavit hodnoty pro sloupce přímo. Vzhledem k tomu, že názvy sloupců mohly být změněny nebo jejich umístění ve výstupní kolekci sloupců bylo pravděpodobně změněno, druhá metoda nemusí být spolehlivá. Metoda SetErrorInfo automaticky nastaví hodnoty v těchto chybových sloupcích bez nutnosti je vyhledat ručně.

Pokud potřebujete získat popis chyby odpovídající určitému kódu chyby, můžete použít GetErrorDescription metodu IDTSComponentMetaData100 rozhraní, která je k dispozici prostřednictvím vlastnosti komponenty ComponentMetaData .

Následující příklady kódu ukazují komponentu, která má vstup a dva výstupy, včetně výstupu chyby. První příklad ukazuje, jak vytvořit výstup chyby, který je synchronní se vstupem. Druhý příklad ukazuje, jak vytvořit výstup chyby, který je asynchronní.

public override void ProvideComponentProperties()  
{  
    // Specify that the component has an error output.  
    ComponentMetaData.UsesDispositions = true;  
    // Create the input.  
    IDTSInput100 input = ComponentMetaData.InputCollection.New();  
    input.Name = "Input";  
    input.ErrorRowDisposition = DTSRowDisposition.RD_NotUsed;  
    input.ErrorOrTruncationOperation = "A string describing the possible error or truncation that may occur during execution.";  
  
    // Create the default output.  
    IDTSOutput100 output = ComponentMetaData.OutputCollection.New();  
    output.Name = "Output";  
    output.SynchronousInputID = input.ID;  
    output.ExclusionGroup = 1;  
  
    // Create the error output.  
    IDTSOutput100 errorOutput = ComponentMetaData.OutputCollection.New();  
    errorOutput.IsErrorOut = true;  
    errorOutput.Name = "ErrorOutput";  
    errorOutput.SynchronousInputID = input.ID;  
    errorOutput.ExclusionGroup = 1;  
  
}  
Public  Overrides Sub ProvideComponentProperties()   
  
 ' Specify that the component has an error output.  
 ComponentMetaData.UsesDispositions = True   
  
 Dim input As IDTSInput100 = ComponentMetaData.InputCollection.New   
  
 ' Create the input.  
 input.Name = "Input"   
 input.ErrorRowDisposition = DTSRowDisposition.RD_NotUsed   
 input.ErrorOrTruncationOperation = "A string describing the possible error or truncation that may occur during execution."   
  
 ' Create the default output.  
 Dim output As IDTSOutput100 = ComponentMetaData.OutputCollection.New   
 output.Name = "Output"   
 output.SynchronousInputID = input.ID   
 output.ExclusionGroup = 1   
  
 ' Create the error output.  
 Dim errorOutput As IDTSOutput100 = ComponentMetaData.OutputCollection.New   
 errorOutput.IsErrorOut = True   
 errorOutput.Name = "ErrorOutput"   
 errorOutput.SynchronousInputID = input.ID   
 errorOutput.ExclusionGroup = 1   
  
End Sub  

Následující příklad kódu vytvoří výstup chyby, který je asynchronní.

public override void ProvideComponentProperties()  
{  
    // Specify that the component has an error output.  
    ComponentMetaData.UsesDispositions = true;  
  
    // Create the input.  
    IDTSInput100 input = ComponentMetaData.InputCollection.New();  
    input.Name = "Input";  
    input.ErrorRowDisposition = DTSRowDisposition.RD_NotUsed;  
    input.ErrorOrTruncationOperation = "A string describing the possible error or truncation that may occur during execution.";  
  
    // Create the default output.  
    IDTSOutput100 output = ComponentMetaData.OutputCollection.New();  
    output.Name = "Output";  
  
    // Create the error output.  
    IDTSOutput100 errorOutput = ComponentMetaData.OutputCollection.New();  
    errorOutput.Name = "ErrorOutput";  
    errorOutput.IsErrorOut = true;  
}  
Public  Overrides Sub ProvideComponentProperties()   
  
 ' Specify that the component has an error output.  
 ComponentMetaData.UsesDispositions = True   
  
 ' Create the input.  
 Dim input As IDTSInput100 = ComponentMetaData.InputCollection.New   
  
 ' Create the default output.  
 input.Name = "Input"   
 input.ErrorRowDisposition = DTSRowDisposition.RD_NotUsed   
 input.ErrorOrTruncationOperation = "A string describing the possible error or truncation that may occur during execution."   
  
 ' Create the error output.  
 Dim output As IDTSOutput100 = ComponentMetaData.OutputCollection.New   
 output.Name = "Output"   
 Dim errorOutput As IDTSOutput100 = ComponentMetaData.OutputCollection.New   
 errorOutput.Name = "ErrorOutput"   
 errorOutput.IsErrorOut = True   
  
End Sub  

Přesměrování řádku na výstup chyby

Po přidání výstupu chyby do komponenty musíte zadat kód, který zpracovává podmínky chyby nebo zkrácení specifické pro danou komponentu a přesměruje řádky chyb nebo zkrácení na výstup chyby. Můžete to provést dvěma způsoby v závislosti na tom, jestli je výstup chyby synchronní nebo asynchronní.

Přesměrování řádku s synchronními výstupy

Řádky se odesílají do synchronních výstupů voláním DirectErrorRow metody PipelineBuffer třídy. Volání metody zahrnuje jako parametry ID výstupu chyby, kód chyby definovaný komponentou a index sloupce, který komponenta nemohla zpracovat.

Následující příklad kódu ukazuje, jak směrovat řádek ve vyrovnávací paměti na synchronní výstup chyby pomocí DirectErrorRow metody.

public override void ProcessInput(int inputID, PipelineBuffer buffer)  
{  
        IDTSInput100 input = ComponentMetaData.InputCollection.GetObjectByID(inputID);  
  
        // This code sample assumes the component has two outputs, one the default,  
        // the other the error output. If the errorOutputIndex returned from GetErrorOutputInfo  
        // is 0, then the default output is the second output in the collection.  
        int defaultOutputID = -1;  
        int errorOutputID = -1;  
        int errorOutputIndex = -1;  
  
        GetErrorOutputInfo(ref errorOutputID,ref errorOutputIndex);  
  
        if (errorOutputIndex == 0)  
            defaultOutputID = ComponentMetaData.OutputCollection[1].ID;  
        else  
            defaultOutputID = ComponentMetaData.OutputCollection[0].ID;  
  
        while (buffer.NextRow())  
        {  
            try  
            {  
                // TODO: Implement code to process the columns in the buffer row.  
  
                // Ideally, your code should detect potential exceptions before they occur, rather  
                // than having a generic try/catch block such as this.   
                // However, because the error or truncation implementation is specific to each component,  
                // this sample focuses on actually directing the row, and not a single error or truncation.  
  
                // Unless an exception occurs, direct the row to the default   
                buffer.DirectRow(defaultOutputID);  
            }  
            catch  
            {  
                // Yes, has the user specified to redirect the row?  
                if (input.ErrorRowDisposition == DTSRowDisposition.RD_RedirectRow)  
                {  
                    // Yes, direct the row to the error output.  
                    // TODO: Add code to include the errorColumnIndex.  
                    buffer.DirectErrorRow(errorOutputID, 0, errorColumnIndex);  
                }  
                else if (input.ErrorRowDisposition == DTSRowDisposition.RD_FailComponent || input.ErrorRowDisposition == DTSRowDisposition.RD_NotUsed)  
                {  
                    // No, the user specified to fail the component, or the error row disposition was not set.  
                    throw new Exception("An error occurred, and the DTSRowDisposition is either not set, or is set to fail component.");  
                }  
                else  
                {  
                    // No, the user specified to ignore the failure so   
                    // direct the row to the default output.  
                    buffer.DirectRow(defaultOutputID);  
                }  
  
            }  
        }  
}  
Public  Overrides Sub ProcessInput(ByVal inputID As Integer, ByVal buffer As PipelineBuffer)   
   Dim input As IDTSInput100 = ComponentMetaData.InputCollection.GetObjectByID(inputID)   
  
   ' This code sample assumes the component has two outputs, one the default,  
   ' the other the error output. If the errorOutputIndex returned from GetErrorOutputInfo  
   ' is 0, then the default output is the second output in the collection.  
   Dim defaultOutputID As Integer = -1   
   Dim errorOutputID As Integer = -1   
   Dim errorOutputIndex As Integer = -1   
  
   GetErrorOutputInfo(errorOutputID, errorOutputIndex)   
  
   If errorOutputIndex = 0 Then   
     defaultOutputID = ComponentMetaData.OutputCollection(1).ID   
   Else   
     defaultOutputID = ComponentMetaData.OutputCollection(0).ID   
   End If   
  
   While buffer.NextRow   
     Try   
       ' TODO: Implement code to process the columns in the buffer row.  
  
       ' Ideally, your code should detect potential exceptions before they occur, rather  
       ' than having a generic try/catch block such as this.   
       ' However, because the error or truncation implementation is specific to each component,  
       ' this sample focuses on actually directing the row, and not a single error or truncation.  
  
       ' Unless an exception occurs, direct the row to the default   
       buffer.DirectRow(defaultOutputID)   
     Catch   
       ' Yes, has the user specified to redirect the row?  
       If input.ErrorRowDisposition = DTSRowDisposition.RD_RedirectRow Then   
         ' Yes, direct the row to the error output.  
         ' TODO: Add code to include the errorColumnIndex.  
         buffer.DirectErrorRow(errorOutputID, 0, errorColumnIndex)   
       Else   
         If input.ErrorRowDisposition = DTSRowDisposition.RD_FailComponent OrElse input.ErrorRowDisposition = DTSRowDisposition.RD_NotUsed Then   
           ' No, the user specified to fail the component, or the error row disposition was not set.  
           Throw New Exception("An error occurred, and the DTSRowDisposition is either not set, or is set to fail component.")   
         Else   
           ' No, the user specified to ignore the failure so   
           ' direct the row to the default output.  
           buffer.DirectRow(defaultOutputID)   
         End If   
       End If   
     End Try   
   End While   
End Sub  

Přesměrování řádku s asynchronními výstupy

Namísto směrování řádků na výstup, jak je to provedeno s synchronními výstupy chyb, komponenty s asynchronními výstupy odesílají řádek do výstupu chyby explicitním přidáním řádku do výstupu PipelineBuffer. Implementace komponenty, která používá asynchronní chybové výstupy, vyžaduje přidání sloupců do výstupu chyby, které jsou poskytovány podřízeným komponentám, a ukládání výstupní vyrovnávací paměti pro výstup chyby poskytované komponentě během PrimeOutput metody. Podrobnosti o implementaci komponenty s asynchronními výstupy jsou podrobně popsány v tématu Vývoj vlastní transformační komponenty s asynchronními výstupy. Pokud sloupce nejsou explicitně přidány do výstupu chyby, řádek vyrovnávací paměti přidaný do výstupní vyrovnávací paměti obsahuje pouze dva chybové sloupce.

Pokud chcete odeslat řádek do asynchronního výstupu chyby, musíte přidat řádek do vyrovnávací paměti výstupu chyby. Někdy už byl řádek přidán do vyrovnávací paměti pro výstup, který není chybový, a tento řádek je nutné odebrat pomocí RemoveRow metody. Dále nastavíte hodnoty sloupců výstupní vyrovnávací paměti a nakonec zavoláte metodu SetErrorInfo , která poskytne kód chyby specifické pro komponentu a hodnotu chybového sloupce.

Následující příklad ukazuje, jak použít výstup chyby pro komponentu s asynchronními výstupy. Když dojde k simulované chybě, komponenta přidá řádek do vyrovnávací paměti výstupu chyby, zkopíruje hodnoty, které byly dříve přidány do vyrovnávací paměti výstupu chyby do vyrovnávací paměti výstupu chyby, odebere řádek, který byl přidán do vyrovnávací paměti výstupu jiné chyby, a nakonec nastaví kód chyby a chybové hodnoty sloupců voláním SetErrorInfo metody.

int []columnIndex;  
int errorOutputID = -1;  
int errorOutputIndex = -1;  
  
public override void PreExecute()  
{  
    IDTSOutput100 defaultOutput = null;  
  
    this.GetErrorOutputInfo(ref errorOutputID, ref errorOutputIndex);  
    foreach (IDTSOutput100 output in ComponentMetaData.OutputCollection)  
    {  
        if (output.ID != errorOutputID)  
            defaultOutput = output;  
    }  
  
    columnIndex = new int[defaultOutput.OutputColumnCollection.Count];  
  
    for(int col =0 ; col < defaultOutput.OutputColumnCollection.Count; col++)  
    {  
        IDTSOutputColumn100 column = defaultOutput.OutputColumnCollection[col];  
        columnIndex[col] = BufferManager.FindColumnByLineageID(defaultOutput.Buffer, column.LineageID);  
    }  
}  
  
public override void PrimeOutput(int outputs, int[] outputIDs, PipelineBuffer[] buffers)  
{  
    for( int x=0; x < outputs; x++ )  
    {  
        if (outputIDs[x] == errorOutputID)  
            this.errorBuffer = buffers[x];  
        else  
            this.defaultBuffer = buffers[x];  
    }  
  
    int rows = 100;  
  
    Random random = new Random(System.DateTime.Now.Millisecond);  
  
    for (int row = 0; row < rows; row++)  
    {  
        try  
        {  
            defaultBuffer.AddRow();  
  
            for (int x = 0; x < columnIndex.Length; x++)  
                defaultBuffer[columnIndex[x]] = random.Next();  
  
            // Simulate an error.  
            if ((row % 2) == 0)  
                throw new Exception("A simulated error.");  
        }  
        catch  
        {  
            // Add a row to the error buffer.  
            errorBuffer.AddRow();  
  
            // Get the values from the default buffer  
            // and copy them to the error buffer.  
            for (int x = 0; x < columnIndex.Length; x++)  
                errorBuffer[columnIndex[x]] = defaultBuffer[columnIndex[x]];  
  
            // Set the error information.  
            errorBuffer.SetErrorInfo(errorOutputID, 1, 0);  
  
            // Remove the row that was added to the default buffer.  
            defaultBuffer.RemoveRow();  
        }  
    }  
  
    if (defaultBuffer != null)  
        defaultBuffer.SetEndOfRowset();  
  
    if (errorBuffer != null)  
        errorBuffer.SetEndOfRowset();  
}  
Private columnIndex As Integer()   
Private errorOutputID As Integer = -1   
Private errorOutputIndex As Integer = -1   
  
Public  Overrides Sub PreExecute()   
 Dim defaultOutput As IDTSOutput100 = Nothing   
 Me.GetErrorOutputInfo(errorOutputID, errorOutputIndex)   
 For Each output As IDTSOutput100 In ComponentMetaData.OutputCollection   
   If Not (output.ID = errorOutputID) Then   
     defaultOutput = output   
   End If   
 Next   
 columnIndex = New Integer(defaultOutput.OutputColumnCollection.Count) {}   
 Dim col As Integer = 0   
 While col < defaultOutput.OutputColumnCollection.Count   
   Dim column As IDTSOutputColumn100 = defaultOutput.OutputColumnCollection(col)   
   columnIndex(col) = BufferManager.FindColumnByLineageID(defaultOutput.Buffer, column.LineageID)   
   System.Math.Min(System.Threading.Interlocked.Increment(col),col-1)   
 End While   
End Sub   
  
Public  Overrides Sub PrimeOutput(ByVal outputs As Integer, ByVal outputIDs As Integer(), ByVal buffers As PipelineBuffer())   
 Dim x As Integer = 0   
 While x < outputs   
   If outputIDs(x) = errorOutputID Then   
     Me.errorBuffer = buffers(x)   
   Else   
     Me.defaultBuffer = buffers(x)   
   End If   
   System.Math.Min(System.Threading.Interlocked.Increment(x),x-1)   
 End While   
 Dim rows As Integer = 100   
 Dim random As Random = New Random(System.DateTime.Now.Millisecond)   
 Dim row As Integer = 0   
 While row < rows   
   Try   
     defaultBuffer.AddRow   
     Dim x As Integer = 0   
     While x < columnIndex.Length   
       defaultBuffer(columnIndex(x)) = random.Next   
       System.Math.Min(System.Threading.Interlocked.Increment(x),x-1)   
     End While   
     ' Simulate an error.  
     If (row Mod 2) = 0 Then   
       Throw New Exception("A simulated error.")   
     End If   
   Catch   
     ' Add a row to the error buffer.  
     errorBuffer.AddRow   
     ' Get the values from the default buffer  
     ' and copy them to the error buffer.  
     Dim x As Integer = 0   
     While x < columnIndex.Length   
       errorBuffer(columnIndex(x)) = defaultBuffer(columnIndex(x))   
       System.Math.Min(System.Threading.Interlocked.Increment(x),x-1)   
     End While   
     ' Set the error information.  
     errorBuffer.SetErrorInfo(errorOutputID, 1, 0)   
     ' Remove the row that was added to the default buffer.  
     defaultBuffer.RemoveRow   
   End Try   
   System.Math.Min(System.Threading.Interlocked.Increment(row),row-1)   
 End While   
 If Not (defaultBuffer Is Nothing) Then   
   defaultBuffer.SetEndOfRowset   
 End If   
 If Not (errorBuffer Is Nothing) Then   
   errorBuffer.SetEndOfRowset   
 End If   
End Sub  

Viz také

Zpracování chyb v datech
Použití výstupů chyb