Rövid útmutató: Adatok tömeges betöltése a COPY utasítással
Ebben a rövid útmutatóban tömegesen betölti az adatokat a dedikált SQL-készletbe az egyszerű és rugalmas COPY utasítással a nagy átviteli sebességű adatbetöltéshez. A COPY utasítás az ajánlott betöltési segédprogram, mivel lehetővé teszi az adatok zökkenőmentes és rugalmas betöltését azáltal, hogy a következőket biztosítja:
- Az alacsonyabb jogosultsági szintű felhasználók betöltésének engedélyezése anélkül, hogy szigorú KONTROLL-engedélyekre van szükség az adattárházban
- Csak egyetlen T-SQL-utasítás használata további adatbázis-objektumok létrehozása nélkül
- Finomabb engedélymodell használata tárfiókkulcsok felfedése nélkül a Share Access Signatures (SAS) használatával
- Adjon meg egy másik tárfiókot az ERRORFILE helyhez (REJECTED_ROW_LOCATION)
- Az egyes céloszlopok alapértelmezett értékeinek testreszabása és forrásadatmezők megadása adott céloszlopokba való betöltéshez
- Egyéni sorzáró megadása CSV-fájlokhoz
- Feloldó sztring, mező és sorhatárolók CSV-fájlokhoz
- CSV-fájlok SQL Server dátumformátumainak kihasználása
- Helyettesítő karakterek és több fájl megadása a tárolási hely elérési útján
Előfeltételek
Ez a rövid útmutató feltételezi, hogy már van dedikált SQL-készlete. Ha még nem hozott létre dedikált SQL-készletet, használja a Létrehozás és csatlakozás – portál rövid útmutatót.
A szükséges engedélyek beállítása
-- List the permissions for your user
select princ.name
, princ.type_desc
, perm.permission_name
, perm.state_desc
, perm.class_desc
, object_name(perm.major_id)
from sys.database_principals princ
left join
sys.database_permissions perm
on perm.grantee_principal_id = princ.principal_id
where name = '<yourusername>';
--Make sure your user has the permissions to CREATE tables in the [dbo] schema
GRANT CREATE TABLE TO <yourusername>;
GRANT ALTER ON SCHEMA::dbo TO <yourusername>;
--Make sure your user has ADMINISTER DATABASE BULK OPERATIONS permissions
GRANT ADMINISTER DATABASE BULK OPERATIONS TO <yourusername>
--Make sure your user has INSERT permissions on the target table
GRANT INSERT ON <yourtable> TO <yourusername>
A céltábla létrehozása
Ebben a példában a New York-i taxiadatkészletből töltünk be adatokat. Betöltünk egy Trip nevű táblát, amely egy éven belül megtett taxiutakat jelöl. A tábla létrehozásához futtassa az alábbi parancsot:
CREATE TABLE [dbo].[Trip]
(
[DateID] int NOT NULL,
[MedallionID] int NOT NULL,
[HackneyLicenseID] int NOT NULL,
[PickupTimeID] int NOT NULL,
[DropoffTimeID] int NOT NULL,
[PickupGeographyID] int NULL,
[DropoffGeographyID] int NULL,
[PickupLatitude] float NULL,
[PickupLongitude] float NULL,
[PickupLatLong] varchar(50) COLLATE SQL_Latin1_General_CP1_CI_AS NULL,
[DropoffLatitude] float NULL,
[DropoffLongitude] float NULL,
[DropoffLatLong] varchar(50) COLLATE SQL_Latin1_General_CP1_CI_AS NULL,
[PassengerCount] int NULL,
[TripDurationSeconds] int NULL,
[TripDistanceMiles] float NULL,
[PaymentType] varchar(50) COLLATE SQL_Latin1_General_CP1_CI_AS NULL,
[FareAmount] money NULL,
[SurchargeAmount] money NULL,
[TaxAmount] money NULL,
[TipAmount] money NULL,
[TollsAmount] money NULL,
[TotalAmount] money NULL
)
WITH
(
DISTRIBUTION = ROUND_ROBIN,
CLUSTERED COLUMNSTORE INDEX
);
A COPY utasítás futtatása
Futtassa a következő COPY utasítást, amely adatokat tölt be az Azure Blob Storage-fiókból a Trip táblába.
COPY INTO [dbo].[Trip] FROM 'https://nytaxiblob.blob.core.windows.net/2013/Trip2013/'
WITH (
FIELDTERMINATOR='|',
ROWTERMINATOR='0x0A'
) OPTION (LABEL = 'COPY: dbo.trip');
A terhelés monitorozása
Ellenőrizze, hogy a terhelés halad-e a következő lekérdezés rendszeres futtatásával:
SELECT r.[request_id]
, r.[status]
, r.resource_class
, r.command
, sum(bytes_processed) AS bytes_processed
, sum(rows_processed) AS rows_processed
FROM sys.dm_pdw_exec_requests r
JOIN sys.dm_pdw_dms_workers w
ON r.[request_id] = w.request_id
WHERE [label] = 'COPY: dbo.trip' and session_id <> session_id() and type = 'WRITER'
GROUP BY r.[request_id]
, r.[status]
, r.resource_class
, r.command;
Következő lépések
- Az adatbetöltéssel kapcsolatos ajánlott eljárásokért lásd: Ajánlott eljárások az adatok betöltéséhez.
- Az adatbetöltések erőforrásainak kezelésével kapcsolatos információkért lásd: Számítási feladatok elkülönítése.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: