แชร์ผ่าน

SynapseML คืออะไร

SynapseML (เดิมชื่อ MMLSpark) เป็นไลบรารีโอเพ่นซอร์สที่ช่วยลดความยุ่งยากในการสร้างแมชชีนเลิร์นนิ่ง (ML) ที่ปรับขนาดได้มหาศาลและไปป์ไลน์ที่ขับเคลื่อนด้วย LLM SynapseML มี API ที่เรียบง่าย ประกอบได้ และกระจายสําหรับงานแมชชีนเลิร์นนิง เช่น การวิเคราะห์ข้อความ คอมพิวเตอร์วิทัศน์ และการตรวจจับความผิดปกติ SynapseML สร้างขึ้นบนเฟรมเวิร์กการประมวลผลแบบกระจาย Apache Spark และใช้ API เดียวกันกับไลบรารี Spark MLlib การจัดตําแหน่งนี้ช่วยให้คุณสามารถฝังโมเดล SynapseML ในเวิร์กโฟลว์ Apache Spark ที่มีอยู่ได้

ด้วย SynapseML สร้างระบบอัจฉริยะที่ปรับขนาดได้เพื่อแก้ปัญหาความท้าทายในโดเมนต่างๆ เช่น การตรวจจับความผิดปกติ คอมพิวเตอร์วิทัศน์ การเรียนรู้เชิงลึก และการวิเคราะห์ข้อความ SynapseML ฝึกอบรมและประเมินโมเดลบนโหนดเดี่ยว หลายโหนด และคลัสเตอร์ที่ปรับขนาดได้แบบยืดหยุ่น วิธีนี้ช่วยให้คุณปรับขนาดงานได้โดยไม่สิ้นเปลืองทรัพยากร SynapseML ทํางานร่วมกับ Python, R, Scala, Java และ .NET API ทํางานร่วมกับฐานข้อมูล ระบบไฟล์ และที่เก็บข้อมูลบนคลาวด์จํานวนมากเพื่อลดความซับซ้อนของการทดลองโดยไม่คํานึงถึงว่าข้อมูลจะอยู่ที่ไหน

หากต้องการรวมการแปลงตาม AI ในเวิร์กโฟลว์ข้อมูลของคุณ เราขอแนะนํา Fabric AI Functions เป็นวิธีที่ง่ายที่สุด สําหรับการประมวลผลแบบกระจายที่มีการควบคุมเต็มรูปแบบ โปรดดู ใช้ Azure OpenAI กับ SynapseML

การติดตั้ง

SynapseML ได้รับการติดตั้งไว้ล่วงหน้าในรันไทม์ Fabric PySpark สามารถติดตั้งเวอร์ชันเฉพาะได้โดยอ้างอิงหน้าการติดตั้ง

ไปที่ เริ่มต้นใช้งานด่วน: โมเดลแรกของคุณ เพื่อสร้างไปป์ไลน์แรกของคุณ อ้างถึง OpenAI.ipynb เพื่อดูตัวอย่างการใช้ Azure OpenAI กับ SynapseML

คุณสมบัติหลักของ SynapseML

SynapseML นําเสนอการผสานรวมที่ง่ายดายและทรัพยากรที่ได้รับการฝึกอบรมล่วงหน้าเพื่อช่วยให้คุณเข้าใจและนําข้อมูลไปใช้กับความต้องการทางธุรกิจของคุณได้ดียิ่งขึ้น SynapseML รวมเฟรมเวิร์ก ML ที่มีอยู่หลายเฟรมเวิร์กและขยายการเรียก LLM API ตามขนาดพร้อมกับอัลกอริทึมใหม่ของ Microsoft ใน API เดียวที่ปรับขนาดได้ซึ่งใช้งานได้ทั้ง Python, R, Scala และ Java SynapseML ยังช่วยให้นักพัฒนาเข้าใจการคาดการณ์แบบจําลองโดยแนะนําเครื่องมือใหม่เพื่อเปิดเผยว่าเหตุใดโมเดลจึงทําการคาดการณ์บางอย่าง และวิธีปรับปรุงชุดข้อมูลการฝึกอบรมเพื่อขจัดอคติ

API แบบครบวงจรสําหรับการสร้าง การฝึกอบรม และการให้คะแนนแบบจําลอง

SynapseML นําเสนอ API แบบครบวงจรที่ช่วยลดความยุ่งยากในการพัฒนาโปรแกรมแบบกระจายที่ทนต่อข้อผิดพลาด โดยเฉพาะอย่างยิ่ง SynapseML เปิดเผยเฟรมเวิร์กแมชชีนเลิร์นนิงต่างๆ มากมายภายใต้ API เดียวที่ปรับขนาดได้ ไม่เชื่อเรื่องข้อมูลและภาษา และใช้งานได้กับแอปพลิเคชันแบบแบทช์ การสตรีม และการให้บริการแอปพลิเคชัน

API แบบครบวงจรสร้างมาตรฐานเครื่องมือ เฟรมเวิร์ก และอัลกอริทึมมากมาย และปรับปรุงประสบการณ์การเรียนรู้ของเครื่องแบบกระจาย ช่วยให้นักพัฒนาเขียนเฟรมเวิร์กแมชชีนเลิร์นนิงที่แตกต่างกันได้อย่างรวดเร็ว รักษาโค้ดให้สะอาด และรองรับเวิร์กโฟลว์ที่ต้องใช้เฟรมเวิร์กมากกว่าหนึ่งเฟรมเวิร์ก ตัวอย่างเช่น เวิร์กโฟลว์ เช่น การเรียนรู้ภายใต้การดูแลเว็บหรือการสร้างเครื่องมือค้นหาต้องการบริการและเฟรมเวิร์กที่หลากหลาย SynapseML ปกป้องผู้ใช้จากความซับซ้อนพิเศษนี้

ใช้โมเดลอัจฉริยะที่สร้างไว้ล่วงหน้า

เครื่องมือจํานวนมากใน SynapseML ไม่ต้องการชุดข้อมูลการฝึกอบรมที่มีป้ายกํากับขนาดใหญ่ แต่ SynapseML มี API อย่างง่ายสําหรับบริการอัจฉริยะที่สร้างไว้ล่วงหน้า เช่น Foundry Tools เพื่อแก้ปัญหา AI ขนาดใหญ่ที่เกี่ยวข้องกับทั้งธุรกิจและการวิจัยได้อย่างรวดเร็ว SynapseML ช่วยให้นักพัฒนาสามารถฝังบริการ ML ที่ล้ําสมัยกว่า 50 รายการลงในระบบและฐานข้อมูลของตนได้โดยตรง อัลกอริทึมที่พร้อมใช้งานเหล่านี้สามารถแยกวิเคราะห์เอกสารที่หลากหลาย ถอดเสียงการสนทนาของผู้พูดหลายคนแบบเรียลไทม์ และแปลข้อความเป็นมากกว่า 100 ภาษา

สําหรับวิธีที่ง่ายที่สุดในการใช้ Azure OpenAI ใน Fabric ให้พิจารณา AI Functions ซึ่งให้ส่วนขยาย Pandas และ PySpark DataFrame ด้วยโค้ดน้อยที่สุด สําหรับการประมวลผลแบบกระจายที่มีการควบคุมเต็มรูปแบบ โปรดดู ใช้ Azure OpenAI กับ SynapseML สําหรับตัวอย่างเพิ่มเติมเกี่ยวกับวิธีใช้ AI ที่สร้างไว้ล่วงหน้าเพื่อแก้ปัญหางานอย่างรวดเร็ว โปรดดูตัวอย่าง "ความรู้ความเข้าใจ" ของ SynapseML

เพื่อให้การผสานรวมของ SynapseML กับ Foundry Tools รวดเร็วและมีประสิทธิภาพ SynapseML ได้แนะนําการเพิ่มประสิทธิภาพมากมายสําหรับเวิร์กโฟลว์ที่มุ่งเน้นบริการ โดยเฉพาะอย่างยิ่ง SynapseML จะแยกวิเคราะห์การตอบสนองการควบคุมปริมาณทั่วไปโดยอัตโนมัติเพื่อให้แน่ใจว่างานจะไม่ครอบงําบริการแบ็กเอนด์ นอกจากนี้ยังใช้การแบ็คออฟแบบทวีคูณเพื่อจัดการกับการเชื่อมต่อเครือข่ายที่ไม่น่าเชื่อถือและการตอบสนองที่ล้มเหลว ในที่สุดเครื่องผู้ปฏิบัติงาน Spark ยังคงยุ่งอยู่กับแบบดั้งเดิมแบบอะซิงโครนัสใหม่ การขนานแบบอะซิงโครนัสช่วยให้เครื่องผู้ปฏิบัติงานส่งคําขอในขณะที่รอการตอบสนองจากเซิร์ฟเวอร์ และสามารถเพิ่มปริมาณงานได้สิบเท่า

ความเข้ากันได้ของระบบนิเวศในวงกว้างกับ ONNX

SynapseML ช่วยให้นักพัฒนาสามารถใช้โมเดลจากระบบนิเวศ ML ต่างๆ มากมายผ่านเฟรมเวิร์ก Open Neural Network Exchange (ONNX) ด้วยการผสานรวมนี้ คุณสามารถเรียกใช้โมเดลการเรียนรู้แบบคลาสสิกและการเรียนรู้เชิงลึกที่หลากหลายในวงกว้างด้วยโค้ดเพียงไม่กี่บรรทัด SynapseML จัดการการกระจายโมเดล ONNX ไปยังโหนดผู้ปฏิบัติงาน การแบทช์และบัฟเฟอร์ข้อมูลอินพุตสําหรับปริมาณงานสูง และการจัดกําหนดการงานบนตัวเร่งฮาร์ดแวร์โดยอัตโนมัติ

การนํา ONNX มาสู่ Spark ไม่เพียงแต่ช่วยให้นักพัฒนาปรับขนาดโมเดลการเรียนรู้เชิงลึก แต่ยังช่วยให้สามารถอนุมานแบบกระจายในระบบนิเวศ ML ที่หลากหลายได้อีกด้วย โดยเฉพาะอย่างยิ่ง ONNXMLTools แปลงโมเดลจาก TensorFlow, scikit-learn, Core ML, LightGBM, XGBoost, H2O และ PyTorch เป็น ONNX สําหรับการอนุมานแบบเร่งและแบบกระจายโดยใช้ SynapseML

สร้างระบบ AI ที่มีความรับผิดชอบ

หลังจากสร้างโมเดลแล้ว นักวิจัยและวิศวกรจําเป็นต้องเข้าใจข้อจํากัดและพฤติกรรมก่อนปรับใช้ SynapseML ช่วยให้นักพัฒนาและนักวิจัยสร้างระบบ AI ที่มีความรับผิดชอบโดยแนะนําเครื่องมือใหม่ที่เปิดเผยว่าเหตุใดโมเดลจึงคาดการณ์บางอย่างและวิธีปรับปรุงชุดข้อมูลการฝึกอบรมเพื่อขจัดอคติ SynapseML ช่วยเพิ่มความเร็วให้กับกระบวนการทําความเข้าใจโมเดลที่ผ่านการฝึกอบรมของผู้ใช้อย่างมาก โดยช่วยให้นักพัฒนาสามารถกระจายการคํานวณไปยังเครื่องหลายร้อยเครื่อง โดยเฉพาะอย่างยิ่ง SynapseML รวมถึงการใช้งานแบบกระจายของ Shapley Additive Explanations (SHAP) และ Locally Interpretable Model-Agnostic Explanations (LIME) เพื่ออธิบายการคาดการณ์ของวิสัยทัศน์ ข้อความ และแบบจําลองแบบตาราง นอกจากนี้ยังมีเครื่องมือต่างๆ เช่น Individual Conditional Expectation (ICE) และการวิเคราะห์การพึ่งพาอาศัยกันบางส่วนเพื่อรับรู้ชุดข้อมูลที่ลําเอียง

การสนับสนุนระดับองค์กรบน Azure Synapse Analytics

SynapseML พร้อมใช้งานโดยทั่วไปบน Azure Synapse Analytics พร้อมการสนับสนุนระดับองค์กร สร้างไปป์ไลน์แมชชีนเลิร์นนิงขนาดใหญ่โดยใช้ Foundry Tools, LightGBM, ONNX และคุณสมบัติ SynapseML อื่นๆ ที่เลือก ใช้เทมเพลตเพื่อสร้างต้นแบบระบบแมชชีนเลิร์นนิงแบบกระจายอย่างรวดเร็ว เช่น เครื่องมือค้นหาภาพ ไปป์ไลน์การบํารุงรักษาเชิงคาดการณ์ และการแปลเอกสาร

เนื้อหาที่เกี่ยวข้อง

การใช้บริการ AI ใน Fabric

ทรัพยากร SynapseML

  • Last updated on