Databricks Feature Store

الوصف

يعمل Databricks Feature Store كسجل مركزي للميزات المستخدمة في نماذج الذكاء الاصطناعي وتعلم الآلة. من خلال تسجيل جداول الميزات والنماذج ضمن Unity Catalog، يكتسب المستخدمون حوكمة متكاملة، وتتبعًا للنسب، وربطًا للنقاط الزمنية، والقدرة على مشاركة واكتشاف الميزات عبر مساحات العمل. تعمل هذه المنصة على تبسيط سير عمل تدريب النموذج بالكامل، بدءًا من استيعاب البيانات وإنشاء جداول الميزات، وصولاً إلى تدريب النماذج والاستدلال الدفعي، كل ذلك ضمن بيئة موحدة.

تشمل القدرات الرئيسية خطوط أنابيب البيانات لاستيعاب البيانات الأولية، وإنشاء جداول الميزات، وتدريب النماذج، وإجراء الاستدلال الدفعي. كما توفر وصولاً بنقرة واحدة إلى نقاط نهاية خدمة النماذج والميزات بزمن استجابة بالمللي ثانية، إلى جانب مراقبة البيانات والنماذج. عند استخدام الميزات من Databricks Feature Store للتدريب، يتتبع النموذج النسب تلقائيًا. في وقت الاستدلال، يسترد النموذج أحدث قيم الميزات. يتعامل مخزن الميزات أيضًا مع حساب الميزات عند الطلب للتطبيقات في الوقت الفعلي، مما يلغي تباين التدريب والخدمة ويبسط التعليمات البرمجية من جانب العميل من خلال إدارة جميع عمليات البحث عن الميزات وحساباتها.

بالنسبة لمساحات العمل التي تم تمكينها باستخدام Unity Catalog، يوفر Databricks Feature Store مجموعة قوية من الأدوات لتطوير الميزات واكتشافها ومشاركتها وتقديمها. يمكن للمستخدمين إنشاء وإدارة جداول الميزات، وتحديد الميزات التصريحية مع تجميعات زمنية، وتجسيدها للتدريب دون اتصال بالإنترنت أو الخدمة عبر الإنترنت. يتم تسهيل استكشاف الميزات من خلال Catalog Explorer وواجهة المستخدم للميزات (Features UI)، مع دعم العلامات لتصنيف جداول الميزات وإدارتها. تضمن المنصة صحة النقاط الزمنية لمجموعات بيانات التدريب، مما يعكس قيم الميزات في وقت ملاحظة التسمية. تتوفر مخازن الميزات عبر الإنترنت لتقديم بيانات الميزات لتطبيقات الإنترنت ونماذج تعلم الآلة في الوقت الفعلي، مدعومة بـ Databricks Lakebase. تتضمن خدمة النماذج البحث التلقائي عن الميزات من المخازن عبر الإنترنت، ويمكن كشف نقاط نهاية خدمة الميزات للتطبيقات الخارجية. يعزز حساب الميزات عند الطلب في وقت الاستدلال القدرات في الوقت الفعلي. تتم إدارة الحوكمة والنسب من خلال Unity Catalog، مما يتحكم في الوصول ويوفر رؤية لنسب جداول الميزات والنماذج والدوال.

الميزات الأساسية لـ Databricks Feature Store

• سجل ميزات مركزي

• التكامل مع Unity Catalog

• حوكمة مدمجة

• تتبع نسب الميزات

• ربط النقاط الزمنية

• مشاركة الميزات عبر مساحات العمل

• اكتشاف الميزات

• سير عمل موحد لتدريب النماذج

• خطوط أنابيب البيانات لهندسة الميزات

• قدرات الاستدلال الدفعي

• نقاط نهاية خدمة الميزات عبر الإنترنت

• خدمة النماذج في الوقت الفعلي

• حساب الميزات عند الطلب

• يلغي تباين التدريب والخدمة

• يبسط التعليمات البرمجية من جانب العميل

كيفية استخدام Databricks Feature Store؟

1. 1

   تطوير الميزات: إنشاء وإدارة جداول الميزات باستخدام واجهات برمجة التطبيقات التصريحية.

2. 2

   تجسيد الميزات: إعداد الميزات التصريحية للتدريب دون اتصال بالإنترنت أو الخدمة عبر الإنترنت.

3. 3

   اكتشاف الميزات: استكشاف وإدارة جداول الميزات عبر Catalog Explorer وواجهة المستخدم للميزات (Features UI).

4. 4

   تدريب النماذج: استخدام جداول الميزات لتدريب نماذج تعلم الآلة.

5. 5

   تقديم الميزات: نشر مخازن الميزات عبر الإنترنت للتطبيقات في الوقت الفعلي.

6. 6

   مراقبة البيانات والنماذج: تتبع الأداء واكتشاف الانحراف.

حالات استخدام Databricks Feature Store

• تدريب نماذج تعلم الآلة
• الاستدلال في الوقت الفعلي
• إدارة الميزات
• تتبع نسب البيانات
• هندسة الميزات التعاونية
• التسجيل الدفعي
• التوليد المعزز بالاسترجاع

الأسئلة الشائعة من Databricks Feature Store

• ما هو Databricks Feature Store؟

  Databricks Feature Store هو سجل مركزي لميزات الذكاء الاصطناعي وتعلم الآلة، متكامل مع Unity Catalog، ويوفر الحوكمة، وتتبع النسب، وربط النقاط الزمنية، وقدرات الخدمة عبر الإنترنت.

• كيف يساعد Databricks Feature Store في تدريب النماذج؟

  يسمح للنماذج بتتبع النسب تلقائيًا إلى ميزات التدريب ويضمن أن حسابات الميزات المستخدمة في الاستدلال هي نفسها المستخدمة أثناء التدريب، مما يلغي تباين التدريب والخدمة.

• ما هي فوائد استخدام Unity Catalog مع Databricks Feature Store؟

  يوفر التكامل مع Unity Catalog حوكمة مدمجة، وتتبعًا للنسب، ومشاركة الميزات عبر مساحات العمل، واكتشافًا لجداول الميزات والنماذج.

• هل يمكن لـ Databricks Feature Store تقديم الميزات في الوقت الفعلي؟

  نعم، يوفر حساب الميزات عند الطلب للتطبيقات في الوقت الفعلي ويقدم نقاط نهاية خدمة الميزات عبر الإنترنت بزمن استجابة بالمللي ثانية.

• كيف يبسط Databricks Feature Store التعليمات البرمجية من جانب العميل؟

  يتعامل مع جميع عمليات البحث عن الميزات وحساباتها، مما يبسط بشكل كبير التعليمات البرمجية المطلوبة من جانب العميل لاسترداد الميزات واستخدامها.

• ما نوع الميزات التي يمكن تخزينها في Databricks Feature Store؟

  يدعم أنواع الميزات الشائعة لتعلم الآلة، بما في ذلك المتجهات الكثيفة والمتفرقة، والموترات، والتضمينات (كـ ArrayType أو MapType)، والنص (كـ StringType).

• كيف تتم إدارة حوكمة الميزات؟

  تتم إدارة حوكمة الميزات، بما في ذلك التحكم في الوصول إلى جداول الميزات، من خلال Unity Catalog.

• ما هي صحة النقاط الزمنية في Databricks Feature Store؟

  تضمن أنه عند إنشاء مجموعة بيانات تدريب، تعكس قيم الميزات الحالة في وقت تسجيل ملاحظة التسمية، مما يمنع تسرب البيانات.

• هل يدعم Databricks Feature Store مشاركة الميزات؟

  نعم، يتيح مشاركة الميزات واكتشافها عبر مساحات العمل، مما يسمح للفرق بالتعاون في تطوير الميزات واستخدامها.

• ما هي نقاط نهاية خدمة الميزات؟

  هي نقاط نهاية تقدم بيانات الميزات للنماذج والتطبيقات، سواء داخل Databricks أو خارجها، للاستدلال في الوقت الفعلي.