الوصف
InferSent هي طريقة قوية لتضمين الجمل طورتها Facebook AI Research، وهي مصممة لإنتاج تمثيلات دلالية غنية للجمل الإنجليزية. تستفيد من بيانات الاستدلال اللغوي الطبيعي (NLI) للتدريب، مما يمكنها من التعميم بفعالية عبر مجموعة واسعة من مهام معالجة اللغة الطبيعية اللاحقة. يسمح هذا النهج بإنشاء تمثيلات جمل عالمية تلتقط معنى الجمل في مساحة متجهة كثيفة.
يقدم المشروع مشفرات جمل إنجليزية مدربة مسبقًا، وتحديدًا InferSent1 (مدربة باستخدام متجهات الكلمات GloVe) و InferSent2 (مدربة باستخدام متجهات الكلمات fastText). يمكن تحميل هذه النماذج واستخدامها بسهولة لتشفير جمل جديدة. يتضمن المستودع أيضًا أداة التقييم SentEval، وهي إطار عمل شامل لتقييم جودة تضمينات الجمل في مهام النقل المختلفة. هذا العرض المزدوج يجعل InferSent حلاً كاملاً للباحثين والمطورين الذين يتطلعون إلى تنفيذ وتقييم نماذج تضمين الجمل.
لاستخدام InferSent، يحتاج المستخدمون إلى تثبيت Python و PyTorch و NLTK. يجب عليهم أيضًا تنزيل متجهات الكلمات المدربة مسبقًا (GloVe أو fastText) ونماذج InferSent نفسها. تتضمن العملية تحميل النموذج، وتعيين المسار إلى متجهات الكلمات، وبناء المفردات، ثم تشفير الجمل. الناتج هو مصفوفة NumPy لتضمينات الجمل، ببعد 4096. سرعة التشفير حوالي 1000 جملة في الثانية مع حجم دفعة 128 على وحدة معالجة رسومات واحدة.
أظهر InferSent أداءً قويًا في مهام معيارية مختلفة، وغالبًا ما تفوق على طرق تضمين الجمل الأخرى. يوفر المستودع تعليمات مفصلة وأمثلة تعليمات برمجية، بما في ذلك دفتر ملاحظات توضيحي، لتسهيل التكامل والتجريب. يشير الوضع المؤرشف للمشروع إلى أنه بينما الكود متاح ويعمل، قد يكون التطوير النشط والصيانة محدودين. ومع ذلك، فإن أدائه الراسخ وتوافر النماذج المدربة مسبقًا يضمن استمرار أهميته في مجتمع معالجة اللغة الطبيعية.
يشمل الجمهور المستهدف لـ InferSent باحثي معالجة اللغة الطبيعية، ومهندسي التعلم الآلي، وعلماء البيانات الذين يعملون على مهام مثل تصنيف النصوص، والتشابه الدلالي، والإجابة على الأسئلة، وتحليل المشاعر. من خلال توفير تضمينات جمل قوية، يساعد InferSent على تحسين أداء وكفاءة هذه التطبيقات. يدعم الطبيعة مفتوحة المصدر للمشروع وتوافر أدوات التقييم مزيدًا من اعتماده وتقدمه داخل مجتمع البحث.
أبرز ملامح InferSent Sentence Embeddings
توليد تمثيلات دلالية للجمل الإنجليزية.
تم تدريبه على بيانات الاستدلال اللغوي الطبيعي لتعميم واسع.
يوفر مشفرات جمل إنجليزية مدربة مسبقًا (InferSent1 و InferSent2).
يتضمن أداة التقييم SentEval لتقييم جودة التضمين.
ينتج تضمينات الجمل كمصفوفات NumPy ببعد 4096.
يدعم سرعات تشفير تقارب 1000 جملة في الثانية.
يقدم واجهة بسيطة لتشفير الجمل.
يتضمن وظيفة لتصور أهمية الكلمات في تشفير الجمل.
البدء مع InferSent Sentence Embeddings
تنزيل متجهات الكلمات (GloVe أو fastText).
تنزيل نماذج InferSent (infersent1.pkl و infersent2.pkl).
تحميل نموذج InferSent المدرب مسبقًا باستخدام PyTorch.
تعيين المسار إلى متجهات الكلمات التي تم تنزيلها.
بناء مفردات متجهات الكلمات.
تشفير جملك إلى تضمينات.
اختياريًا، تصور أهمية الكلمات لجملة معينة.
حالات استخدام InferSent Sentence Embeddings
- التشابه الدلالي للنصوص
- تصنيف النصوص
- الإجابة على الأسئلة
- تحليل المشاعر
- استرجاع المعلومات
- الاستدلال اللغوي الطبيعي
