بسيط الحركة من المتوسط - الثعبان

هذا هو المجمع بايثون ل تا-ليب على أساس سيثون بدلا من سويغ. من الصفحة الرئيسية: يتم استخدام تا-ليب على نطاق واسع من قبل مطوري برامج التداول التي تتطلب إجراء تحليل تقني لبيانات السوق المالية. ويشمل 150 مؤشرات مثل أدكس، ماسد، رسي، ستوشاستيك، بولينجر باند، الخ. شمعدان التعرف على نمط مفتوحة المصدر أبي ل سيسي، جافا، بيرل، بيثون و 100 مدارة الأصلي بيثون ربط استخدام سويغ التي للأسف من الصعب تثبيت و أرينت بقدر ما يمكن أن تكون فعالة. ولذلك يستخدم هذا المشروع سيثون و نومبي لربط بكفاءة ونظيفة ل تا-ليب - إنتاج النتائج 2-4 مرات أسرع من واجهة سويغ. تثبيت تا-ليب أو قراءة المستندات كما هو الحال مع تا-ليب، توفر واجهة الوظيفة مجموعة خفيفة من مؤشرات تا-ليب المكشوفة. تقوم كل دالة بإرجاع صفيف مخرجات ولها قيم افتراضية لمعلماتها، ما لم يتم تحديدها كوسيطات للكلمات الرئيسية. عادة، هذه الوظائف سوف يكون فترة الاسترجاع الأولية (عدد المطلوب من الملاحظات قبل إنتاج الناتج) تعيين إلى نان. تستخدم كل الأمثلة التالية الدالة أبي: حساب متوسط ​​متحرك بسيط لأسعار الإغلاق: حساب نطاقات البولينجر، مع المتوسط ​​المتحرك الأسي الثلاثي: حساب الزخم لأسعار الإغلاق، مع فترة زمنية من 5: ملخص أبي البدء السريع إذا كنت مألوفة بالفعل باستخدام أبي وظيفة، يجب أن تشعر الحق في المنزل باستخدام أبي مجردة. كل وظيفة تأخذ نفس المدخلات، مرت كقاموس صفائف نومبي: يمكن إما أن يتم استيراد وظائف مباشرة أو مثبتة بالاسم: من هناك، وظائف الدعوة هي في الأساس نفس أبي وظيفة: تعرف على المزيد من الاستخدام المتقدم من تا-ليب هنا . المؤشرات المدعومة یمکننا عرض جمیع وظائف تا التي تدعمھا تا-ليب، إما کقائمة أو کمؤشر مرتب حسب المجموعة (مثل دراسات التداخل ومؤشرات الزخم، إلخ): الوظائف المجموعات 1 معالجة اللغة وبيثون من السھل الحصول علی أیدينا على الملايين من الكلمات من النص. ماذا يمكننا أن نفعل ذلك، على افتراض أن نتمكن من كتابة بعض البرامج البسيطة في هذا الفصل معالجة جيدة الأسئلة التالية: ماذا يمكننا أن نحقق من خلال الجمع بين تقنيات البرمجة بسيطة مع كميات كبيرة من النص كيف يمكننا تلقائيا استخراج الكلمات والعبارات الرئيسية التي تلخص نمط ومضمون النص ما هي الأدوات والتقنيات التي توفرها لغة برمجة بايثون لهذا العمل ما هي بعض التحديات المثيرة للاهتمام في معالجة اللغة الطبيعية ينقسم هذا الفصل إلى أقسام تخطي بين نمطين مختلفين تماما. في قسم الحوسبة مع أقسام لانغكوتوت سوف نتخذ بعض المهام البرمجة دوافع لغويا دون أن يشرح بالضرورة كيف يعملون. في نظرة كوتكلوسر في أقسام بيثونكوت سنقوم بمراجعة مفاهيم البرمجة الرئيسية بشكل منهجي. حسنا علم الأسلوبين في عناوين القسم، ولكن الفصول في وقت لاحق سوف مزيج كلا الأسلوبين دون أن يكون ذلك حتى مقدما عن ذلك. ونحن نأمل أن يكون هذا النمط من مقدمة يعطيك طعم أصيلة لما سيأتي في وقت لاحق، في حين تغطي مجموعة من المفاهيم الأولية في علم اللغويات وعلوم الكمبيوتر. إذا كان لديك الألفة الأساسية مع كل من المناطق، يمكنك تخطي إلى 1.5 سوف نكرر أي نقاط مهمة في الفصول اللاحقة، وإذا كنت أفتقد أي شيء يمكنك بسهولة استشارة المواد المرجعية على الانترنت في nltk. org. إذا كانت المادة جديدة تماما لك، فإن هذا الفصل يثير أسئلة أكثر مما يجيب، الأسئلة التي يتم تناولها في بقية هذا الكتاب. 1.1 الحوسبة مع اللغة: النصوص والكلمات كانت كل مألوفة جدا مع النص، لأننا نقرأ ونكتب كل يوم. هنا سوف نعامل النص كما البيانات الخام للبرامج التي نكتبها، والبرامج التي التلاعب وتحليلها في مجموعة متنوعة من الطرق المثيرة للاهتمام. ولكن قبل أن نتمكن من القيام بذلك، علينا أن نبدأ مع مترجم بايثون. الشروع في العمل مع بيثون واحدة من الأشياء الودية حول بيثون هو أنه يسمح لك لكتابة مباشرة إلى مترجم التفاعلية 8212 البرنامج الذي سيتم تشغيل برامج بايثون الخاص بك. يمكنك الوصول إلى مترجم بايثون باستخدام واجهة رسومية بسيطة تسمى بيئة تفاعلية ديفلوبمنت (إيدل). على ماك يمكنك أن تجد هذا تحت تطبيقات 8594 ماكبيثون. وعلى ويندوز تحت كافة البرامج 8594 بيثون. تحت أونيكس يمكنك تشغيل بيثون من قذيفة عن طريق كتابة الخمول (إذا لم يتم تثبيت هذا، حاول كتابة الثعبان). سيقوم المترجم بطباعة بلورب حول إصدار بيثون الخاص بك ببساطة التحقق من أنك تقوم بتشغيل بيثون 2.4 أو 2.5 (هنا هو 2.5.1): دورك: حاول البحث عن كلمات أخرى لحفظ إعادة الكتابة، قد تكون قادرة على استخدام ما يصل - arrow أو كترل-أوب-أرو أو ألت-p للوصول إلى الأمر السابق وتعديل الكلمة التي يتم البحث فيها. يمكنك أيضا محاولة البحث على بعض النصوص الأخرى التي قمنا بإدراجها. على سبيل المثال، البحث الحس والحساسية للكلمة المودة. باستخدام text2.concordance (كوتافكتيونكوت). البحث في سفر التكوين لمعرفة متى عاش بعض الناس، وذلك باستخدام text3.concordance (كوتليفدكوت). هل يمكن أن ننظر إلى النص 4. ذي كوربورس العنوان الافتتاحي. لرؤية أمثلة من الإنجليزية تعود إلى 1789، والبحث عن كلمات مثل الأمة. الإرهاب. الله أن نرى كيف استخدمت هذه الكلمات بشكل مختلف مع مرور الوقت. كما أدرجنا النص 5. و نبس دردشة كوربوس. بحث هذا عن الكلمات غير التقليدية مثل إم. اور. الضحك بصوت مرتفع. (لاحظ أن هذه المجموعة غير خاضعة للرقابة) مرة واحدة كنت قد قضيت قليلا أثناء دراسة هذه النصوص، ونحن نأمل أن يكون لديك شعور جديد من ثراء وتنوع اللغة. في الفصل التالي سوف تتعلم كيفية الوصول إلى مجموعة واسعة من النص، بما في ذلك النص في لغات أخرى غير الإنجليزية. توافق يسمح لنا أن نرى الكلمات في السياق. على سبيل المثال، رأينا أن وحشية وقعت في سياقات مثل الصور والحجم. ما هي الكلمات الأخرى التي تظهر في نطاق مماثل من السياقات يمكننا أن نلاحظ من خلال إلحاق مصطلح مشابه لاسم النص المعني، ثم إدراج الكلمة ذات الصلة بين قوسين: لاحظ أننا نحصل على نتائج مختلفة لنصوص مختلفة. يستخدم أوستن هذه الكلمة بشكل مختلف تماما عن ملفيل لها، وحشية دلالات إيجابية، وأحيانا يعمل كمكثف مثل كلمة جدا. إن المصطلحات المشتركة تسمح لنا بدراسة السياقات التي تتقاسمها كلمتين أو أكثر، مثل الكلمات الوحشية جدا. يجب أن نرفق هذه الكلمات بين أقواس معقوفة وأقواس، ونفصل بينها بفاصلة: دورك: اختيار زوج آخر من الكلمات ومقارنة استخدامها في نصين مختلفين، باستخدام الدوال المشابهة () و كومونكونتيكستس (). فمن شيء واحد للكشف تلقائيا أن كلمة معينة يحدث في النص، وعرض بعض الكلمات التي تظهر في نفس السياق. ومع ذلك، يمكننا أيضا تحديد موقع كلمة في النص: كم عدد الكلمات من البداية يظهر. يمكن عرض هذه المعلومات الموضعية باستخدام مؤامرة التشتت. يمثل كل شريط مثالا لكلمة، ويمثل كل صف النص بأكمله. في 1.2 نرى بعض أنماط مذهلة من استخدام كلمة على مدى السنوات ال 220 الماضية (في نص مصطنعة التي شيدت من خلال الانضمام إلى نصوص كوربوس عنوان الافتتاحي نهاية إلى نهاية). يمكنك إنتاج هذه المؤامرة كما هو مبين أدناه. قد ترغب في تجربة المزيد من الكلمات (على سبيل المثال الحرية) الدستور، ونصوص مختلفة. يمكنك التنبؤ تشتت كلمة قبل مشاهدته كما كان من قبل، ورعاية للحصول على يقتبس، والفواصل، بين قوسين وأقواس بالضبط الحق. الشكل 1.2. مؤامرة التشتت المعياري للكلمات في العناوين الرئاسية الأمريكية الافتتاحية: يمكن استخدام هذا للتحقيق في التغييرات في استخدام اللغة مع مرور الوقت. هام: تحتاج إلى أن يكون بيثونس نومبي و ماتبلوتليب حزم تثبيت من أجل إنتاج المؤامرات الرسومية المستخدمة في هذا الكتاب. يرجى الاطلاع على nltk. org للحصول على إرشادات التثبيت. الآن، فقط للمتعة، يتيح محاولة توليد بعض النص العشوائي في أنماط مختلفة رأينا للتو. للقيام بذلك، نكتب اسم النص متبوعا بعبارة توليد. (نحن بحاجة إلى تضمين الأقواس، ولكن ثيريس لا شيء يذهب بينهما.) لاحظ أنه في المرة الأولى التي تقوم بتشغيل هذا الأمر، بطيء لأنه يجمع إحصائيات حول تسلسل الكلمات. في كل مرة تقوم بتشغيله، سوف تحصل على النص الناتج مختلفة. الآن حاول إنشاء نص عشوائي في نمط عنوان الافتتاحي أو غرفة دردشة على الإنترنت. على الرغم من أن النص هو عشوائي، فإنه يعيد استخدام الكلمات والعبارات الشائعة من النص المصدر ويعطينا شعورا من أسلوبها والمحتوى. (ما هو غير موجود في هذا النص الذي تم إنشاؤه عشوائيا) عندما تنتج توليد إنتاجها، يتم تقسيم علامات الترقيم من الكلمة السابقة. في حين أن هذا ليس تنسيق الصحيح للنص الإنجليزي، ونحن نفعل ذلك لتوضيح أن الكلمات وعلامات الترقيم مستقلة عن بعضها البعض. سوف تتعلم المزيد عن هذا في 3. عد المفردات الحقيقة الأكثر وضوحا حول النصوص التي تظهر من الأمثلة السابقة هي أنها تختلف في المفردات التي يستخدمونها. في هذا القسم سوف نرى كيفية استخدام الكمبيوتر لحساب الكلمات في النص في مجموعة متنوعة من الطرق المفيدة. كما كان من قبل، سوف تقفز الحق في والتجربة مع مترجم بايثون، على الرغم من أنك قد لا درس بايثون بشكل منهجي حتى الان. اختبار تفهمك عن طريق تعديل الأمثلة، ومحاولة التدريبات في نهاية الفصل. دعونا نبدأ من خلال معرفة طول النص من البداية الى النهاية، من حيث الكلمات وعلامات الترقيم التي تظهر. نحن نستخدم مصطلح لين للحصول على طول شيء ما ينطبق هنا أيضا على سفر التكوين: حتى سفر التكوين لديها 44،764 الكلمات وعلامات الترقيم، أو quottokens. quot رمزية هو الاسم التقني لسلسلة من الأحرف 8212 مثل شعر . له . أو :) 8212 أننا نريد أن تعامل كمجموعة. عندما نحسب عدد الرموز في نص، مثلا، عبارة "أو لا تكون". ونحن نعول حدوث هذه التتابعات. وهكذا، في عبارة المثال لدينا هناك حدثين ل. اثنين من. وواحدة لكل منها أو لا. ولكن هناك أربعة فقط مفردات متميزة في هذه العبارة. كم عدد الكلمات المميزة التي يحتوي عليها سفر التكوين لكي نعمل على ذلك في بايثون، علينا أن نطرح السؤال بشكل مختلف قليلا. المفردات من النص هو مجرد مجموعة من الرموز التي يستخدمها، لأنه في مجموعة، يتم انهيار جميع التكرارات معا. في بيثون يمكننا الحصول على البنود المفردات من النص 3 مع الأمر: مجموعة (text3). عند القيام بذلك، فإن العديد من الشاشات من الكلمات تطير الماضي. الآن حاول ما يلي: عن طريق التفاف فرزها () حول مجموعة التعبير بيثون (text3). ونحن الحصول على قائمة فرزها من المفردات البنود، بدءا من مختلف رموز الترقيم والاستمرار مع الكلمات بدءا من A. جميع الكلمات المترجمة تسبق الكلمات الصغيرة. نكتشف حجم المفردات بشكل غير مباشر، من خلال طلب عدد من العناصر في المجموعة، ومرة ​​أخرى يمكننا استخدام لين للحصول على هذا الرقم. على الرغم من أنه يحتوي على 44،764 رمز، هذا الكتاب يحتوي فقط على 2789 كلمة متميزة، أو أنواع الكلمات الدليلية. كوت نوع الكلمة هو شكل أو هجاء الكلمة بشكل مستقل عن أحداث محددة في النص 8212 وهذا هو، الكلمة تعتبر عنصرا فريدا من مفردات اللغه. سيكون لدينا عدد من 2779 البنود تشمل رموز الترقيم، ولذا فإننا سوف ندعو عموما هذه الأنواع فريدة من نوعها أنواع بدلا من أنواع الكلمات. الآن، يتيح حساب قياس الثراء المعجمي للنص. المثال التالي يوضح لنا أن كل كلمة تستخدم 16 مرة في المتوسط ​​(نحن بحاجة للتأكد من أن بيثون يستخدم تقسيم النقطة العائمة): لاحظ أن فهارسنا تبدأ من الصفر: أرسل عنصر صفر، مكتوب أرسل 0. هي الكلمة الأولى، word1. في حين أن العنصر المرسل 9 هو الكلمة 10. والسبب بسيط: لحظة بيثون يصل إلى محتوى قائمة من ذاكرة أجهزة الكمبيوتر، هو بالفعل في العنصر الأول لدينا أن أقول لكم كم من العناصر إلى الأمام للذهاب. وهكذا، صفر خطوات إلى الأمام يترك الأمر في العنصر الأول. هذه الممارسة من العد من الصفر هي مربكة في البداية، ولكن نموذجية من لغات البرمجة الحديثة. سوف تحصل بسرعة على تعليق منه إذا كنت تتقن نظام عد القرون حيث 19XY هو عام في القرن ال 20، أو إذا كنت تعيش في بلد حيث الأرضيات من مبنى مرقمة من 1، وحتى المشي حتى N-1 رحلات الدرج يأخذك إلى مستوى ن. الآن، إذا استخدمنا بطريق الخطأ فهرس كبير جدا، نحصل على خطأ: هذه المرة ليست خطأ في البنية، لأن جزء البرنامج صحيح من الناحية التركيبية. بدلا من ذلك، هو خطأ وقت التشغيل. وتنتج رسالة تراسيباك يظهر سياق الخطأ، متبوعا باسم الخطأ، إندكسيرور. وشرح موجز. دعونا نلقي نظرة فاحصة على تشريح، وذلك باستخدام الجملة الاصطناعية لدينا مرة أخرى. وهنا نتحقق من أن الشريحة 5: 8 تتضمن العناصر المرسلة في الفهارس 5 و 6 و 7: يمكننا تعديل عنصر من القائمة عن طريق تعيين أحد قيم الفهرس. في المثال التالي، نضع sent0 على يسار علامة يساوي. يمكننا أيضا استبدال شريحة كاملة مع مواد جديدة. نتيجة لهذا التغيير الأخير هو أن القائمة فقط أربعة عناصر، والوصول إلى قيمة لاحقة يولد خطأ. دورك: يستغرق بضع دقائق لتحديد جملة خاصة بك وتعديل الكلمات الفردية ومجموعات من الكلمات (شرائح) باستخدام نفس الأساليب المستخدمة في وقت سابق. تحقق من فهمك من خلال محاولة التدريبات على القوائم في نهاية هذا الفصل. من بداية 1.1. كان لديك الوصول إلى النصوص التي تسمى text1. النص 2. وما إلى ذلك وهلم جرا. أنها أنقذت الكثير من الكتابة لتكون قادرة على الرجوع إلى كتاب 250،000 كلمة مع اسم قصير مثل هذا بشكل عام، ونحن يمكن أن تشكل أسماء لأي شيء نهتم لحساب. لقد فعلنا ذلك في الأقسام السابقة، على سبيل المثال. تعريف متغير مرسل 1. على النحو التالي: هذه الخطوط لها شكل: تعبير متغير. سيقوم بيثون بتقييم التعبير، وحفظ النتيجة إلى المتغير. وتسمى هذه العملية التخصيص. أنها لا تولد أي الناتج لديك لكتابة المتغير على سطر من تلقاء نفسها لتفقد محتوياته. علامة متساوية مضللة بعض الشيء، لأن المعلومات تتحرك من الجانب الأيمن إلى اليسار. قد يساعد على التفكير في ذلك باعتباره السهم الأيسر. يمكن أن يكون اسم المتغير أي شيء تريده، على سبيل المثال. ميسنت. جملة او حكم على . زيززي. يجب أن تبدأ بحرف، ويمكن أن تشمل الأرقام والشرطات السفلية. في ما يلي بعض الأمثلة للمتغيرات والمهام: تذكر أن الكلمات التي يتم رسملتها تظهر قبل الكلمات الصغيرة في القوائم المصنفة. لاحظ في المثال السابق أننا قسمنا تعريف ميسنت على سطرين. يمكن تقسيم تعبيرات بيثون عبر خطوط متعددة، طالما أن هذا يحدث في أي نوع من الأقواس. بيثون يستخدم كوت. كوت موجه للإشارة إلى أنه من المتوقع المزيد من الإدخال. لا يهم كم يتم استخدام المسافة البادئة في خطوط الاستمرارية هذه، ولكن بعض المسافة البادئة تجعلها أسهل في القراءة. فمن الجيد أن تختار أسماء متغيرة ذات مغزى لتذكيرك 8212 ومساعدة أي شخص آخر يقرأ رمز بيثون الخاص بك 8212 ما هو المقصود من التعليمات البرمجية الخاصة بك القيام به. بيثون لا تحاول أن تجعل من معنى الأسماء التي تتبع بشكل أعمى التعليمات الخاصة بك، ولا يعترض إذا كنت تفعل شيئا مربكا، مثل واحد أو اثنين 3. القيد الوحيد هو أن اسم متغير لا يمكن أن يكون أي من الكلمات المحجوزة بيثونس، مثل ديف. إذا . ليس . والاستيراد. إذا كنت تستخدم كلمة محجوزة، سيصدر بيثون خطأ في بناء الجملة: احرص على اختيار أسماء (أو معرفات) لمتغيرات بيثون. أولا، يجب أن تبدأ اسم مع حرف، تليها اختياريا الأرقام (0 إلى 9) أو الحروف. وبالتالي، abc23 على ما يرام، ولكن 23abc سوف يسبب خطأ في بناء الجملة. الأسماء حساسة لحالة الأحرف، مما يعني أن ميفار و ميفار متغيرات متميزة. لا يمكن أن تحتوي الأسماء المتغيرة على مسافة بيضاء، ولكن يمكنك فصل الكلمات باستخدام شرطة سفلية، على سبيل المثال. ميفار. يجب الحرص على عدم إدراج واصلة بدلا من تسطير أسفل السطر: ماي-فار غير صحيح، لأن بيثون يفسر كوت - كوت كعلامة ناقص. بعض الأساليب التي استخدمناها للوصول إلى عناصر قائمة تعمل أيضا مع الكلمات الفردية، أو السلاسل. على سبيل المثال، يمكننا تعيين سلسلة إلى متغير. فهرسة سلسلة. وشريحة سلسلة: يمكننا أيضا إجراء الضرب وإضافة مع السلاسل: يمكننا الانضمام إلى الكلمات من قائمة لجعل سلسلة واحدة، أو تقسيم سلسلة في قائمة، على النحو التالي: سوف نعود إلى موضوع السلاسل في 3. في الوقت الحاضر، لدينا اثنين من اللبنات الهامة 8212 القوائم والخيوط 8212 وعلى استعداد للعودة إلى بعض تحليل اللغة. 1.3 الحوسبة مع اللغة: إحصاءات بسيطة يتيح العودة إلى استكشافنا من الطرق التي يمكن أن تجلب مواردنا الحسابية لتحمل على كميات كبيرة من النص. بدأنا هذه المناقشة في 1.1. ورأى كيفية البحث عن الكلمات في السياق، وكيفية تجميع المفردات من النص، وكيفية إنشاء نص عشوائي في نفس النمط، وهلم جرا. في هذا القسم نلتقط مسألة ما يجعل النص متميزا، واستخدام الطرق التلقائية للعثور على الكلمات المميزة والتعابير من النص. كما هو الحال في 1.1. يمكنك محاولة ميزات جديدة من لغة بايثون عن طريق نسخها إلى مترجم، وعليك معرفة المزيد عن هذه الميزات بشكل منهجي في القسم التالي. قبل مواصلة المتابعة، قد ترغب في التحقق من فهمك للجزء الأخير من خلال التنبؤ الناتج من التعليمات البرمجية التالية. يمكنك استخدام مترجم للتحقق ما إذا كنت حصلت عليه الحق. إذا لم تكن متأكدا من كيفية القيام بهذه المهمة، سيكون من الجيد مراجعة القسم السابق قبل مواصلة المتابعة. توزيعات التردد كيف يمكننا التعرف تلقائيا على كلمات النص الأكثر إفادة حول الموضوع ونوع النص تخيل كيف يمكن أن تذهب حول العثور على 50 الكلمات الأكثر شيوعا من الكتاب. طريقة واحدة هي للحفاظ على رصيد لكل عنصر المفردات، كما هو موضح في 1.3. سوف تحتاج إلى رصيد الآلاف من الصفوف، وسوف تكون عملية شاقة للغاية 8212 حتى شاقة أننا نفضل بدلا من تعيين المهمة إلى آلة. الشكل 1.3. عد الكلمات تظهر في نص (توزيع التردد) يعرف الجدول 1.3 بتوزيع التردد. ويخبرنا تردد كل بند المفردات في النص. (بشكل عام، يمكن أن تعول أي نوع من حدث يمكن ملاحظته.) وهو كوديستريبوتيونكوت لأنه يخبرنا كيف يتم توزيع العدد الإجمالي للالكلمات الرموز في النص عبر البنود المفردات. وبما أننا غالبا ما تحتاج توزيعات التردد في معالجة اللغة، نلتك يوفر المدمج في دعم لهم. يتيح استخدام فركديست للعثور على 50 الكلمات الأكثر شيوعا من موبي ديك. محاولة العمل على ما يجري هنا، ثم قراءة التفسير الذي يلي. عندما نستشهد أولا فركديست. نحن نمر باسم النص كحجة. يمكننا فحص العدد الإجمالي للكلمات (كوتوتيسكوت) التي تم عدها 8212 260،819 في حالة موبي ديك. تعطينا مفاتيح التعبير () قائمة بجميع الأنواع المميزة في النص. ونحن يمكن أن ننظر في أول 50 من هذه عن طريق تشريح القائمة. دورك: جرب مثال توزيع التردد السابق لنفسك، للنص 2. كن حذرا لاستخدام الأقواس الصحيحة والأحرف الكبيرة. إذا تلقيت رسالة خطأ نيميرور: نيم فريكديست غير معرف. تحتاج إلى بدء عملك مع من nltk. book استيراد هل أي كلمات المنتجة في المثال الأخير تساعدنا على فهم الموضوع أو النوع من هذا النص كلمة واحدة فقط، الحيتان. هو بالمعلومات قليلا أنه يحدث أكثر من 900 مرة. بقية الكلمات تخبرنا شيئا عن النص هم فقط cplplumbing. quot الإنجليزية ما نسبة النص يتم تناولها مع مثل هذه الكلمات يمكننا توليد مؤامرة تردد التراكمي لهذه الكلمات، وذلك باستخدام fdist1.plot (50، التراكمي). لإنتاج الرسم البياني في 1.4. هذه الكلمات 50 تمثل ما يقرب من نصف الكتاب الشكل 1.4. التكرار التراكمي مؤامرة ل 50 الأكثر شيوعا الكلمات في موبي ديك. وهذه تمثل ما يقرب من نصف الرموز. إذا كانت الكلمات المتكررة لا تساعدنا، ماذا عن الكلمات التي تحدث مرة واحدة فقط، ما يسمى هاباكسيس. عرض لهم عن طريق كتابة fdist1.hapaxes (). تحتوي هذه القائمة على قاموس معجم. cetological. الممنوعات. expostulations. وحوالي 9000 آخرين. يبدو أن هناك الكثير من الكلمات النادرة، وبدون رؤية السياق نحن ربما لا يمكن تخمين ما نصف هاباكسيس يعني في أي حال لأنه لا الكلمات المتكررة ولا نادرة مساعدة، ونحن بحاجة لمحاولة شيء آخر. غرامة الحبيبات اختيار الكلمات بعد ذلك، دعونا ننظر إلى الكلمات الطويلة من النص ربما هذه ستكون أكثر مميزة وغنية بالمعلومات. لهذا نكيف بعض التدوين من نظرية مجموعة. نود أن نجد الكلمات من المفردات من النص التي هي أكثر من 15 حرفا طويلة. يتيح استدعاء هذه الخاصية P. بحيث P (w) صحيح إذا وفقط إذا w هو أكثر من 15 حرفا. الآن يمكننا التعبير عن كلمات الفائدة باستخدام تدوين رياضي مجموعة كما هو مبين في (1A). وهذا يعني مجموعة من كل ث ث ث هو عنصر من V (المفردات) و w لديه الخاصية P كوت. من هذا نرى أن طول الكلمة الأكثر شيوعا هو 3، وأن الكلمات من طول 3 حساب ما يقرب من 50،000 (أو 20) من الكلمات التي تشكل الكتاب. وعلى الرغم من أننا لن نتبعها هنا، فإن المزيد من التحليل لطول الكلمات قد يساعدنا على فهم الاختلافات بين المؤلفين أو الأنواع أو اللغات. 1.2 يلخص الوظائف المحددة في توزيعات التردد. هذه التعبيرات لها شكل f (w) ل. أو w. f () ل. . حيث f هي الدالة التي تعمل على كلمة لحساب طولها، أو لتحويله إلى الأحرف الكبيرة. في الوقت الراهن، أنت لا تحتاج إلى فهم الفرق بين الرموز و (ث) و w. f (). بدلا من ذلك، ببساطة تعلم هذا المصطلح بايثون الذي يؤدي نفس العملية على كل عنصر من عناصر القائمة. في الأمثلة السابقة، يمر كل كلمة في النص 1. وتعيين كل واحد بدوره إلى المتغير ث وأداء العملية المحددة على المتغير. ويسمى التدوين الموصوف للتو قائمة كومبريهنزيون. كوت هذا هو مثالنا الأول على لغة بيثون، وهي عبارة عن تدوين ثابت نستخدمه عادة دون أن يكلف نفسه عناء التحليل في كل مرة. اتقان هذه التعابير هو جزء مهم من أن تصبح مبرمج بيثون بطلاقة. يتيح العودة إلى مسألة حجم المفردات، وتطبيق نفس المصطلح هنا: الآن أننا لسنا الكلمات المزدوجة العد مثل هذا وهذا. والتي تختلف فقط في الكتابة بالأحرف الكبيرة، مسحنا 2،000 من عدد المفردات يمكننا أن نذهب خطوة أبعد والقضاء على الأرقام وعلامات الترقيم من عدد المفردات عن طريق تصفية أي العناصر غير الأبجدية: هذا المثال هو معقد قليلا: أنه يقلل كل العناصر الأبجدية بحتة . ربما كان من الأسهل مجرد حساب العناصر الصغيرة فقط، ولكن هذا يعطي إجابة خاطئة (لماذا). لا تقلق إذا كنت لا تشعر بالثقة مع قائمة الفهم حتى الآن، لأنك سوف نرى العديد من الأمثلة جنبا إلى جنب مع شرح في الفصول التالية. كتل التعليمات البرمجية المتداخلة تسمح معظم لغات البرمجة لنا بتنفيذ كتلة من التعليمات البرمجية عند التعبير الشرطي. أو إذا كان البيان، راض. رأينا بالفعل أمثلة من الاختبارات المشروطة في التعليمات البرمجية مثل ث ل w في sent7 إذا لين (ث) لوت 4. في البرنامج التالي، قمنا بإنشاء متغير يسمى كلمة تحتوي على القط قيمة السلسلة. يقوم كشف إف بالتحقق مما إذا كان اختبار لين (ورد) لوت 5 صحيحا أم لا. هو، لذلك يتم استدعاء الجسم من بيان إف ويتم تنفيذ بيان الطباعة، وعرض رسالة إلى المستخدم. تذكر أن تدون عبارة الطباعة عن طريق كتابة أربع مسافات. وهذا ما يسمى حلقة لأن بايثون ينفذ الرمز بطريقة دائرية. ويبدأ من خلال تنفيذ كلمة التكليف دعوة. بشكل فعال باستخدام كلمة فاريابل لتسمية العنصر الأول من القائمة. ثم، فإنه يعرض قيمة كلمة للمستخدم. بعد ذلك، فإنه يعود إلى البيان، وينفذ كلمة التعيين لي. قبل عرض هذه القيمة الجديدة للمستخدم، وهلم جرا. وتستمر هذه الطريقة حتى تتم معالجة كل بند من عناصر القائمة. الحلقات مع الشروط الآن يمكننا الجمع بين إف وبالنسبة للبيانات. سنقوم حلقة فوق كل بند من القائمة، وطباعة هذا البند إلا إذا كان ينتهي مع حرف ل. حسنا اختيار اسم آخر للمتغير لإثبات أن بايثون لا تحاول أن تجعل معنى الأسماء المتغيرة. ستلاحظ أنه إذا ولكل بيانات لها القولون في نهاية السطر، قبل بدء المسافة البادئة. في الواقع، جميع هياكل التحكم بايثون تنتهي مع القولون. يشير القولون إلى أن البيان الحالي يتعلق بالكتلة المسننة التالية. يمكننا أيضا تحديد الإجراء الذي يجب اتخاذه إذا لم يتم استيفاء شرط بيان إف. هنا نرى بيان إليف (إلس إف)، وبيان آخر. لاحظ أن هذه لها أيضا القولون قبل رمز المسافة البادئة. 1.5 التلقائي فهم اللغة الطبيعية لقد تم استكشاف اللغة من أسفل إلى أعلى، مع مساعدة من النصوص ولغة البرمجة بايثون. ومع ذلك، كانت مهتمة أيضا في استغلال معرفتنا للغة والحساب من خلال بناء تقنيات لغة مفيدة. حسنا أغتنم هذه الفرصة الآن للتراجع عن نيتي-غريتي من التعليمات البرمجية من أجل رسم صورة أكبر من معالجة اللغة الطبيعية. على مستوى عملي بحت، ونحن جميعا بحاجة إلى مساعدة للتنقل في الكون من المعلومات المحجوزة في النص على شبكة الإنترنت. وكانت محركات البحث حاسمة لنمو وشعبية الويب، ولكن لديها بعض أوجه القصور. فإنه يأخذ المهارة والمعرفة، وبعض الحظ، لاستخراج إجابات على مثل هذه الأسئلة مثل: ما المواقع السياحية يمكنني زيارة بين فيلادلفيا وبيتسبرغ على ميزانية محدودة ماذا يقول الخبراء عن كاميرات سلر الرقمية ما هي التوقعات عن سوق الصلب مصنوعة من قبل مصداقية المعلقين في الأسبوع الماضي الحصول على جهاز كمبيوتر للرد عليها تلقائيا ينطوي على مجموعة من المهام معالجة اللغة، بما في ذلك استخراج المعلومات والاستدلال والتلخيص، وسوف تحتاج إلى أن تنفذ على نطاق ومع مستوى من المتانة التي لا تزال خارجة عن القدرات الحالية. على مستوى أكثر فلسفية، كان تحديا طويل الأمد في الذكاء الاصطناعي لبناء آلات ذكية، وجزء كبير من السلوك الذكي هو فهم اللغة. لسنوات عديدة كان ينظر إلى هذا الهدف على أنه من الصعب جدا. ومع ذلك، ومع ازدياد نضج تكنولوجيات البرمجة اللغوية العصبية، وأصبحت الأساليب القوية لتحليل النص غير المقيد أكثر انتشارا، فإن احتمال فهم اللغة الطبيعية قد برز كهدف معقول. في هذا القسم نحن تصف بعض تقنيات فهم اللغة، لتعطيك شعورا من التحديات المثيرة للاهتمام التي تنتظر لك. كلمة الإحساس بالتشويه في كلمة بمعنى الكلمة نحن نريد أن نعمل على أي معنى كلمة كان المقصود في سياق معين. النظر في الكلمات غامضة تخدم وطبق: تخدم. مساعدة مع الطعام أو الشراب عقد مكتب وضع الكرة في اللعب الطبق. طبق لوحة من جهاز الاتصالات وجبة في الجملة التي تحتوي على عبارة: خدم الطبق. يمكنك الكشف عن أن كلا خدمة وطبق يتم استخدامها مع معانيها الغذائية. ومن غير المرجح أن تحول موضوع المناقشة من الرياضة إلى الأواني الفخارية في ثلاث كلمات. وهذا من شأنه أن يجبرك على اختراع صور غريبة، مثل الموالية التنس الخروج من الإحباط على مجموعة الشاي الصين وضعت بجانب المحكمة. وبعبارة أخرى، نقوم تلقائيا بتطهير الكلمات باستخدام السياق، واستغلال حقيقة بسيطة أن الكلمات القريبة لها معاني وثيقة الصلة. وكمثال آخر على هذا التأثير السياقي، فكر في كلمة ". التي لها عدة معان، على سبيل المثال. كتاب تشسترتون (وكيل 8212 تشسترتون كان مؤلف الكتاب) كوب من موقد (مكاني 8212 الموقد حيث الكأس هو) وتقديم بحلول يوم الجمعة (الزمانية 8212 الجمعة هو وقت تقديم). لاحظ في (3 ج) أن معنى الكلمة مائل يساعدنا على تفسير معنى من قبل. تم العثور على الأطفال المفقودين من قبل الباحثين (أجنتيف) تم العثور على الأطفال المفقودين من قبل الجبل (مكاني) وجد الأطفال المفقودين في فترة ما بعد الظهر (الزمانية) الضمير قرار وهناك نوع أعمق من فهم اللغة هو العمل من أجل ماذا فعلت ما لمن 8212 أي للكشف عن الموضوعات والأشياء من الأفعال. تعلمت أن تفعل ذلك في المدرسة الابتدائية، ولكن أصعب مما كنت قد تعتقد. في الجملة سرق اللصوص اللوحات فمن السهل أن نقول الذي قام بعمل سرقة. النظر في ثلاث جمل التالية المحتملة في (4C). ومحاولة تحديد ما تم بيعه، واشتعلت، وجدت (حالة واحدة غامضة). سرق اللصوص اللوحات. وتم بيعها فيما بعد. سرق اللصوص اللوحات. وبعد ذلك تم القبض عليهم. سرق اللصوص اللوحات. وقد عثر عليهم فيما بعد. الإجابة على هذا السؤال ينطوي على إيجاد سابقة للضمير. إما اللصوص أو اللوحات. وتشمل الأساليب الحسابية لمعالجة هذه المشكلة أنفورا القرار 8212 تحديد ما الضمير أو عبارة الاسم يشير إلى 8212 ودور الدلالي وضع العلامات 8212 تحديد كيفية عبارة الاسم تتعلق الفعل (كعامل والمريض والأداة، وهلم جرا). توليد مخرجات اللغة إذا كنا نستطيع حل هذه المشاكل من فهم اللغة تلقائيا، سنكون قادرين على الانتقال إلى المهام التي تنطوي على توليد إخراج اللغة، مثل الإجابة على الأسئلة والترجمة الآلية. في الحالة الأولى، يجب أن تكون الآلة قادرة على الإجابة على أسئلة المستخدمين المتعلقة بجمع النصوص: من أجل تحديد ما إذا كانت الفرضية مدعومة بالنص، يحتاج النظام إلى معرفة الخلفية التالية: (1) إذا كان شخص ما مؤلفا من كتاب، ثم هيش قد كتب هذا الكتاب (إي) إذا كان شخص ما هو محرر للكتاب، ثم هيش لم يكتب (كل) أن الكتاب (إي) إذا كان شخص ما هو محرر أو مؤلف من ثمانية عشر كتابا، ثم لا يمكن أن نستنتج أن هيش هو مؤلف ثمانية عشر كتابا. قيود البرمجة اللغوية العصبية على الرغم من التقدم الذي تقوده الأبحاث في مهام مثل التعلم الآني، إلا أن أنظمة اللغات الطبيعية التي تم نشرها للتطبيقات في العالم الحقيقي لا تزال غير قادرة على أداء المنطق المنطقي أو الاعتماد على المعرفة العالمية بطريقة عامة وقوية. يمكننا الانتظار لهذه المشاكل الذكاء الاصطناعي الصعبة التي يتعين حلها، ولكن في هذه الأثناء من الضروري أن نعيش مع بعض القيود الشديدة على المنطق والقدرات المعرفية لنظم اللغة الطبيعية. وبناء على ذلك، فمن البداية، كان أحد الأهداف الهامة لبحوث البرمجة اللغوية العصبية هو إحراز تقدم في المهمة الصعبة المتمثلة في بناء تكنولوجيات تقيد اللغة، باستخدام تقنيات سطحية لكنها قوية بدلا من المعرفة غير المقيدة وقدرات التفكير. في الواقع، هذا هو واحد من أهداف هذا الكتاب، ونأمل أن تجهيز لكم مع المعرفة والمهارات لبناء نظم البرمجة اللغوية العصبية مفيدة، والمساهمة في طموح طويل الأجل لبناء آلات ذكية. 1.6 ملخص تمثل النصوص في بيثون باستخدام القوائم: مونتي. بيثون. يمكننا استخدام الفهرسة والتقطيع والدالة لين () على القوائم. كلمة كوتوكينكوت هو مظهر معين من كلمة معينة في نص كلمة كوتيبيكوت هو شكل فريد من الكلمة باعتبارها تسلسل معين من الحروف. نحن نعول الرموز كلمة باستخدام لين (النص) وأنواع كلمة باستخدام لين (مجموعة (نص)). نحصل على المفردات من النص ر باستخدام فرز (مجموعة (ر)). نحن نعمل على كل بند من نص باستخدام f (x) ل x في النص. لاستخلاص المفردات، وانهيار حالات الاختلاف وتجاهل علامات الترقيم، يمكننا كتابة مجموعة (w. lower () ل w في النص إذا w. isalpha ()). نقوم بمعالجة كل كلمة في نص باستخدام عبارة فور، مثل w في t: أو للكلمة في نص:. يجب أن يتبع ذلك حرف القولون وكتلة مسننة من التعليمات البرمجية، ليتم تنفيذها في كل مرة من خلال حلقة. نحن اختبار شرط باستخدام بيان إف: إذا لين (كلمة) لوت 5:. يجب أن يتبع ذلك حرف القولون وكتلة مسننة من التعليمات البرمجية، ليتم تنفيذها فقط إذا كانت الحالة صحيحة. توزيع التردد عبارة عن مجموعة من العناصر جنبا إلى جنب مع عدد مرات التكرار (على سبيل المثال، كلمات النص وتكرار ظهوره). الدالة هي كتلة من التعليمات البرمجية التي تم تعيين اسم ويمكن إعادة استخدامها. وتعرف الدوال باستعمال الكلمة الدالة ديف، كما في الدالة مولت (x، y) x و y هي معلمات الدالة، وتكون بمثابة عناصر نائبة لقيم البيانات الفعلية. وتسمى الدالة بتحديد اسمها متبوعا بواحدة أو أكثر داخل الأقواس، مثل هذا: مولت (3، 4). مثلا لين (text1). 1.7 مزيد من القراءة أدخل هذا الفصل مفاهيم جديدة في البرمجة، ومعالجة اللغات الطبيعية، واللغويات، كلها مختلطة معا. ويتم توحيد العديد منها في الفصول التالية. ومع ذلك، قد ترغب أيضا في استشارة المواد المتوفرة عبر الإنترنت في هذا الفصل (على العنوان التالي: nltk. org)، بما في ذلك روابط لمواد خلفية إضافية، وروابط إلى أنظمة البرمجة اللغوية العصبية عبر الإنترنت. قد ترغب أيضا في قراءة بعض علم اللغة والمفاهيم المتعلقة البرمجة اللغوية العصبية في ويكيبيديا (على سبيل المثال، التواطؤ، واختبار تورينج، والتمييز نوع رمزية). يجب أن تتعرف على وثائق بيثون المتاحة على docs. python. org. بما في ذلك العديد من الدروس والمواد المرجعية شاملة مرتبطة هناك. يتوفر دليل المبتدئين إلى بيثون على wiki. python. orgmoinBeginnersGuide. يمكن الإجابة على أسئلة متنوعة حول بيثون في الأسئلة الشائعة على python. orgdocfaqgeneral. كما كنت الخوض في نلتك، قد ترغب في الاشتراك في القائمة البريدية حيث يتم الإعلان عن الإصدارات الجديدة من مجموعة الأدوات. There is also an NLTK-Users mailing list, where users help each other as they learn how to use Python and NLTK for language analysis work. Details of these lists are available at nltk. org . For more information on the topics covered in 1.5. and on NLP more generally, you might like to consult one of the following excellent books: Indurkhya, Nitin and Fred Damerau (eds, 2010) Handbook of Natural Language Processing (Second Edition) Chapman amp HallCRC. 2010. (Indurkhya amp Damerau, 2010) (Dale, Moisl, amp Somers, 2000) Jurafsky, Daniel and James Martin (2008) Speech and Language Processing (Second Edition). Prentice Hall. (Jurafsky amp Martin, 2008) Mitkov, Ruslan (ed, 2003) The Oxford Handbook of Computational Linguistics . مطبعة جامعة أكسفورد. (second edition expected in 2010). (Mitkov, 2002) The Association for Computational Linguistics is the international organization that represents the field of NLP. The ACL website ( aclweb. org ) hosts many useful resources, including: information about international and regional conferences and workshops the ACL Wiki with links to hundreds of useful resources and the ACL Anthology. which contains most of the NLP research literature from the past 50 years, fully indexed and freely downloadable. Some excellent introductory Linguistics textbooks are: (Finegan, 2007). (OGrady et al, 2004). (OSU, 2007). You might like to consult LanguageLog. a popular linguistics blog with occasional posts that use the techniques described in this book. 1.8 Exercises 9788 Try using the Python interpreter as a calculator, and typing expressions like 12 (4 1) . 9788 Given an alphabet of 26 letters, there are 26 to the power 10, or 26 10 . ten-letter strings we can form. That works out to 141167095653376L (the L at the end just indicates that this is Pythons long-number format). How many hundred-letter strings are possible 9788 The Python multiplication operation can be applied to lists. What happens when you type Monty. Python 20 . or 3 sent1 9788 Review 1.1 on computing with language. How many words are there in text2 . How many distinct words are there 9788 Compare the lexical diversity scores for humor and romance fiction in 1.1. Which genre is more lexically diverse 9788 Produce a dispersion plot of the four main protagonists in Sense and Sensibility . Elinor, Marianne, Edward, and Willoughby. What can you observe about the different roles played by the males and females in this novel Can you identify the couples 9788 Find the collocations in text5 . 9788 Consider the following Python expression: len(set(text4)) . State the purpose of this expression. Describe the two steps involved in performing this computation. 9788 Review 1.2 on lists and strings. Define a string and assign it to a variable, e. g. mystring My String (but put something more interesting in the string). Print the contents of this variable in two ways, first by simply typing the variable name and pressing enter, then by using the print statement. Try adding the string to itself using mystring mystring . or multiplying it by a number, e. g. mystring 3 . Notice that the strings are joined together without any spaces. How could you fix this 9788 Define a variable mysent to be a list of words, using the syntax mysent quotMyquot. quotsentquot (but with your own words, or a favorite saying). Use. join(mysent) to convert this into a string. Use split() to split the string back into the list form you had to start with. 9788 Define several variables containing lists of words, e. g. phrase1 . phrase2 . وما إلى ذلك وهلم جرا. Join them together in various combinations (using the plus operator) to form whole sentences. What is the relationship between len(phrase1 phrase2) and len(phrase1) len(phrase2) 9788 Consider the following two expressions, which have the same value. Which one will typically be more relevant in NLP Why 9788 We have seen how to represent a sentence as a list of words, where each word is a sequence of characters. What does sent122 do Why Experiment with other index values. 9788 The first sentence of text3 is provided to you in the variable sent3 . The index of the in sent3 is 1, because sent31 gives us the . What are the indexes of the two other occurrences of this word in sent3 9788 Review the discussion of conditionals in 1.4. Find all words in the Chat Corpus ( text5 ) starting with the letter b. Show them in alphabetical order. 9788 Type the expression range(10) at the interpreter prompt. Now try range(10, 20) . range(10, 20, 2) . and range(20, 10, -2) . We will see a variety of uses for this built-in function in later chapters. 9681 Use text9.index() to find the index of the word sunset. Youll need to insert this word as an argument between the parentheses. By a process of trial and error, find the slice for the complete sentence that contains this word. 9681 Using list addition, and the set and sorted operations, compute the vocabulary of the sentences sent1 . sent8 . 9681 What is the difference between the following two lines Which one will give a larger value Will this be the case for other textsThe scikits. timeseries module is no longer undergoing active development. هناك قائمة المعلقة من البق التي من غير المرجح أن تكون ثابتة. وتتمثل الخطة في تنفيذ الوظيفة الأساسية لهذه الوحدة في الباندا. إذا كنت ترغب في رؤية هذه الوحدة تعيش على نحو مستقل عن الباندا، لا تتردد في مفترق رمز واستيلاء عليه. وحدة scikits. timeseries يوفر الطبقات وظائف للتلاعب، وإعداد التقارير، والتآمر سلسلة زمنية من الترددات المختلفة. وينصب التركيز على سهولة الوصول إلى البيانات والتلاعب مع الاستفادة من الوظائف الرياضية القائمة في نامبي و سسيبي. إذا كان السيناريوهات التالية تبدو مألوفة لك، ثم سوف تجد على الأرجح وحدة scikits. timeseries مفيدة: مقارنة العديد من سلسلة زمنية مع نطاقات مختلفة من البيانات (على سبيل المثال أسعار الأسهم) إنشاء قطع الزمن سلسلة مع تسميات محور متباعدة بذكاء تحويل سلسلة زمنية يومية إلى شهريا عن طريق أخذ متوسط ​​القيمة خلال كل شهر العمل مع البيانات التي تحتوي على قيم مفقودة تحديد آخر يوم عمل من الشهر السابق من العمر لأغراض إعداد التقارير حساب الانحراف المعياري المتحرك بكفاءة هذه ليست سوى بعض من السيناريوهات التي يتم إجراؤها بسيطة جدا مع سكيتس. timeseries الوحدة النمطية. كابل بيانات