![M0 | Probability theory | CIV8530 - Structural & System Reliability [English version]](https://i.ytimg.com/vi/4pay1YrXVuo/maxresdefault.jpg)
The inside-outside algorithm computes sentence probabilities under probabilistic context-free grammars (PCFGs) by calculating two dynamic programming tables: inside probabilities (βj(p,q)) represent the probability that non-terminal Nj derives the substring from word p to q, while outside probabilities (αj(p,q)) represent the probability that the entire sentence derives from the start symbol given that Nj derives the substring. These probabilities are computed in a bottom-up manner for inside probabilities and top-down for outside probabilities, enabling efficient computation of sentence probabilities without enumerating all possible parse trees.
PCFGs: Inside-Outside Probabilities Explained | Lecture 25
Added:Understanding of Context-Free Grammars (CFGs), Chomsky Normal Form (CNF), and standard parsing algorithms like the CKY (Cocke-Younger-Kasami) algorithm.
Foundational knowledge of probability theory, including joint, conditional, and marginal probabilities, as well as the chain rule.
Familiarity with Hidden Markov Models (HMMs) and the Forward-Backward algorithm, which serves as the sequential analog to the tree-based Inside-Outside algorithm.
Basic concepts of supervised parameter estimation, such as Maximum Likelihood Estimation (MLE) using annotated treebanks.
Application of the Expectation-Maximization (EM) algorithm for unsupervised grammar induction using the Inside-Outside probabilities.
Exploration of Lexicalized PCFGs (e.g., Collins and Charniak parsers) to address the structural and lexical independence assumptions of standard PCFGs.
Transition to Dependency Parsing models as a computationally efficient alternative to constituency-based PCFG parsing.
Study of Modern Neural PCFGs and deep learning-based parsing techniques that integrate vector representations with probabilistic grammar formalisms.
14.2K views73likes34:12Original Release: 2017-02-15
அனைவருக்கும் வணக்கம். இந்த வாரத்தின் உடைய நான்காவது விரிவுரை க்கு உங்களை மீண்டும் வரவேற்கிறேன். நாம் முந்தைய விரிவுரையில்,PCFG என்றால் என்ன என்பதைப் பற்றி விவாதித்தோம்.
மேலும் நாம் இறுதியாக பதிலளிக்க விரும்புகின்ற சில சுவாரசியமான சிக்கல்களை கொண்டு வந்தோம்.உதாரணமாக கொடுக்கப்பட்ட வாக்கியத்திற்கு,எனது PCFG இலக்கணத்தின் படி பெரும்பாலும் பாகுபடுத்தி என்ன? மற்றும் இலக்கணத்தை பொறுத்து அந்த வாக்கியத்தின் உடைய நிகழ்தகவு என்ன?
இறுதியாக நாம் எனது PCFG யின் விதியின் நிகழ்தகவு களை எவ்வாறு கற்றுக்கொள்வது என்பதையும் தெரிந்து கொள்ள விரும்பினோம்.
உங்களுக்கு நினைவிருந்தால்,கண்டெஸ்ட் பிரீ க்ரேம்ம்ர்(context free grammars)இக்கும் மற்றும் நிகழ்தகவு பதிப்பிற்கும்,உள்ள ஒரே வித்தியாசம் என்னவென்றால், இங்குள்ள அனைத்து உற்பத்தி விதிகளும் நிகழ்தகவு மதிப்பைக் கொண்டுள்ளன. இந்த மதிப்புகளை நான் எவ்வாறு கற்றுக் கொள்வது? இதைத்தான் நாம் இந்த விரிவுரை யிலும் மேலும் அடுத்த விரிவுரையிலும் உள்ளடக்க இருக்கிறோம்.
மேலும் உள்பக்க, வெளிப்பக்க நிகழ்தகவுகள் என்று அழைக்கப்படுகின்ற குறிப்பிட்ட கருத்தையும் பயன்படுத்த இருக்கிறோம். மற்றும் இது HMM க்கான கற்றல் அளவுருக்களின் அடிப்படையில் முன்னோக்கிய பின்னோக்கிய வழிமுறையில் நீங்கள் படிப்பதற்கு மிகவும் ஒத்ததாக இருக்கும். எனவே, நாம் அதற்கு செல்வோம்.
முதல் சிக்கலில் இருந்து தொடங்கி, ஒரு வாக்கியத்தின் பொதுவான பாகுபடுத்தியை நான் எவ்வாறு கண்டுபிடிப்பது?PCFG க்கு,CKY வழிமுறையை நாம் பயன்படுத்துவதன் மூலம் இதை எளிதாக தீர்க்க முடியும்,முந்தைய வகுப்பில் நாம் செய்த உதாரணத்தில் இருந்து, கண்டெஸ்ட் பிரீ க்ரேம்ம்ர்(context free grammars)இக்கு CKY வழி முறையை எவ்வாறு பயன்படுத்துவது என்று நீங்கள் புரிந்து கொண்டீர்கள் என்று இப்போது நான் நம்புகிறேன்.
இன்று அதை PCFG க்கு எவ்வாறு நீட்டிப்பது?என்று உங்களுக்கு நான் காண்பிப்பேன். ஒரு உதாரணத்தை எடுத்துக் கொள்வோம். எனவே, எங்களிடம் இந்த PCFG உள்ளது. ஒவ்வொரு விதியிலும் நீங்கள் இங்கு என்ன பார்க்கிறீர்கள், உங்களிடம் ஒரு விதி நிகழ்தகவு உள்ளது, மேலும் கொடுக்கப்பட்ட வலது புறத்திலிருந்து தொடங்கும் அனைத்து நிகழ்தகவுகளும் 1வரும் வரை சேர்க்கப்படும் என்பதை நீங்கள் சரிபார்க்கலாம்..இப்பொழுது நான் வாக்கியத்தின், அதே வாக்கியம் விமானி பறக்கும் விமானங்களை விரும்புகிறார் என்பதன் பாகுபடுத்தல் என்ன என்பதை கண்டுபிடிக்க விரும்புகிறேன். இந்த முழு வாக்கியத்தையும் 0 முதல் 5 வரை பெறுவதற்காக இறுதி நிலையில் இருப்பதைப் போன்று ஒரு முனையம் அல்லாததைக் கண்டறிவதற்கான நிகழ்தகவு என்ன என்பதை நான் கண்டுபிடிக்க வேண்டும்.எனவே, CKY விஷயத்தில் நாம் செய்ததைப் போலவே நாம் தொடர்கிறோம். எனவே, நான் என்ன செய்வேன்?
நான் அதே உதாரணத்தை எடுத்துக்கொள்கிறேன்.கூடுதலாக CKY ஐ நாம் எவ்வாறு தீர்க்கிறோம் மற்றும் நீங்கள் என்னென்ன விஷயங்கள் இங்கு வித்தியாசமாக செய்ய வேண்டும். இதைத்தான் நாம் கடந்த முறை பார்த்தோம்.
எனவே, நாம் கட்டமைக்க வேண்டும் என்றால், நாம் கண்டுபிடிக்க வேண்டும் என்றால் என்ன.; அந்த வாக்கியம் அந்த முழு விஷயங்களையும் தருவிக்க முடியுமா,நான் 0 1, 1 2, 2 3, 3 4, 4 5 லிருந்து ஆரம்பித்து அதை நிரப்புவேன் பின்னர் மேலும் செல்வேன்.
ஆகவே இந்த PCFG வழக்கில் என்ன வேறுபடுகிறது என்று என்னால் இப்போது சொல்ல முடியும். இப்பொழுது ஒவ்வொரு முனையம் இல்லாததும், நிகழ்தகவுடன் உள்ளது.அதனால் குறிப்பிட்ட முனையம் அல்லது ஒருமுனையங்களின் தொகுப்பை பெற முடியும்.
அது முதல் உறுப்பில் இருந்து ஆரம்பிக்கின்றது.
அதாவது முனையம் அல்லாத DT,a ஐ பெறுவதாக அது சொல்கிறது. இப்போது நான் இங்கே எழுதுவேன், நிகழ்தகவு என்னவாக இருக்கிறது? நீங்கள் உங்களது இலக்கணத்திற்கு சென்றால், DT எனக்கு கொடுக்கும் நிகழ்தகவு 0.3 ஆக உள்ளது. எனவே நான் 0.3 ஐ இங்கு இடுகிறேன்.
இது போலவே இந்த உறுப்பு,NN விமானியை எனக்கு தருவதற்கான நிகழ்தகவு என்ன?,மேலும் நான் எனது இலக்கணத்தை பார்த்தால் அது 0.1 ஆக இருக்கிறது. இதுபோலவே இங்கே, VBZ, விருப்பத்தை தருவதற்கான நிகழ்தகவு என்ன? அது எனக்கு 0.4 ஐ தருகிறது மேலும் இதுபோலவே நான் அனைத்து உறுப்புகளையும் நிரப்புவேன் இப்போது இது சரி.
இப்பொழுது.0 2 என்ற அடுத்த பதிவை எப்படி நிரப்புவது என்று நான் உங்களுக்குக் காட்ட விரும்புகிறேன். முனையம் அல்லாத NP,வரிசையில் ஒரு விமானியை பெறுவதற்கான நிகழ்தகவு என்ன? இப்பொழுது உங்களுக்கு நினைவிருந்தால், ஒரு ஒற்றை முனையம் அல்லாதவை, 2 முனையம் அல்லாதவைகளை பெறமுடியும்; இரண்டு முனையங்கள், இரண்டு முனையம் அல்லாதவைகளின் வழியாக மட்டுமே தர முடியும்., இது முதலில் X01, X12 ஐப் பெற வேண்டும், பின்னர் இவை ஒவ்வொன்றும் தனித்தனியாக ஒரு N விமானியைப் பெறும். நான் இந்த நிகழ்தகவு மதிப்புகளை எப்படி நிரப்ப முடியும்?
இந்த நிகழ்தகவு அதாவது NP,DT NNஐ பெறுகிறது.DT,a மடங்கு நிகழ்தகவு களை பெறுகிறது, NN விமானியை பெறுகிறது. இந்த நிகழ்தகவை நான் எனது PCFG இலிருந்து பெறமுடியும். ஆக இந்த நிகழ்தகவை நான் எனது இலக்கணத்தில் பார்த்தால் அது 0.3 ஆக இருக்கிறது. இந்த நிகழ்தகவை நான் ஏற்கனவே 0.3 என நிரப்பி இருக்கின்றேன்.
மேலும் இந்த நிகழ்தகவு கூட நான் நிரப்பிய 0.1 ஆக இருக்கிறது . NP,விமானியை பெறுவதற்கான நிகழ்தகவு இங்கே 9x10-3 என்று வந்திருக்கிறது மேலும் அதை நான் இங்கே நிரப்புகிறேன் மற்றும் இதே முறையில் நீங்கள் அனைத்து பதிவுகளையும் நிரப்பலாம்.அது 5 ஆக இருந்தால், அதன் பொருளாவது நிகழ்தகவு 0 ஆக இருக்கும்.மேலும் அங்கே ஒரு முனையம் அல்லாதவை இருந்தால் அதன் பொருள் ஆவது, அதன் பொருளாவது அவற்றிற்கு நிச்சயம் நிகழ்தகவு இருக்கலாம். இவற்றின் ஒவ்வொன்றிற்கும் தனித்தனியாக நிகழ்தகவைக் கண்டறிந்து இந்த விதியின் நிகழ்தகவைப் பெருக்குவதன் மூலம் நீங்கள் பெறலாம்.இதே வழியில் நாம் முதல் உறுப்பிலிருந்து ஆரம்பித்து பின்னர் அடுத்த உறுப்பு மற்றும் பலவற்றை கீழிருந்து மேல் நோக்கும் பாணியில் நீங்கள் படிப்படியாக கட்டமைக்க முடியும் முந்தைய வகுப்புகளில் இதேபோன்று அதை நாம் செய்ததை நினைவில் கொள்க. நிகழ்தகவு களும் மற்றும் பல செயல்பாட்டு நிகழ்தகவு களும் மட்டுமே மாறுகின்றன, ஒருவேளை நீங்கள் அதை இந்த உதாரணத்திற்கு செய்தால், இதை கண்டுபிடிக்க முடியும். இவைகள்தான் நீங்கள் கொண்டு வரும் விதி நிகழ்தகவுகள்.எனவே, இதை நீங்கள் சொந்தமாக முயற்சி செய்ய வேண்டும் என்று உங்கள் அனைவரையும் நான் ஊக்குவிப்பேன். ஸ்லைடில் (slide) காட்டப்பட்டுள்ள அதே மதிப்புகளின் தொகுப்பை நீங்கள் பெறலாம் என்பதைப் பார்க்க.
நாம் இப்போது அடுத்த கேள்விக்கு வருகிறோம்.PCFG எனது இலக்கணமாக எனக்கு கொடுக்கப்பட்டால், இந்த வாக்கியத்தின் நிகழ்தகவு என்ன என்பதை,நான் எப்படி கண்டுபிடிப்பேன். ஒரு எளிய தீர்வாவது நீங்கள் எப்பொழுதும் அனைத்து சாத்தியமான பாகுபடுத்தி மரங்களையும் கண்டுபிடிப்பது ஆகும். பாகுபடுத்தி மரங்கள் உடைய நிகழ்தகவை கண்டுபிடித்து பின்பு அவற்றை இந்த வழியில் சேர்க்க வேண்டும். ஆனால் அதிக எண்ணிக்கையிலான பாகுபடுத்தும் மரங்கள் இருந்தால் இது திறமையற்றதாக இருக்கலாம், அறிமுக ஸ்லைடுகளில்(slide) ஒன்றை நீங்கள் நினைவில் வைத்திருந்தால், வாக்கியத்தில் உள்ள சொற்களின் எண்ணிக்கையையோ அல்லது சொற்றொடர்களின் எண்ணிக்கையையோ அதிகரிக்கும்போது, சாத்தியமான பாகுபடுத்திகளின் எண்ணிக்கையும் தோராயமாக, அதிவேகமாக அதிகரிக்கும் என்று நாம் கூறினோம்.
அவைகளின் குழுவுடன் பெக்லெட்(Peclet) எண் போன்ற ஒன்று இருந்தது, அது 100 கும் மேற்பட்ட பாகுபடுத்திகளுக்கு செல்லலாம்.
எனவே நீங்கள் நிகழ்தகவை கூட்டாக பெற விரும்பவில்லை.
தனித்தனி நிகழ்தகவாக பெற்று பின்னர் அவற்றை கூட்டலாம். அதாவது அதை விட திறமையான ஒன்றை நீங்கள் செய்ய விரும்புகிறீர்கள், அதை எவ்வாறு நாம் செய்வது? மேலும் அதற்காகத்தான் இந்த விரிவுரையில் முக்கிய தலைப்புகளில் ஒன்றான,உள்பக்க வழிமுறையை நாம் பயன்படுத்துகிறோம். உள்பக்க வழிமுறை என்றால் என்ன? இதுதான் உள்பக்க, வெளிப்பக்க நிகழ்தகவுகளின் கருத்தை அடிப்படையாகக் கொண்ட சில டைனமிக் ப்ரோக்ராம்(dynamic programming) வழிமுறை ஆகும்.
இப்பொழுது உள்பக்க வெளிப்பக்க நிகழ்தகவு என்றால் என்ன? என்பதை நான் அறிமுகப்படுத்த முயற்சிப்பேன். இது இந்த விரிவுரையையும்,அடுத்த விரிவுரையையும் புரிந்து கொள்வதற்கு முக்கிய மையமாக இருக்கிறது எனவே நாம் அதை புரிந்து கொள்வதற்கு முயற்சி செய்வோம். உங்களுக்கு உதவக்கூடிய கருத்து என்ன?.இது HMF என் விஷயத்தில் நாம் செய்த முன்னோக்கிய பின்னோக்கிய வழிமுறையின் கருத்தை மிக மிக ஒத்திருக்கிறது.
எனவே உள்பக்க வெளிப்பக்க நிகழ்தகவு என்றால் என்ன? எனது மரத்தின் குறிப்பிட்ட முனைக்கு இது அளவுருவாக்கப்பட என்னால் முடியும்.
எனவே, இந்த படத்தில் நீங்கள் காண்பது என்னவென்றால், எனக்கு W 1 முதல் W m வரை ஒரு வாக்கியம் உள்ளது.எனது இலக்கணத்தைப் பயன்படுத்தி சொற்களின் முழு வரிசையையும் பெறும் முனையம் அல்லாதவை என்று நீங்கள் நினைக்கக்கூடிய முனையம் அல்லாததாக N 1 இருக்கிறது.
இப்போது நான் ஒரு அளவுருவை இங்கே இடுகிறேன்.
அதாவது Nj. Nj என்பது ஒரு குறிப்பிட்ட முனையம் அல்லாதவை. அது NP VP அல்லது வேறு பலவாக இருக்க முடியும்.நான் இங்கு என்ன சொல்கிறேன் என்றால் அதாவது அங்கே ஒரு முனையம் அல்லாத Nj,ஆனது W p முதல் W q வரையான வரிசையைப் பெறுகிறது.
மீண்டும் p மற்றும் q தன்னிச்சையான வை.
நீங்கள் எந்த p ஐயும் 1 முதல் m-1 வரை எடுக்க முடியும் ஆக இங்கே நான் என்ன அளவுருவாக்குகிறேன் என்றால், அதாவது Nj,ஆனது W p முதல் W q வரையான வரிசையைப் பெறுகிறது இப்போது அதைப் பொறுத்து, நான் எனது உள்பக்க நிகழ்தகவுகளையும் மற்றும் எனது வெளிப்பக்க நிகழ்தகவுகளையும் வரையறுக்கின்றேன்.ஆக இது உங்களுக்கு வெளிப்பக்கம் உள்ள ஒன்று அது உங்களுக்கு உள்ளே உள்ள ஒன்று. எனது உள்பக்க மற்றும் வெளிப்பக்க நிகழ்தகவுகளை நான் எப்படி வரையறை செய்வேன்? ஆக வெளிப்பக்க நிகழ்தகவு என்பது N1 இருந்து ஆரம்பிக்கின்றது.
நான் W1 முதல் Wp-1 வரையான வரிசையை பெறமுடியும்.
நான் இந்த Nj என்ற முனையம் அல்லாதவையை மற்றும் Wq+1முதல் Wm வரையானவையை பெறமுடியும்.இது எனது வெளிப்பக்க நிகழ்தகவு மற்றும் உள்பக்க நிகழ்தகவு எனது இலக்கணத்தின்படி நான் W p க்கு W q ஐப் பெறக்கூடிய நிகழ்தகவு இந்த Nj க்கு வழங்கப்படுகிறது. இது அதே மாதிரியான யோசனைகளைப் பின்பற்றும், என்னால் உள்பக்க மற்றும் வெளிப்பக்க நிகழ்தகவு களை பெருக்க முடிந்தால். அது இந்த குறிப்பிட்ட j வது முனையம் அல்லாத அளவுருவாக்கப்பட்ட,வாக்கியத்தின் நிகழ்தகவு போன்ற ஒன்றைக் கொடுக்கும்.எனவே, முறைப்படி நான் வெளிப்பக்க மற்றும் உள்பக்க நிகழ்தகவுகளை எழுத முடியும். வெளிப்பக்க நிகழ்தகவு- αj (p,q) ஆனது ஒரு நிலையான வடிவமாக இருக்கிறது, அதில் நாம் p,q வை அளவு உருவாக்கப்பட்ட வரிசையில் Wp,Wq என்று குறிக்க முடியும்.மேலும் j என்பது குறிப்பிட்ட முனையம் அல்லாத Nj வை இங்கே குறிக்கிறது.எனவே வெளிப்பக்க நிகழ்தகவு ஆனது,W1 முதல் Wp-1 வரை, Njpq மற்றும் Wq+1 முதல் m வரை எனது இலக்கணத்தால் உருவாக்கப்படுகின்றது. உள்பக்க நிகழ்தகவு ஆனது,Nj கொடுக்கப்பட்டWp முதல் Wq வரையிலான நிகழ்தகவை உருவாக்குகின்றது. இதுவும் Njpq ஆல் அளவுருவாக்கப்படுகின்றது.ஏனெனில், இது Wp முதல் Wq வரை மற்றும் எனது இலக்கணத்தில் வந்து கொண்டிருக்கிறது. அதனால்தான் நான்,எனது உள்பக்க, வெளிப்பக்க நிகழ்தகவுகளை வரையறுக்கிறேன்.
இப்போது நாம் ஒரு எளிய உதாரணத்தை எடுத்துக் கொள்வோம். “துப்பாக்கி மனிதன் அந்த கட்டிடத்தை தோட்டாக்களுடன் தெளித்தார்” என்ற வாக்கியம் என்னிடத்தில் இருக்கின்றது மேலும் இங்கே p q ஆனது 4 மற்றும் 5 ஆக இருக்கின்றது.
இந்த கட்டிடத்தின் வரிசையைப் பொறுத்து நீங்கள் அளவுருவாக்கம் செய்கிறீர்கள்.அதன்படி குறிப்பிட்ட முனையம் அல்லாத N P ஆனது கட்டிடத்தை பெறுகிறது. இப்போது உள்பக்க நிகழ்தகவு என்று நாம் குறிப்பிடுவது என்ன? உள்பக்க நிகழ்தகவுகள்.இந்த முனையம் அல்லாத NP இந்த இடத்தில் கட்டிடத்தின் வரிசையை பெறுவதற்கான நிகழ்தகவு என்னவோ இதுதான் எனது உள்பக்க நிகழ்தகவு.
இங்கே வெளிப்பக்க நிகழ்தகவு என்றால் என்ன அது N1 இருந்து ஆரம்பிக்கின்றது.நான் “துப்பாக்கி ஏந்தியவர் தெளிக்கிறார் “,NP, மற்றும் “தோட்டாக்களால்” என்ற வரிசை யை பெற முடியும், மேலும் இதுதான் எனது வெளிப்பக்க நிகழ்தகவு ஆக இருக்கிறது.αNP(4,5) என்பது எனது இலக்கணம் கொடுக்கப்பட்ட “துப்பாக்கி மனிதன் தெளிக்க படுகிறார்” NP4,5 மற்றும் “தோட்டாக்களுடன் “ உடைய வரிசையின் நிகழ்தகவு ஆகும்.மேலும் உள்பக்க நிகழ்தகவு,β NP(4,5) என்பது இலக்கணம் கொடுக்கப்பட்ட,”கட்டிடம்” பெறுகின்ற நிகழ்தகவு ஆக இருக்கின்றது.
இப்பொழுது இதுதான் உள்பக்க மற்றும் வெளிப்பக்க நிகழ்தகவு களின் வரையறை ஆகும்.வாக்கியம் கொடுக்கப்பட்டால், உள்பக்க மற்றும் வெளிப்பக்க நிகழ்தகவுகளை நான் உண்மையில் எப்படி கணக்கிடுவது? மேலும் ஒரு வேளை எனக்கு இலக்கணமும் கூட கொடுக்கப்பட்டால், நான் எவ்வாறு கணக்கிடுவது?
j உள்பக்க நிகழ்தகவு க்கு, நாம் உள்பக்க நிகழ்தகவு உடைய வரையறையை பார்ப்போம்.அதாவது β j(p,q) என்பது முனையம் அல்லாத N j(p,q) மற்றும் இலக்கணம் கொடுக்கப்பட்டால்,W p முதல் W q வரையிலான வரிசையைப் பெறுவதற்கான நிகழ்தகவு ஆகும்.இந்த இரண்டு நிகழ்தகவு களையும் மறு பயன்பாட்டு முறையில் நான் பெறுவேன். எனவே, இங்கே அடிப்படை வழக்கு என்னவாக இருக்கும்? இங்கே நீங்கள் பார்க்கின்ற அடிப்படை வழக்கு என்பது p மற்றும் q சமமாக இருக்கும் போது, அதாவது முனையம் அல்லாத ஒன்றிலிருந்து ஒற்றை முனையத்தை நான் பெறுவதாகும். உங்கள் இலக்கணம்,சாம்ஸ்கி(Chomsky) இயல்பான வடிவில் இருந்தால் நீங்கள் இதை எளிதாக கண்டுபிடிக்கலாம்.
இந்த சொல்லைப் பெறும் குறிப்பிட்ட முனையம் அல்லாதது என்ன? இது ஒரு ஒற்றை அடிப்படை சொல்லைப் பெறுவதற்கான அடிப்படை வழக்காக இருக்கும், பின்னர் நான் ஒரு கீழிருந்து மேல் பாணியில்,உயர்ந்த மற்றும் உயர் வரிசை களுக்கான உள்பக்க நிகழ்தகவுகளைப் பெறுவேன்.எனவே இங்கே அடிப்படை வழக்கு p qக்கு சமம் ஆகும் பொழுது இருக்கின்றது.
ஆக βj(k,k) என்பது Nj(k,k) மற்றும் G கொடுக்கப்பட்ட W(k,k) இன் நிகழ்தகவு ஆகும்.இப்பொழுது W(k,k) என்பது k முதல் k வரை உள்ள வரிசையில் ஒற்றை வார்த்தை ஆகும். மேலும் இந்த வார்த்தை W(k,k) பெறுவதற்கு எனது இலக்கணத்தின் பங்கு என்ன என்பதை என்னால் உடனடியாக சொல்ல முடியும்.மேலும் நான் இந்த விதி நிகழ்தகவை இங்கே இடுகிறேன் மற்றும் அது எனக்கு இந்த நிகழ்தகவு βj(k,k) ஐ தருகிறது.
இப்பொழுது உதாரணத்தில், ஒருவேளை இங்கே எனது வார்த்தை “ கட்டிடம்” ஆக இருக்கின்றது.
இது ஐந்தாவது வார்த்தை. நாம் β(5,5) ஐ கணக்கிடுகிறேன்.
ஒருவேளை நான் Nj ஐ NN இக்கு சமமாக எடுத்தால் இந்த வார்த்தையை பெறுகிற முனையம் அல்லாத வற்றிற்கு இது வேலை செய்கிறது.
இந்த வார்த்தை “கட்டிடத்தை” பெறுகின்ற முனையம் அல்லாத NN உடைய நிகழ்தகவை βNN(5,5) என நீங்கள் கணக்கிட முடியும். மேலும் இது எனது இலக்கணத்தில் எளிதாக கொடுக்கப்பட்டுள்ளது. இதுதான் எனது அடிப்படை வழக்கு.
இப்போது, தூண்டல் வழக்கு என்னவாக இருக்கும்?
எனவே, நான் கீழிருந்து மேலாக செல்ல வேண்டும். ஆகவே நாம், ஒரு பொதுவான βj(p,q) வை எடுத்துக்கொள்வோம்.சிறிய மதிப்புகளின் அடிப்படையில் அதை எவ்வாறு பெறுவது?.
அதைச் செய்ய நாம் முயற்சிப்போம்.
நான் βj(p,q) ஐ கணக்கிட வேண்டும் என்று எனக்கு வழங்கப்பட்டால், இதன் அர்த்தம் என்ன?
இதன் பொருள் என்னவென்றால், நான் ஒரு முனையம் அல்லாத Nj ஐக் கொண்டிருக்கிறேன், அது Wp முதல் Wq வரை ஒரு வரிசையை பெறுகிறது, மேலும் இந்த Wp முதல் Wq வரையிலான நிகழ்தகவின் Nj கொடுக்கப்பட்ட, நிகழ்தகவை நான் கணக்கிட வேண்டும்.ஏனென்றால் நான் அதை நடத்துகிறேன், நான் அதை கீழிருந்து மேல் பாணியில் செய்கிறேன், எனவே சரியான குறைந்த மதிப்புகளை நான் பயன்படுத்த வேண்டும்.
நான் முதலில் Nj எனக்கு Nr மற்றும் Ns கொடுக்கமுடியும் என்று சொல்லுவேன் இப்பொழுது Nr ,W p இலிருந்து சில W d வரை பெறப்படுகிறது. இது மிகவும் பொதுவானது.இது என் Nj ஐப் பெறக்கூடிய சாத்தியமான Nr மற்றும் Ns கள் மற்றும் மீண்டும் நான் Wp இலிருந்து எந்த Wd க்கும் செல்லலாம், மேலும் d ஆனது p இல் இருந்து q-1 வரை மாறுவதை உங்களால் பார்க்க முடியும் மேலும் Ns ஆனது,Wd+1 இல் இருந்து Wq வரையில் ஆனதை,எனது சுழல்நிலை வழக்குகளில் கொடுக்கிறது. இப்போது நான் இந்த நிகழ்தகவுகளை எவ்வாறு எழுதுவேன்? Nr மற்றும் Ns இன் முனையம் அல்லாத விதிமுறையை Nj பெறும் முதல் நிகழ்தகவு இது என்று நான் கூறுவேன்.
நிகழ்தகவு N j,N r மடங்கு N s நிகழ்தகவை தருகிறது.
இப்பொழுது இங்கு Nr கொடுக்கப்பட்டிருக்கிறது.Nr கொடுக்கப்பட்ட N r நிகழ்தகவு என்றால் என்ன.அது W p இலிருந்து W d வரை பெறுகிறது.
மீண்டும் இதை நீங்கள் கணக்கிட முடியும்.
மேலும் நீங்கள் இதை உள்பக்க நிகழ்தகவை பயன்படுத்தி வெளிப்படுத்த முடியும். அதாவது βr(p,d).இதுபோலவே இப்பொழுது இந்த βs(d+1,q), நான் காட்டியதில் இருந்து,குறிப்பிட்ட மாறுதல் உடையது.ஆனால் பொதுவாக d என்பது p இலிருந்துq-1 வரை மாறுபடுகிறது மேலும் அவை எந்த சாத்தியமான Nr மற்றும் Ns ஆக இருக்க முடியும்.எனவே நான் இந்தமுழு விஷயங்களை எழுத வேண்டும் நான் அவற்றை X என அழைக்கிறேன். இது p முதல் q - 1 வரை மாறுபடும் மற்றும் சாத்தியமான அனைத்து NrNs கள் மற்றும் X ஐ இங்கே வைக்கிறேன்.
எனவே, இது எனது தூண்டல் படி.
இப்போது, சாத்தியமான அனைத்து r s கள் மற்றும் சாத்தியமான d ஆல் அளவுருவாக்கம் செய்வதன் மூலம் நான் என்ன சொல்கிறேன். எனவே, இந்த எளிய சொற்றொடரை நீங்கள் எடுத்துக் கொண்டால், மிகப்பெரிய கட்டிடம். எனவே, பல்வேறு d ஆல் நான் என்ன சொல்கிறேன்? என்னிடம் இந்தப் “பெரிய கட்டிடம்” d இன் மாறுதல்களால் இருக்கிறது;நான் “அந்த பெரிய” மற்றும் “கட்டிடம்” ஆகியவற்றை சேர்க்கிறேனா அல்லது “அந்த” மற்றும் “பெரிய கட்டிடத்தை” சேர்க்கிறேனா.இதில் இரண்டு சாத்தியமான d உடைய மாறிலிகள் மற்றும் சாத்தியமான அனைத்து Nr மற்றும் Ns கள் மீதும் அளவுருவாக்கம் செய்வதன் மூலம் நான் என்ன சொல்கிறேன். இந்த குறிப்பிட்ட முனையம் அல்லாதவை,இந்த மொத்த விஷயத்தையும் பெறுகின்றன. NP என்பது,NP,DT NN ஐ எனக்கு கொடுப்பதன் மூலமாக வருகிறது இது ஒரு சாத்தியம்.
அதாவது இது DT NN இருக்கிறது. அல்லது அங்கே மற்றொரு விதி இருக்கிறது.NP,DT NNS ஐ எனக்கு தருகிறது இது மற்றொரு சாத்தியம். இதுதான் எல்லா சாத்தியமானNr Ns உடைய அளவு உருவாக்கம் ஆகும் மற்றும் இது சாத்தியமான d ஐ விட அதிகமாக உள்ளது.
இப்போது நீங்கள் அதை முதலில் முனையங்களுக்கு மட்டுமே கணக்கிட முடியும் என்று நாம் பார்த்தோம், பின்னர் மற்ற மதிப்புகளுக்கு கீழிருந்து மேலாக கணக்கிட வேண்டும்.
இப்பொழுது நீங்கள் ஒரு எளிய உதாரணத்தை செய்யுங்கள் இது மீண்டும் நான் முன்னரே பார்த்தது போன்றது. எனக்கு PCFG கொடுக்கப்பட்டுள்ளது மற்றும் இதுதான் எனது வாக்கியம் மேலும் இங்கே நான் உள்பக்க நிகழ்தகவு களை கணக்கிட விரும்புகிறேன் நான் அவற்றை எவ்வாறு செய்வது மேலும் நீங்கள் இந்த அட்டவணையை பார்க்கும்போது, CKY வழிமுறை விஷயத்தில் நாம் செய்ததைப் போலவே நாம் ஏதாவது செய்வோம் என்பதைக் காணலாம்.
ஆனால் இப்போது குறிப்பிட்ட முனையத்திலிருந்து இதைப் பெறுவதற்கான உள்பக்க நிகழ்தகவு என்ன என்பதை நிரப்புவதில் கவனம் செலுத்துவோம்.
எனவே, இங்கே சில பதிவுகளை நிரப்ப முயற்சிப்போம்.
முதலில் 2 ஐ மட்டுமே முயற்சிப்போம், இது “வானியலாளர்கள்” மற்றும் இது “பார்த்தார்கள்” மேலும் நான் உள்பக்க நிகழ்தகவுகளை நிரப்ப வேண்டும். எனவே, இது இப்போது, நிகழ்தகவுக்குள் நாம் வரையறுத்த விதத்தில் இது 1 1 ஆக இருக்கும், இது சொல் 2 முதல் சொல் 2 வரை 2 2 வரிசையாக இருக்கும், இது சொல் 1 முதல் சொல் 2 வரையிலான வரிசையாக இருக்கும்.
இப்பொழுது நான் βj(p,q) ஐ வரையறை செய்யும்பொழுது, இங்கே p மற்றும் q ஆகிய இரண்டும் 1. நான் இந்த வார்த்தை ”வானியலாளர்கள்” பெறக்கூடிய முனையம் அல்லாதவை யை கண்டுபிடிக்க வேண்டும்.இப்பொழுது நான் இலக்கணத்தை பார்த்தால் இவைகள் ”வானியலாளர்கள்”ஐ 0.1 நிகழ்தகவுடன் பெறுகின்றன. ஆகவே நான் உள்பக்க நிகழ்தகவை இங்கே βNP(1,1) என நிரப்ப முடியும்.1,1 என நீங்கள் எழுத தேவையில்லை மேலும் நான் இங்கே 0.1 இக்கு சமமாக எழுதுகிறேன் ஏனெனில் 1,1 என்பது ஏற்கனவே நாம் இருக்கின்ற இந்த குறிப்பிட்ட சின்ன அறையில் வரையறுக்கப்பட்டுள்ளது.இது போலவே நாம் 2,2 இக்கு செல்வோம்.2,2 என்பது ”பார்த்தார்கள்”.
நான் இலக்கணத்தை பார்த்தால்,NP “பார்த்தார்கள்” ஐ பெறுகிறது. எனவே, இரண்டும் வேறுபட்டவை.
இங்கே 2 வெவ்வேறு j உள்ளன என்பதை நீங்கள் காணலாம். ஒன்று βV, மற்றொன்று βNP மற்றும் இது 1 நிகழ்தகவைக் கொண்டுள்ளது, இது எனது இலக்கணத்தைப் பயன்படுத்தி 0.04 நிகழ்தகவைக் கொண்டுள்ளது.
இப்பொழுது ஒரு வேளை நான் இந்த ஒன்றை 1 2 நிரப்பினால்,CKY வில் நாம் செய்ததைப் போலவே இந்த முழு விஷயத்தையும் மீண்டும் பெறும் குறிப்பிட்ட முனையம் அல்லாதவை என்ன? NP மற்றும் NP பெறுகின்ற ஏதாவது இருக்கின்றதா, மேலும் நான் எனது இலக்கணத்தின் வலதுபக்கத்தில் பார்த்தால், NP மற்றும் NP ஐ எதுவும் பெறவில்லை.இப்பொழுது NP ஐதொடர்ந்து V என்பதை ஏதாவது பெறுகிறதா,மீண்டும் NP தொடர்ந்து V ஐ எதுவும் பெறவில்லை.எனவே, இது 0 ஆக வெளிவரும்.
NP ஐத் தொடர்ந்து V பெறும் ஒன்று இருந்ததாக வைத்துக்கொள்வோம். இதைப் பெறும் முனையம் அல்லாதவை என்ன என்பதைக் கண்டுபிடிக்க, நிகழ்தகவை இந்த முறை விதி நிகழ்தகவு என வைக்கிறேன்.
இது நிகழ்தகவு கண்டெஸ்ட் பிரீ க்ரேம்ம்ர்(probabilistic context free grammars)களுக்கான CKY விஷயத்தில் நாம் என்ன செய்து கொண்டிருந்தோம் என்பது போலவே உள்ளது.இங்கே உள்ள ஒரே வித்தியாசம் என்னவென்றால், ஒரே முனையம் அல்லாதவற்றுக்கு பல பிளவுகள் இருந்தால், இவை அனைத்தையும் நான் ஒன்று சேர்ப்பேன்.உதாரணமாக அதே முனையம் அல்லாதவற்றை,நான் அனுமான வழக்கில் எடுக்கிறேன். ஒருவேளை அதே முனையம் அல்லாத X,NP தொடர்ந்து V மற்றும் NP தொடர்ந்து NP ஐ தருகிறது.P1 நிகழ்தகவு,விதி நிகழ்தகவு ஆக இருந்தால், இது P2 இன் நிகழ்தகவு ஆக இருக்கின்றது. நாம் இங்கே βX ஐ நிரப்புவேன் மேலும் அது P1. 0.1. 1 + P2. 0.1. 0.4 ஆக இருக்கிறது அதனால் நான் எல்லா பதிவுகளையும் நிரப்புவேன். இந்த நாம் பெற முடிந்த, குறிப்பிட்ட முனையம் அல்லாத அனைத்து வழிகளையும் நான் கவனித்துக் கொள்வேன்.
மீண்டும் இதை நீங்கள் தொடர்ந்து செய்தால்,இதைத்தான் நீங்கள் காண்பீர்கள். நாம் இந்த பதிப்பை நிரப்பினோம் மேலும் இந்த பதிப்பை, இந்த பதிப்பை.ஆனால் நான் இந்த அட்டவணை உடைய,அனைத்து பதிப்புகளையும் நீங்கள் நிரப்புவதற்கு நான் உங்களை ஊக்குவிப்பேன்.உங்களால் இந்த குறிப்பிட்ட பதிப்பை பெற முடியுமா, இந்த முழு விஷயங்களையும் பெறுவதற்கான வாக்கியத்தின் நிகழ்தகவு என்ன?
இப்போது நீங்கள் இந்த அட்டவணையைப் பார்த்தால், எனது வாக்கியத்தின் நிகழ்தகவு அதே நிகழ்தகவுகளைப் பயன்படுத்துவதை நான் எவ்வாறு கண்டுபிடிப்பது என்ற இரண்டாவது கேள்விக்கான பதிலையும் நீங்கள் பெறுவீர்கள்.மேலும் β ஐ 1 முதல் m வரை அல்லது 1 முதல் 5 வரை கணக்கிடுங்கள். இந்த வழக்கில் இந்த முழு வாக்கியத்தின் நிகழ்தகவு உங்களுக்கு கிடைக்கும். எனவே, இவைகள்தான் உள்பக்க நிகழ்தகவுகள் பற்றியது.
இப்போது நான் வெளிப்பக்க நிகழ்தகவு களை எவ்வாறு கணக்கிடுவது? உங்களுக்கு நினைவிருந்தால், முன்னோக்கிய பின்னோக்கிய வழிமுறைகளில் நாம் செய்தவைகளுக்கு இவை ஒப்பானதாக இருக்கிறது.இப்பொழுது உள்பக்க நிகழ்தகவுகளில், நாம் கீழிருந்து மேலாக கணக்கிடுகிறோம். மேலும் இது மேலிருந்து கீழாக கணக்கிடப்பட்டது மற்றும் அடிப்படை வழக்கு என்னவாக இருக்கிறது?.அடிப்படை வழக்கு மிக மிக எளிதாக இருக்கிறது அதாவது முழு வரிசையையும் 1 முதல் m வரை உருவாக்க முடியும்,மற்றும் இப்பொழுது இது நாம் கருதுகின்ற இலக்கண வாக்கியம் என்பதால், வாக்கியம் என்பது முதல் முனையம் அல்லாதது மட்டுமே அல்லது N1 ஆல் முழு வாக்கியத்தையும் பெறமுடியும் வேறு எதனாலும் அல்ல என்று நீங்கள் எழுத முடியும்.அதனால்தான் அடிப்படை வழக்கு α1(1,m)=1, இந்த j, 1 ஆக இல்லையெனில் அது 0 ஆக இருக்கும், நான் α1(1,m)=1மற்றும் j ஒன்றுக்கு சமமாக இல்லையெனில், αj(1,m)=0 என்று எழுதினால், j, 1 க்கு சமமாக இருந்தால், நாம் குறியீட்டு படிவத்தைப் பயன்படுத்தி S அல்லது N1 ஆவது முனையம் அல்லாதது போன்ற தொடக்கத்தைக் குறிக்கிறது.இப்பொழுது இது அடிப்படை வழக்காக இருக்கிறது.இப்பொழுது தூண்டக்கூடிய வழக்கு என்னவாக இருக்கும்.
தூண்டக்கூடிய வழக்கில், நான் அதை மேலிருந்து கீழ் பாணியில் கணக்கிட வேண்டும். தூண்டக்கூடிய வழக்கை இங்கே உங்களால் சிந்திக்க முடியுமா?
இப்பொழுது நான் இங்கே தூண்டக்கூடிய வழக்கின் உடைய இரண்டு சாத்தியங்களை உங்களுக்கு காட்டி கொண்டிருக்கிறேன். விரைவாக நான் அதை காகிதத்தில் காட்டுகிறேன். நான் αj(p,q) ஐ கணக்கிட வேண்டும், நான் மேலிருந்து கீழ் செல்கிறேன், இப்போது αj(p,q) என்றால் என்ன? என்னிடம் ஒரு முனையம் அல்லாத Nj உள்ளது, அது W p முதல் Wq வரை பெறுகிறது.மற்றும் W1 முதல் Wp-1மற்றும் Wq+! முதல் Wm வரை அனைத்தும் வாக்கியத்தில் உள்ளன.இப்போது நான் அதை மேலிருந்து கீழ் பாணியில் செய்யவேண்டும். எனவே , நான் மேல் சிட்டை களிலிருந்து நிகழ்தகவை பயன்படுத்த வேண்டும். எந்த முனையம் அல்லாதது இந்த Nj உடன் மற்ற சில முனையம் அல்லாதவைகளை பெறுகிறது என்று நான் சொல்லவேண்டும்.மீண்டும் இது இடது குழந்தை அல்லது வலது குழந்தையாக இருக்க முடியும்.இடது குழந்தை இருக்கின்ற வழக்கை நாம் எடுத்துக்கொள்வோம்.
அங்கே சில முனையம் அல்லாத Nf ,p லிருந்து ஆரம்பித்து W e P e வரை நீங்கள் எடுக்க வேண்டும்.
இது ஆனது Nj மற்றும் சில Ng ஐ தருகிறது.இங்கே இதன் அளவுருக்கள் என்னவென்றால் p,q. இது q+1 முதல் e வரை இருக்கின்றது ஆகவே இது q+1 முதல் e வரை பெறுகின்றது. இப்பொழுது நான் அதை மேலிருந்து கீழாக செய்கிறேன். நான் ஏற்கனவே இதை முடித்து இருக்கின்றேன்.We+1 முதல் Wm வரையிலான இந்த வரிசையின் உடைய நிகழ்தகவை நான் ஏற்கனவே பெற்றுள்ளேன்.இப்போது நான் αj(p,q) இல் பெற வேண்டியது.W1 முதல் Wp-1 வரை Nj(p,q) மற்றும் Wq+1 முதல் Wm வரை இன் நிகழ்தகவு, இதைத்தான் நான் பெற வேண்டும். இப்பொழுது இந்த நிகழ்தகவை நான் ஏற்கனவே பெற்றுள்ளேன் மேலும் Nf(p,e) மற்றும் ஏதோ ஓரிடத்தில் Wq+1 முதல் Wm வரை நான் பெற்றுள்ளேன். எனவே,இவற்றை Nf(p,e) அடிப்படையில் எவ்வாறு எழுதுவது? இது Nf(p,e) என்று நான் கூறுவேன், இருப்பினும் அவை வேறுபட்டதாக இருக்கலாம் Nf(p,e),பிற்காலத்தில் இந்த நிகழ்தகவின் சுருக்கத்தை செய்வோம்.நிகழ்தகவு Nf உங்களுக்கு NjNg ஐ தருகிறது ஏற்கனவே நாம் இங்கு வந்துள்ளோம்.இது Wq+1 ஐ We க்கு பெறுகிறது, ஏனெனில் எனக்கு இந்த நிகழ்தகவுகளும் தேவை.
இப்பொழுது நான் முந்தைய முறையில் நாம் செய்தது போல இந்த வெளிப்பாட்டை எப்படி எழுதுவேன்.இது உள்பக்க நிகழ்தகவைத் தவிர வேறில்லை. இது βg (q+1,e) ஆக இருக்கிறது.மேலும் இது இந்த குறிப்பிட்ட பிரித்தெடுத்தலுக்கான நிகழ்தகவை எனக்குக் கொடுக்கிறது, இருப்பினும் நாம் செய்ய வேண்டிய பல்வேறு சுருக்கங்கள் உள்ளன, அதே சமயத்தில் இது வலது குழந்தையாக இருக்கும்போது, நாம் செய்யக்கூடிய Ng இங்கே வருகிறது, இது மிகவும் பெரிய அளவில் ஒத்தது.
இந்த வழக்கில் நீங்கள் அவற்றை பார்த்தால் அங்கே அது ஒரு இடது குழந்தையாகவும், அங்கே இது வலது குழந்தையாகவும் இருக்கின்றது. இந்த வழக்கில், விதியின் நிகழ்தகவு ஆக αf(p,e) மற்றும் முழு வரிசையின் உடைய உள்பக்க நிகழ்தகவை நாம் செய்தோம். இவற்றுக்கான சுருக்கங்கள் என்ன?
சாத்தியமான அனைத்து f மற்றும் g களுக்கும் மேலாக, ஏனெனில் இது வேறு எந்த முனையம் அல்லாதது உடன் இந்த N க்கு வரும் எந்த முனையம் அல்லாதவை களாகவும் இருக்கலாம்.
மேலும் வேறு என்ன மாறுபடுகிறது? எனது e,q+1 லிருந்து m வரை மாறுபடுகிறது.எனவே, நான் எல்லா சாத்தியக்கூறுகளையும் சுருக்கமாகக் கூறுகிறேன், இதேபோல் இரண்டாவது வழக்கையும் நீங்கள் காணலாம்.
இப்பொழுது இங்கே முக்கியமானது என்ன?
நீங்கள், a ல் உள்ள உள்பக்க நிகழ்தகவை பயன்படுத்தி வெளிப்பக்க நிகழ்தகவு களை கணக்கிட முடியும். அதன் பொருளாவது உள்பக்க நிகழ்தகவை கணக்கிடுவதை விட, வெளிப்பக்க நிகழ்தகவை கணக்கிடுவது மிக மிக கடினமானதாக இருந்தபோதிலும் நீங்கள் உள்பக்க நிகழ்தகவை கணக்கிட்டு அதை பயன்படுத்தி வெளிப்பக்க நிகழ்தகவை கணக்கிட முடியும். நீங்கள் அதை காகிதத்தில் செய்ய விரும்பினால், அதனால்தான் உள்பக்க நிகழ்தகவுகளுக்கு மட்டுமே நாம் ஒரு எடுத்துக்காட்டு செய்தோம்.
நான் இப்பொழுது கருத்திற்கு வருகிறேன்.உள்பக்க மற்றும் வெளிப்பக்க நிகழ்தகவு களை நாம் அளவுருவாக்கினோம் என்று நான் கூறியபோது, நாம் அதை பெருக்கினால் சில சுவாரசியமானவகைகளை பெறுவோம் என்பதை நினைவில் கொள்ளுங்கள். மேலும் அதை நாம் பயன்படுத்தலாம் மற்றும் இங்கே குறிக்கோள் என்பது, விதி நிகழ்தகவுகளை கணக்கிடுவது ஆகும். அதுதான் எனது மூன்றாவது கேள்வி. PCFG உடைய எனது விதி நிகழ்தகவு களை எவ்வாறு கணக்கிடுவது என்று நான் கேட்டிருந்தேன்.
நாம் அடுத்த விரிவுரையில் அதற்கு வருவோம். நான் αj(p,q) உடன் βj (p,q) வை பெருக்கினால் என்ன கிடைக்கும் என்பதை விரைவாக பார்ப்போம். நான் அதை செய்தால், αj(p,q) என்பது,எனது இலக்கணம் கொடுக்கப்பட்ட W1 முதல் Wp-1 வரை Nj(p,q) மற்றும் Wq+1 முதல் Wm வரை இன் நிகழ்தகவு இன்றி வேறு ஒன்றும் இல்லை.
βj (p,q) என்பது Wpq கொடுக்கப்பட்ட மற்றும் இலக்கணத்தில் Nj(p,q) உடைய நிகழ்தகவு ஆகும். நீங்கள் இந்த இரண்டையும் பெருக்கினால், Wpq இங்கே வரலாம் என்பதையும் N(p,q)இங்கே தக்கவைக்கப்படுவதையும் நீங்கள் காண்பீர்கள், ஏனென்றால் இங்கே எனக்கு முன்பே கொடுக்கப்பட்டNj(p,q) கொடுக்கப்பட வேண்டும்.
இந்த பெருக்கல், இப்போது என்ன சொல்கிறது?
எனவே, நான் αj(p,q) ஐ βj (p,q) உடன் பெருக்கினால், இந்த W1 முதல் Wm வரை உள்ள வார்த்தைகள் உடைய முழு வரிசை உருவாக்கும் நிகழ்தகவைப் பெறுகிறேன், மேலும் என் இலக்கணத்தால் கொடுக்கப்பட்ட ஒரு முனையம் அல்லாத Nj, Wp to Wq ஐ பெறுகிறது.
இப்போது ஒருவேளை நான் W p முதல் W q வரை பெறுகின்ற ஒரு சாத்தியமான முனைய மற்றவை உடைய நிகழ்தகவை கண்டுபிடிக்க விரும்பினால், Wp Wq இலிருந்து சில நிலையான பரவல்கள் உள்ளன.இந்த வழக்கில், αj(p,q)க்கு, βj (p,q) க்குள், சாத்தியமான அனைத்து j களையும் சுருக்கமாகக் கொண்டு நான் அடையக்கூடிய எல்லா சாத்தியமான j களையும் நான் தொகுக்க வேண்டும்.இது வாக்கியத்தின் நிகழ்தகவு மற்றும் W வார்த்தை p இலிருந்து வார்த்தை q வரை சில நிலையான பரவல்கள் உள்ளன மேலும் இதை இந்த முறையில் நீங்கள் எழுத முடியும். N 1, W 1 m மற்றும் NP q,W p q ஐ பெறுகிறது.N j இன் இந்த குறிப்பிட்ட குறியீட்டைத் தவிர இது ஒன்றே.
நாம் முந்தைய உதாரணத்திற்கு திரும்பச் சென்றால், அது என்ன பொருள் தந்தது என்பதை எடுக்கலாம்.
”துப்பாக்கி மனிதன் அந்த கட்டிடத்தை தோட்டாக்களுடன் தெளித்தார்”என்ற இந்த முழு வாக்கியத்தின் உடைய நிகழ்தகவு,சொல் 4 முதல் சொல் 5 வரை சில நிலையான பரவல்கள் உள்ளன; அதாவது, சில முனையம் அல்லாதவை உள்ளன, அவை இந்த வரிசையை 4 என்ற வார்த்தையிலிருந்தும் 5 ஆம் வார்த்தையிலிருந்தும் பெறுகின்றன, நான் அதை எவ்வாறு பெறுவது?இது அனைத்து சாத்தியமான முனையம் அல்லாத N j உடைய சுருக்கமாக இருக்கிறது அந்தத் துப்பாக்கி மனிதர் கட்டிடத்தை தோட்டாக்களுடன் தெளித்தார் எனும்போது இது நிகழ்கிறது.g கொடுக்கப்பட்ட Nj(p,q) என்பது αNP(4,5) βNP(4,5) அன்றி வேறில்லை. எனவே, இங்கே நான் எல்லா சாத்தியமான j வையும் எடுத்துக்கொள்கிறேன், j என்பது NP V P ஆக இருக்கலாம். முனையம் அல்லாதவை என்னவாக இருந்தாலும்,நான் ஒரு குறிப்பிட்ட j க்கு α, β வை பெருக்கி மற்றும் எனக்கு நிகழ்தகவை தரக்கூடிய சாத்தியமான j யின்,ஒட்டுமொத்தத்தையும் சேர்க்கிறேன்.எனவே,இங்கே கூட இந்த குறிப்பிட்ட நிகழ்தகவு மதிப்பைப் பெறுவதன் உண்மையான பயன்பாடு என்ன என்பது தெளிவாகத் தெரியவில்லை, இதை நான் எவ்வாறு மேலும் பயன்படுத்துவது என்றும் எனது நிகழ்தகவு கண்டெஸ்ட் பிரீ க்ரேம்ம்ர் (probabilistic Context Free Grammar) உடைய விதி நிகழ்தகவு களை கற்பதற்காக, உள்பக்க,வெளிப்பக்க நிகழ்தகவு களை நான் எப்படி பயன்படுத்துவது என்றும் அடுத்த விரிவுரையில் நாம் பார்க்க இருக்கிறோம்.
உள்பக்க வெளிப்பக்க நிகழ்தகவு களின் கருத்துகள் உங்களுக்கு தெளிவாகி இருக்கும் என்று நான் நம்புகிறேன். மேலும் பின்னர் அவற்றை எப்படி மேலும் பயன்படுத்துவது என்று அடுத்த வகுப்பில் நாம் பார்க்கலாம்.
தங்களுக்கு நன்றி.
Up Next
2:38
How to Get a Parse Tree Using Python NLTK: NLP Guide
@TheDebugZone
344 views•2023-06-22
57:07
BitTorrent Protocol Explained: Piece Selection & Peer Choking
@StevenGordonAU
481 views•2013-02-22
29:03
Syntax Parsing: Top-Down, Bottom-Up, and CKY Algorithm
@naturallanguageprocessing6035
16.1K views•2017-02-15
19:25
Enigma Machine Mechanics: WWII Encryption Explained
@JaredOwen
13.2M views•2021-12-11
Related Study Plans & Knowledge Roadmaps
Structured learning paths in Computer Science
computer-science
Building BitTorrent: Go, P2P & Concurrency
01Go Fundamentals & Concurrency
02Networking Foundations & P2P Architecture
03Bencode Parsing & Torrent Metadata
+ 3 more learning modules
26h6 modules
Explore Roadmap
computer-science
Actor Models (C++ Concurrency & Lock-Free)
01C++ Multi-Threading Foundations
02Thread Pools and Task Scheduling
03Atomics and Lock-Free Queue Design
+ 3 more learning modules
45h6 modules
Explore Roadmap
computer-science
Coding HM Type Inference: Algorithm W & OCaml
01Introduction to Functional Programming & OCaml
02Abstract Syntax Trees & Language Interpreters
03Type Systems & Lambda Calculus
+ 2 more learning modules
28h5 modules
Explore Roadmap
computer-science
Building OAuth 2.0: Node.js OIDC Server
01Web & Security Foundations
02Authentication vs. Authorization & JWTs
03The OAuth 2.0 Protocol & Grant Types
+ 3 more learning modules
25h6 modules
Explore Roadmap