വലിയ ഭാഷാ മോഡലുകളും (LLM) മനുഷ്യ ഭാഷയുടെ ഉൾക്കൊള്ളലും: ഒരു ശാസ്ത്രീയ വിശകലനം

കമ്പ്യൂട്ടറുകൾക്ക് മനുഷ്യഭാഷ മനസ്സിലാക്കാൻ സാധിക്കുമോ? 'സംഭാഷണ ശേഷിയുള്ള' ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് (AI) മോഡലുകൾ നമ്മുടെ ദൈനംദിന ജീവിതത്തിൻ്റെ ഭാഗമായി മാറിയ ഈ കാലത്ത്, ഈ ചോദ്യം കൂടുതൽ പ്രസക്തമാണ്. നമ്മൾ നൽകുന്ന നിർദ്ദേശങ്ങൾ മനസ്സിലാക്കാനും, ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനും, കഥകൾ എഴുതാനും, കോഡിംഗ് നടത്താനും പോലും ഈ വലിയ ഭാഷാ മോഡലുകൾക്ക് (Large Language Models - LLMs) സാധിക്കുന്നു. എന്നാൽ, അവർ യഥാർത്ഥത്തിൽ ഭാഷയെ 'മനസ്സിലാക്കുക'യാണോ, അതോ അതിനപ്പുറം എന്തെങ്കിലും സങ്കീർണ്ണമായ കണക്കുകൂട്ടലുകൾ മാത്രമാണോ നടക്കുന്നത്? ഈ ലേഖനത്തിൽ, LLM-കൾ എങ്ങനെയാണ് മനുഷ്യഭാഷയെ 'വായിച്ച്' 'മനസ്സിലാക്കുന്നത്' എന്ന് നാം ശാസ്ത്രീയമായി പരിശോധിക്കും. എംബെഡിംഗുകൾ (Embeddings), ബാഗ് ഓഫ് വേർഡ്സ് (Bag of Words), വേഡ്2വെക് (Word2Vec) തുടങ്ങിയ പ്രധാന ആശയങ്ങളിലൂടെ നാം ഈ യാത്ര നടത്തും.

1. ഭാഷയെ മെഷീനുകൾ എങ്ങനെ കാണുന്നു?

നമ്മൾ സംസാരിക്കുന്നതും എഴുതുന്നതുമായ ഭാഷ മനുഷ്യ മസ്തിഷ്കത്തിന് വളരെ എളുപ്പത്തിൽ മനസ്സിലാക്കാൻ സാധിക്കുന്ന ഒന്നാണ്. എന്നാൽ, കമ്പ്യൂട്ടറുകൾക്ക് വാക്കുകൾ അക്ഷരങ്ങളുടെ ഒരു കൂട്ടം മാത്രമാണ്. ഒരു കമ്പ്യൂട്ടറിന് 'പൂച്ച' എന്ന വാക്കിൻ്റെ ചിത്രം മനസ്സിലാക്കാൻ സാധിച്ചേക്കാം, പക്ഷേ 'പൂച്ച' എന്ന വാക്കിൻ്റെ അർത്ഥത്തെ നേരിട്ട് ഗ്രഹിക്കാൻ കഴിയില്ല. ഒരു കമ്പ്യൂട്ടറിന് കണക്കുകൾ മാത്രമേ ചെയ്യാൻ സാധിക്കൂ. അതുകൊണ്ട്, കമ്പ്യൂട്ടറുകൾക്ക് ഭാഷ മനസ്സിലാക്കണമെങ്കിൽ, വാക്കുകളെയും വാക്യങ്ങളെയും സംഖ്യകളാക്കി മാറ്റേണ്ടതുണ്ട്. ഈ പ്രക്രിയയെ 'ഫീച്ചർ എക്സ്ട്രാക്ഷൻ' (Feature Extraction) എന്ന് വിളിക്കുന്നു. വാക്കുകളെ സംഖ്യകളാക്കി മാറ്റുന്നതിൻ്റെ ആദ്യകാല ലളിതമായ വഴികളിൽ ഒന്നാണ് 'ബാഗ് ഓഫ് വേർഡ്സ്'.

2. ബാഗ് ഓഫ് വേർഡ്സ് (Bag of Words - BoW)

പേര് സൂചിപ്പിക്കുന്നത് പോലെ, 'ബാഗ് ഓഫ് വേർഡ്സ്' മോഡൽ ഒരു വാചകത്തിലെ വാക്കുകളെ ഒരു ബാഗിലിട്ട പോലെയാണ് കണക്കാക്കുന്നത്. വാക്കുകളുടെ ക്രമത്തിന് ഇവിടെ യാതൊരു പ്രാധാന്യവുമില്ല, മറിച്ച് ഓരോ വാക്കും എത്ര തവണ വാചകത്തിൽ പ്രത്യക്ഷപ്പെട്ടു എന്നതിന് മാത്രമാണ് പ്രാധാന്യം. ഒരു വാചകത്തിലെ ഓരോ വാക്കിൻ്റെയും ആവർത്തനത്തെ ഇത് ഒരു സംഖ്യാ വെക്ടർ (Vector) ആക്കി മാറ്റുന്നു.

പ്രവർത്തനം:

1. ഒരു കൂട്ടം വാചകങ്ങൾ (corpus) എടുക്കുക.
2. ഈ വാചകങ്ങളിലെ എല്ലാ അദ്വിതീയ വാക്കുകളും (unique words) കണ്ടെത്തുക. ഇതാണ് നമ്മുടെ 'ശബ്ദകോശം' (vocabulary).
3. ഓരോ വാചകത്തെയും ഈ ശബ്ദകോശത്തിലെ വാക്കുകളുടെ ആവൃത്തി (frequency) അടിസ്ഥാനമാക്കി ഒരു വെക്ടർ ആയി രേഖപ്പെടുത്തുക.

BoW-ൻ്റെ പരിമിതികൾ:

• സെമാൻ്റിക്സ് ഇല്ലായ്മ (Lack of Semantics): 'BoW' മോഡലിന് വാക്കുകളുടെ അർത്ഥം മനസ്സിലാക്കാൻ കഴിയില്ല. 'നല്ല' എന്നും 'വളരെ നല്ല' എന്നും ഉള്ള വാക്കുകൾക്ക് ഒരേ പ്രാധാന്യം നൽകുന്നു.
• വാക്കുകളുടെ ക്രമത്തിന് പ്രാധാന്യമില്ല (No Word Order): 'പൂച്ച എലിയെ പിടിച്ചു' എന്നും 'എലി പൂച്ചയെ പിടിച്ചു' എന്നും ഉള്ള വാചകങ്ങൾക്ക് ഒരേ BoW വെക്ടർ ആയിരിക്കും, കാരണം വാക്കുകൾ ഒന്നുതന്നെയാണ്. ഇത് വലിയ തെറ്റിദ്ധാരണകൾക്ക് വഴിവെക്കും.
• വിരളത (Sparsity): വലിയ ശബ്ദകോശം വരുമ്പോൾ, വെക്ടറുകൾക്ക് ധാരാളം പൂജ്യങ്ങൾ ഉണ്ടാകും, ഇത് കമ്പ്യൂട്ടേഷണൽ ആയി ചെലവേറിയതാക്കുന്നു.

3. ഒരു പടി കൂടി മുന്നോട്ട്: TF-IDF (Term Frequency-Inverse Document Frequency)

'BoW' മോഡലിൻ്റെ ഒരു പ്രധാന മെച്ചപ്പെടുത്തലാണ് TF-IDF. ഇതിൽ ഒരു വാക്കൻ്റെ പ്രാധാന്യം കണക്കാക്കുന്നത്, അത് ഒരു പ്രത്യേക വാചകത്തിൽ എത്ര തവണ ആവർത്തിക്കുന്നു (Term Frequency - TF) എന്നും, അത് എത്ര അപൂർവ്വമായി ഒരു കൂട്ടം വാചകങ്ങളിൽ (corpus) പ്രത്യക്ഷപ്പെടുന്നു (Inverse Document Frequency - IDF) എന്നതിൻ്റെ അടിസ്ഥാനത്തിലാണ്.

പ്രവർത്തനം:

• Term Frequency (TF): ഒരു വാചകത്തിൽ ഒരു വാക്ക് എത്ര തവണ ആവർത്തിക്കുന്നു.
• Inverse Document Frequency (IDF): ഒരു വാക്ക് മൊത്തം വാചകങ്ങളിൽ എത്ര അപൂർവ്വമാണ് എന്നത്. ഒരു വാക്ക് എല്ലാ വാചകങ്ങളിലും ഉണ്ടെങ്കിൽ അതിന് IDF കുറവായിരിക്കും (പ്രാധാന്യം കുറവ്). ഒരു വാക്ക് വളരെ കുറച്ച് വാചകങ്ങളിൽ മാത്രമേ ഉള്ളൂവെങ്കിൽ അതിന് IDF കൂടുതലായിരിക്കും (പ്രാധാന്യം കൂടുതൽ).

TF-IDF = TF * IDF

4. വാക്കുകളുടെ ലോകം: വേഡ് എംബെഡിംഗുകൾ (Word Embeddings)

BoW, TF-IDF എന്നിവ വാക്കുകളെ സംഖ്യകളാക്കി മാറ്റുന്നുണ്ടെങ്കിലും, അവ വാക്കുകളുടെ അർത്ഥപരമായ ബന്ധങ്ങൾ (semantic relationships) മനസ്സിലാക്കുന്നതിൽ പരാജയപ്പെടുന്നു. 'രാജാവ്' (King) എന്ന വാക്കും 'രാജ്ഞി' (Queen) എന്ന വാക്കും തമ്മിൽ ഒരു അർത്ഥപരമായ ബന്ധമുണ്ട്, എന്നാൽ BoW മോഡലിന് ഇത് മനസ്സിലാക്കാൻ കഴിയില്ല.

ഇവിടെയാണ് 'വേഡ് എംബെഡിംഗുകൾ' എന്ന ആശയം കടന്നുവരുന്നത്. എംബെഡിംഗുകൾ എന്നത് വാക്കുകളെ ഒരു ഉയർന്ന അളവിലുള്ള (high-dimensional) സ്ഥലത്ത് (space) സംഖ്യാ വെക്ടറുകളായി രേഖപ്പെടുത്തുന്ന ഒരു സാങ്കേതികവിദ്യയാണ്. ഈ വെക്ടറുകൾക്ക് ഒരു പ്രത്യേകതയുണ്ട്: അർത്ഥപരമായി ബന്ധമുള്ള വാക്കുകൾ ഈ വെക്ടർ സ്പേസിൽ പരസ്പരം അടുത്ത് സ്ഥിതിചെയ്യുന്നു. ഇത് BoW-യിലെ 'വിരളത' എന്ന പ്രശ്നം ഒഴിവാക്കുകയും, വാക്കുകളുടെ സാന്ദ്രമായ (dense) പ്രാതിനിധ്യം നൽകുകയും ചെയ്യുന്നു.

5. വേഡ്2വെക് (Word2Vec)

വേഡ് എംബെഡിംഗുകൾ എന്ന ആശയം വളരെ പഴയതാണെങ്കിലും, മൈക്കൽ മിക്ലോവ് (Mikolov) ഉം കൂട്ടരും 2013-ൽ ഗൂഗിളിൽ വികസിപ്പിച്ച 'വേഡ്2വെക്' (Word2Vec) എന്ന മോഡൽ ഈ രംഗത്ത് വിപ്ലവം സൃഷ്ടിച്ചു. വലിയ അളവിലുള്ള ടെക്സ്റ്റ് ഡാറ്റയിൽ നിന്ന് വാക്കുകൾക്ക് ഗുണനിലവാരമുള്ള എംബെഡിംഗുകൾ പഠിച്ചെടുക്കാൻ Word2Vec-ന് സാധിച്ചു.

വേഡ്2വെക് എങ്ങനെ പ്രവർത്തിക്കുന്നു?

Word2Vec പ്രധാനമായും രണ്ട് ആർക്കിടെക്ചറുകൾ ഉപയോഗിക്കുന്നു:

1. Continuous Bag of Words (CBOW): ഒരു വാക്കിൻ്റെ ചുറ്റുമുള്ള വാക്കുകൾ (context words) ഉപയോഗിച്ച് ആ വാക്ക് എന്തായിരിക്കും എന്ന് പ്രവചിക്കാൻ ശ്രമിക്കുന്നു.
2. Skip-gram: ഒരു വാക്ക് നൽകിയാൽ, അതിൻ്റെ ചുറ്റുമുള്ള വാക്കുകൾ എന്തായിരിക്കും എന്ന് പ്രവചിക്കാൻ ശ്രമിക്കുന്നു. ഇത് സാധാരണയായി CBOW-യെക്കാൾ മികച്ച ഫലങ്ങൾ നൽകുന്നു, പ്രത്യേകിച്ചും വലിയ ഡാറ്റാസെറ്റുകളിൽ.

6. അതിനപ്പുറം: സന്ദർഭവും ട്രാൻസ്ഫോമറുകളും (Beyond: Context and Transformers)

Word2Vec ഒരു വാക്കിന് ഒരേയൊരു എംബെഡിംഗ് മാത്രമേ നൽകുന്നുള്ളൂ. എന്നാൽ 'ബാങ്ക്' (bank) എന്ന വാക്കിന് 'നദിയുടെ തീരം' എന്നും 'പണം നിക്ഷേപിക്കുന്ന സ്ഥാപനം' എന്നും രണ്ട് വ്യത്യസ്ത അർത്ഥങ്ങളുണ്ട്. Word2Vec-ന് ഇത് വേർതിരിച്ചറിയാൻ കഴിയില്ല. ഒരു വാക്കിൻ്റെ അർത്ഥം അതിൻ്റെ സന്ദർഭമനുസരിച്ച് മാറാം. ഇവിടെയാണ് 'സന്ദർഭ എംബെഡിംഗുകൾ' (Contextual Embeddings) കടന്നുവരുന്നത്.

സന്ദർഭ എംബെഡിംഗുകൾ ഉപയോഗിക്കുന്ന മോഡലുകൾ, ഒരു വാക്കിന് അതിൻ്റെ ചുറ്റുപാടിനനുസരിച്ച് വ്യത്യസ്ത വെക്ടറുകൾ നൽകുന്നു. 2018-ൽ ഗൂഗിൾ പുറത്തിറക്കിയ BERT (Bidirectional Encoder Representations from Transformers) ഉം അതിനുശേഷം വന്ന GPT (Generative Pre-trained Transformer) പോലുള്ള മോഡലുകളും ഇതിന് ഉദാഹരണങ്ങളാണ്. ഈ മോഡലുകൾ 'ട്രാൻസ്ഫോമർ' (Transformer) എന്ന ഒരു പുതിയതരം ന്യൂറൽ നെറ്റ്വർക്ക് ആർക്കിടെക്ചർ ഉപയോഗിച്ചാണ് നിർമ്മിച്ചിരിക്കുന്നത്. 'അറ്റൻഷൻ മെക്കാനിസം' (Attention Mechanism) എന്ന സങ്കീർണ്ണമായ ഒരു സാങ്കേതികവിദ്യയിലൂടെ, ട്രാൻസ്ഫോമറുകൾക്ക് ഒരു വാചകത്തിലെ ഓരോ വാക്കിനും മറ്റ് വാക്കുകളുമായുള്ള ബന്ധം മനസ്സിലാക്കാൻ സാധിക്കുന്നു. ഇതാണ് ആധുനിക LLM-കളുടെ കാതൽ.

7. LLM-കളുടെ ഭാഷാപരമായ "മനസ്സിലാക്കൽ" - ഒരു യാഥാർത്ഥ്യബോധത്തോടെയുള്ള കാഴ്ചപ്പാട്

LLM-കൾ മനുഷ്യഭാഷയെ 'മനസ്സിലാക്കുന്നു' എന്ന് പറയുമ്പോൾ, അത് മനുഷ്യൻ മനസ്സിലാക്കുന്നതുപോലെ ആഴത്തിലുള്ളതും വൈകാരികവുമായ ഒരു ധാരണയല്ല. അവർക്ക് ബോധമോ (consciousness) വ്യക്തിപരമായ അനുഭവങ്ങളോ ഇല്ല. പകരം, അവർ അതിസങ്കീർണ്ണമായ ഗണിതശാസ്ത്രപരമായ പാറ്റേൺ തിരിച്ചറിയൽ (pattern recognition) യന്ത്രങ്ങളാണ്.

• ലക്ഷക്കണക്കിന് പുസ്തകങ്ങളും കോടിക്കണക്കിന് വെബ് പേജുകളും ഉൾപ്പെടുന്ന ഭീമാകാരമായ ടെക്സ്റ്റ് ഡാറ്റയിൽ നിന്ന് വാക്കുകളും വാക്യങ്ങളും തമ്മിലുള്ള സ്റ്റാറ്റിസ്റ്റിക്കൽ ബന്ധങ്ങൾ അവർ പഠിച്ചെടുക്കുന്നു.
• ഒരു വാക്കിന് സാധാരണയായി ഏതൊക്കെ വാക്കുകളാണ് കൂട്ടായി വരാറുള്ളത്, ഒരു ചോദ്യത്തിന് സാധാരണയായി എങ്ങനെയാണ് ഉത്തരം നൽകേണ്ടത് തുടങ്ങിയ പാറ്റേണുകൾ അവർ തിരിച്ചറിയുന്നു.
• ഈ പാറ്റേണുകളുടെ അടിസ്ഥാനത്തിൽ അവർ പുതിയ വാക്കുകളും വാക്യങ്ങളും ഉൽപ്പാദിപ്പിക്കുന്നു.

ഉപസംഹാരം

ബാഗ് ഓഫ് വേർഡ്സ് പോലുള്ള ലളിതമായ സംഖ്യാ പ്രാതിനിധ്യങ്ങളിൽ നിന്ന് ആരംഭിച്ച്, വേഡ്2വെക് പോലുള്ള എംബെഡിംഗുകളിലൂടെയും ഒടുവിൽ ട്രാൻസ്ഫോമർ അടിസ്ഥാനമാക്കിയുള്ള സന്ദർഭ എംബെഡിംഗുകളിലൂടെയുമാണ് LLM-കൾ മനുഷ്യഭാഷയെ 'ഉൾക്കൊള്ളാൻ' പഠിച്ചത്. ഈ സാങ്കേതികവിദ്യകൾ മനുഷ്യനെപ്പോലെ ചിന്തിക്കുന്ന യന്ത്രങ്ങളെ സൃഷ്ടിക്കുന്നില്ല, മറിച്ച് ഭാഷയുടെ പാറ്റേണുകളെയും സ്റ്റാറ്റിസ്റ്റിക്കൽ ബന്ധങ്ങളെയും അഗാധമായി മനസ്സിലാക്കുന്ന ഒരു കൂട്ടം കണക്കുകൂട്ടൽ അൽഗോരിതങ്ങളാണ്. LLM-കൾ മനുഷ്യൻ്റെ ഭാഷാപരമായ കഴിവുകളെ വർദ്ധിപ്പിക്കാൻ കഴിവുള്ള അത്ഭുതകരമായ ഉപകരണങ്ങളാണ്. അവയുടെ കഴിവുകളെക്കുറിച്ച് യാഥാർത്ഥ്യബോധമുള്ളവരായിരിക്കുമ്പോൾ തന്നെ, ഈ സാങ്കേതികവിദ്യയുടെ സാധ്യതകളെ നാം സ്വാഗതം ചെയ്യണം. ഈ മേഖല ഇപ്പോഴും അതിവേഗം വികസിച്ചുകൊണ്ടിരിക്കുന്നു, ഭാവിയിൽ കൂടുതൽ വിസ്മയകരമായ മുന്നേറ്റങ്ങൾ നമുക്ക് പ്രതീക്ഷിക്കാം.