مدل های زبانی بزرگ  چیست؟

مدل های زبانی بزرگ (LLMs) ابزارهای هوش مصنوعی هستند که می‌توانند زبان انسانی را درک کنند و تولید کنند. آنها شبکه‌های عصبی قدرتمندی هستند که با میلیاردها پارامتر بر روی میزان عظیمی از داده‌های متنی آموزش داده شده‌اند. آموزش گسترده این مدل‌ها به آنها درک عمیقی از ساختار و معنای زبان انسانی می‌دهد.

LLMs می‌توانند وظایف مختلف زبانی را انجام دهند مانند ترجمه، تحلیل احساسات، گفتگوی چت‌بات و غیره. این مدل‌ها می‌توانند اطلاعات متنی پیچیده را درک کنند، موجودیت‌ها و ارتباطات آنها را تشخیص دهند و متنی تولید کنند که از نظر اتصال و صحت دستور زبانی سازگار باشد.

در این مقاله به بررسی جامع پردازش زبان طبیعی پرداخته ایم

گراف دانش چیست؟

گراف دانش پایگاه داده‌ای است که داده و اطلاعات مرتبط با اشیاء مختلف را نمایش می‌دهد و به یکدیگر متصل می‌کند. این شامل گره‌ها (نقاط) است که هر گونه شی، فرد یا مکانی را نمایان می‌کنند و یال‌ها (لینک‌ها) که روابط بین این گره‌ها را تعریف می‌کنند. این امکان را به ما می‌دهد که ماشین‌ها بفهمند چگونه اشیاء با یکدیگر مرتبط هستند، ویژگی‌هایی را به اشتراک می‌گذارند و ارتباطات میان موارد مختلف در دنیای اطراف ما را برقرار می‌کنند.

گراف‌های دانش می‌توانند در برنامه‌های مختلفی مورد استفاده قرار گیرند، مانند پیشنهاد ویدیوها در یوتیوب، تشخیص تقلب در بیمه، پیشنهاد محصولات در خرده‌فروشی و مدل‌سازی پیش‌بینی.

مدل‌های زبانی بزرگ (LLMs) و گراف‌های دانش

یکی از محدودیت‌های اصلی مدل‌های زبانی بزرگ این است که به عنوان ‘صندوق‌های سیاه’ شناخته می‌شوند، به این معنا که دشوار است درک کرد که چگونه به نتیجه‌ای می‌رسند. علاوه بر این، آنها اغلب دچار مشکلات در فهم و بازیابی اطلاعات واقعی می‌شوند که می‌تواند منجر به خطاها و عدم دقت‌ها شود، که به عنوان ‘هالوسیناسیون‌ها’ شناخته می‌شوند.

داخل پرانتز بگیم که عبارت “صندوق‌های سیاه” در اینجا به معنای مدل‌های یادگیری عمیق یا شبکه‌های عصبی استفاده شده است که به نتایج خود دسترسی شفاف و آسانی نمی‌دهند.

در اینجا گراف‌های دانش می‌توانند به مدل‌های زبانی بزرگ (LLMs) کمک کنند با ارائه دانش خارجی برای استدلال. با این حال، ساخت گراف‌های دانش دشوار است و معمولاً در حال تکامل قرار دارند. بنابراین، ایده خوبی است که از ترکیب LLMs و گراف‌های دانش به منظور بهره‌برداری از قدرت‌های آنها استفاده کنید.

LLMs می‌توانند با گراف‌های دانش (KGs) به سه روش ترکیب شوند:

1.  LLMs بهبود یافته توسط گراف‌های دانش: این روش گراف‌های دانش را در طول آموزش به LLMs ادغام می‌کند و از آنها برای بهبود فهم استفاده می‌کند.
2. LLMs تقویت شده توسط گراف‌های دانش: مدل‌های زبانی بزرگ می‌توانند در بهبود وظایف مختلف گراف‌های دانش مانند جاسازی، تکمیل و پاسخ به سوالات بهبود ایجاد کنند.
3.  ترکیب LLMs + گراف‌های دانش: LLMs و گراف‌های دانش با همکاری و تقویت یکدیگر برای استدلال دوطرفه مبتنی بر داده و دانش عمل می‌کنند.

LLMs بهبود یافته توسط گراف‌های دانش (KG)

مدل های زبانی بزرگ (LLMs) به خاطر توانایی آن‌ها در عملکردهای مختلف زبانی از طریق یادگیری از داده‌های متنی حجیم به شناخته‌شده‌اند. با این حال، آن‌ها به دلیل تولید اطلاعات نادرست (هالوسیناسیون) و نبود تفسیرپذیری مورد انتقاد قرار می‌گیرند. پژوهشگران پیشنهاد می‌دهند که با استفاده از گراف‌های دانش (KGs)، می‌توان به حل این مشکلات پرداخت.

گراف‌های دانش، دانش‌های ساختاری را ذخیره می‌کنند که می‌توانند برای بهبود فهم مدل‌های زبانی بزرگ کاربرد داشته باشند. برخی از روش‌ها گراف‌های دانش را در طول آموزش اولیه مدل‌های زبانی بزرگ ادغام می‌کنند تا در جذب دانش کمک کنند، در حالی که دیگران در طی استنتاج از گراف‌های دانش برای بهبود دسترسی به دانش مرتبط با حوزه استفاده می‌کنند. این گراف ها همچنین برای تفسیر استدلال و حقایق مدل‌های زبانی بزرگ به منظور افزایش شفافیت مورد استفاده قرار می‌گیرند.

گراف‌های دانش بهبود یافته توسط مدل های زبانی بزرگ (LLM)

گراف‌های دانش (KGs) اطلاعات ساختاری مهمی را که برای برنامه‌های واقعی ضروری هستند، ذخیره می‌کنند. با این حال، روش‌های کنونی گراف‌های دانش با مشکلاتی مانند داده ناقص و پردازش متن برای ساخت گراف‌های دانش مواجه هستند. پژوهشگران بررسی می‌کنند که چگونه می‌توانند از چندوظیفگی مدل‌های زبانی بزرگ به منظور حل وظایف مرتبط با گراف‌های دانش بهره‌برند.

یکی از روش‌های متداول این است که مدل های زبانی بزرگ (LLMs) را به عنوان پردازشگرهای متنی برای گراف‌های دانش استفاده کنند. LLMs داده‌های متنی درون گراف‌های دانش را تجزیه و تحلیل کرده و نمایندگی‌های گراف‌های دانش را بهبود می‌بخشند. برخی از مطالعات همچنین از LLMs برای پردازش داده‌های متنی اصلی استفاده می‌کنند، روابط و موجودیت‌ها را استخراج کرده و گراف‌های دانش ایجاد می‌کنند. تلاش‌های اخیر به ساخت پرامت‌های گراف‌های دانش انگیزه می‌دهند که گراف‌های دانش ساختاری را برای مدل‌های زبانی بزرگ قابل فهم کنند. این امکان را فراهم می‌کند که مدل‌های زبانی بزرگ به صورت مستقیم در وظایفی مانند تکمیل گراف‌های دانش و استدلال بهره‌برند.

ترکیب موثر LLMs + KGs

پژوهشگران به دلیل ماهیت تکمیل‌کننده آنها، به ترکیب مدل های زبانی بزرگ (LLMs) و گراف‌های دانش (KGs) علاقه‌مندی روز افزونی دارند. برای بررسی این ادغام، یک چارچوب یکپارچه به نام “ترکیب موثر LLMs + KGs” پیشنهاد شده است که از چهار لایه تشکیل شده است: داده، مدل ترکیب موثر، تکنیک و برنامه.

LLMs به مدیریت داده‌های متنی می‌پردازند، گراف‌های دانش به مدیریت داده‌های ساختاری می‌پردازند، و با استفاده از LLMs و KGs چندرسانه‌ای، این چارچوب می‌تواند به انواع دیگری از داده‌ها مانند ویدیو و صدا گسترش یابد. این لایه‌ها با همکاری در تقویت قابلیت‌ها و بهبود عملکرد برای برنامه‌های مختلفی مانند موتورهای جستجو، سیستم‌های پیشنهاد دهنده و دستیاران هوش مصنوعی همکاری می‌کنند.

برخی از کاربردهای مدل های زبانی بزرگ (LLMs) و گراف‌های دانش

پاسخ‌دهی چند مرحله‌ای به سوالات (Multi-Hop Question Answering)

به طور معمول، هنگام استفاده از مدل‌های زبانی بزرگ برای استخراج اطلاعات از اسناد، ما آنها را به تکه‌ها تقسیم کرده و سپس آنها را به بردارهایی تبدیل می‌کنیم. با استفاده از این رویکرد، ممکن است نتوانیم اطلاعاتی را که بر روی چندین سند پخش شده است، پیدا کنیم. این به عنوان مشکل پاسخ‌دهی چند مرحله‌ای شناخته می‌شود.

این مشکل با استفاده از یک گراف دانش قابل حل است. ما می‌توانیم با پردازش هر سند به صورت جداگانه و اتصال آنها در یک گراف دانش نمایندگی ساختاری از اطلاعات ایجاد کنیم. این کار باعث می‌شود تا به راحتی در میان اسناد متصل حرکت کنیم و اسناد مرتبط را بررسی کنیم، این امکان را فراهم می‌کند تا به سوالات پیچیده‌تری که نیاز به مراحل چندگانه دارند پاسخ دهیم.

در مثال فوق، اگر بخواهیم از مدل‌زبانی بزرگ (LLM) بپرسیم: “آیا کارمند سابق از OpenAI شرکت خود را تأسیس کرده است؟”، ممکن است LLM برخی اطلاعات تکراری برگرداند و یا اطلاعات مرتبط دیگر را نادیده بگیرد. استخراج موجودیت‌ها و ارتباطات از متن برای ساخت یک گراف دانش، به مدل‌زبانی بزرگ کمک می‌کند تا به سوالاتی پاسخ دهد که از بین چندین سند در اسپن متفاوت قرار دارند.

ترکیب داده های متنی با نمودار دانش

یکی دیگر از مزایای استفاده از یک گراف دانش در کنار یک مدل زبانی بزرگ (LLM) این است که با استفاده از گراف دانش، می‌توانیم هم داده‌های ساختاری و هم داده‌های بی‌ساختار را ذخیره کرده و با روابط آن‌ها را به یکدیگر متصل کنیم. این موضوع به ما این امکان را می‌دهد، که بازیابی اطلاعات راحت‌تری داشته باشیم.

​

در مثال فوق، یک گراف دانش برای ذخیره اطلاعات زیر استفاده شده است:

• داده‌های ساختاری: کارمندان سابق OpenAI و شرکت‌هایی که آن‌ها تأسیس کرده‌اند.
• داده‌های بی‌ساختار: مقالات خبری که درباره OpenAI و کارمندان آن انتشار یافته‌اند.

با این تنظیمات، ما می‌توانیم به سوالاتی مانند “آخرین اخبار مربوط به بنیان‌گذاران Prosper Robotics چیست؟” پاسخ دهیم. با شروع از گره Prosper Robotics، حرکت به سمت بنیان‌گذاران آن، و سپس بازیابی مقالات اخیر در مورد آنها.

این قابلیت، آن را برای یک طیف گسترده از کاربردهای مدل‌های زبانی بزرگ (LLM) مناسب می‌کند. زیرا می‌تواند با انواع مختلفی از داده و ارتباطات بین موجودیت‌ها کار کند. ساختار گراف یک نمایش واضح از دانش فراهم می‌کند، که برای توسعه‌دهندگان و کاربران هر دو آسانی در درک و کار با آن را ایجاد می‌کند.

جمع بندی

پژوهشگران به طور روز افزون در حال بررسی تئوری ترکیبی بین مدل‌های زبانی بزرگ (LLMs) و گراف‌های دانش (KGs) هستند. با سه رویکرد اصلی: LLMs تقویت شده توسط KGs، KGs تقویت شده توسط LLMs، و LLMs + KGs سینرژی‌ای(ترکیب موثر). این رویکردها با هدف بهره‌برداری از قدرت‌های هر دو تکنولوژی به منظور حل وظایف متنوع زبانی و مرتبط با دانش ارائه شده‌اند.

ادغام LLMs و KGs امکانات امیدبخشی را برای کاربردهایی ارائه می دهد. نظیر پاسخ‌دهی چند مرحله‌ای به سوالات، ترکیب داده‌های متنی و ساختاری، و افزایش شفافیت و تفسیرپذیری. با پیشرفت تکنولوژی، این همکاری بین LLMs و KGs پتانسیل ترقی در زمینه‌هایی مانند. موتورهای جستجو، سیستم‌های پیشنهاد دهنده، و دستیاران هوش مصنوعی را دارد که در نهایت به نفع کاربران و توسعه‌دهندگان می‌آید.

منبع