وبلاگ متن کاوی فارسی‌یار

مقالات آموزشی متن کاوی، پردازش زبان طبیعی و ابزارهای پردازش متن فارسی

تبدیل متن به بردارهای عددی – بخش ششم – تعبیه جملات و روش‌های نوین (Sentence-BERT، E5، BGE-M3)
جدیدترین نوشته

تبدیل متن به بردارهای عددی – بخش ششم – تعبیه جملات و روش‌های نوین (Sentence-BERT، E5، BGE-M3)

تعبیه جملات با Sentence-BERT، E5، BGE-M3 و مدل‌های مبتنی بر LLM و پیاده‌سازی جستجوی معنایی و RAG با FAISS.

۳ آبان ۱۴۰۵ ۱۰ دقیقه مطالعه
ادامه مطلب ←
تبدیل متن به بردارهای عددی – بخش پنجم – تعبیه‌های بافتاری و ترنسفورمرها (ELMo، BERT، ParsBERT)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش پنجم – تعبیه‌های بافتاری و ترنسفورمرها (ELMo، BERT، ParsBERT)

تعبیه‌های وابسته به بافت با ELMo، ترنسفورمر، BERT و مدل‌های فارسی و چندزبانه مانند ParsBERT و XLM-RoBERTa.
تبدیل متن به بردارهای عددی – بخش چهارم – تعبیه ایستای کلمات (Word2Vec، GloVe، FastText، Doc2Vec)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش چهارم – تعبیه ایستای کلمات (Word2Vec، GloVe، FastText، Doc2Vec)

تعبیه کلمات و بازنمایی توزیع‌شده با Word2Vec، GloVe، FastText و Doc2Vec و آموزش بردار کلمات فارسی با gensim.
تبدیل متن به بردارهای عددی – بخش سوم – کاهش ابعاد و مدل‌های موضوعی (LSA، LDA، NMF)
۳ آبان ۱۴۰۵ ۸ دقیقه

تبدیل متن به بردارهای عددی – بخش سوم – کاهش ابعاد و مدل‌های موضوعی (LSA، LDA، NMF)

کاهش ابعاد ماتریس سند-واژه و کشف موضوعات پنهان با LSA، LDA، NMF و BERTopic همراه با مثال‌های پایتون.
تبدیل متن به بردارهای عددی – بخش دوم – روش‌های سنتی کیف کلمات (One-Hot، BoW، N-gram، TF-IDF)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش دوم – روش‌های سنتی کیف کلمات (One-Hot، BoW، N-gram، TF-IDF)

آشنایی با روش‌های شمارشی بردارسازی متن از وان‌هات و کیف کلمات تا TF-IDF، چندگانه‌ها، بردارسازی درهم و BM25 همراه با کد پایتون.
تبدیل متن به بردارهای عددی – بخش اول – مقدمه و سیر تکامل روش‌ها
۳۰ اردیبهشت ۱۳۹۹ ۸ دقیقه

تبدیل متن به بردارهای عددی – بخش اول – مقدمه و سیر تکامل روش‌ها

تبدیل متن به بردارهای عددی یا بازنمایی برداری متون یکی از مراحل مهم متن کاوی و یادگیری ماشین است؛ در این مقاله دسته‌بندی و سیر تکامل روش‌ها از کیف کلمات تا مدل‌های زبانی بزرگ را مرور می‌کنیم.
پیکره اخبار فارسی‌یار (مناسب برای زمینه‌های مختلف متن کاوی)
۲۵ فروردین ۱۳۹۹ ۱۶ دقیقه

پیکره اخبار فارسی‌یار (مناسب برای زمینه‌های مختلف متن کاوی)

معرفی پیکره متن‌باز اخبار فارسی برای محققین متن کاوی و پردازش زبان طبیعی. این پیکره در زمینه‌های پژوهشی مختلفی کاربرد دارد.
مفهوم و فرآیند متن کاوی و ارتباط آن با پردازش زبان طبیعی
۲۱ اسفند ۱۳۹۸ ۷ دقیقه

مفهوم و فرآیند متن کاوی و ارتباط آن با پردازش زبان طبیعی

متن کاوی نوعی داده کاوی بر روی داده‌های متنی است. ولی هدف، تکنیک‌ها و فرآیند آن کمی متفاوت از داده کاوی است.
معرفی کتاب‌های برتر در زمینه متن کاوی و پردازش زبان طبیعی
۱۴ بهمن ۱۳۹۸ ۸ دقیقه

معرفی کتاب‌های برتر در زمینه متن کاوی و پردازش زبان طبیعی

بهترین کتاب‌ها و مقالات آموزشی برای آشنایی و یادگیری مفاهیم متن کاوی و پردازش زبان طبیعی را معرفی نمودیم.
معرفی حس‌نگار : شبکه واژگان حسی فارسی
۱ دی ۱۳۹۸ ۶ دقیقه

معرفی حس‌نگار : شبکه واژگان حسی فارسی

حس‌نگار یکی از بهترین منابع پردازش زبان طبیعی فارسی برای تحلیل احساسات و نظرکاوی است.
برچسب‌زن نقش معنایی (Semantic Role Labeling – SRL)
۱۰ آذر ۱۳۹۸ ۲ دقیقه

برچسب‌زن نقش معنایی (Semantic Role Labeling – SRL)

برچسب زنی نقش معنایی (SRL) یکی از عملیات و ابزارها مهم پردازش زبان طبیعی (NLP) است.
ژورنال‌ها و نشریات معتبر در زمینه متن کاوی و پردازش زبان طبیعی
۱۱ آبان ۱۳۹۸ ۳ دقیقه

ژورنال‌ها و نشریات معتبر در زمینه متن کاوی و پردازش زبان طبیعی

ژورنال‌ها و مجلات معتبر در حوزه‌های متن کاوی و پردازش زبان طبیعی را در این مقاله معرفی می‌کنیم.
کنفرانس‌ها و همایش‌های معتبر در زمینه متن کاوی و پردازش زبان طبیعی
۲ مهر ۱۳۹۸ ۲ دقیقه

کنفرانس‌ها و همایش‌های معتبر در زمینه متن کاوی و پردازش زبان طبیعی

کنفرانس‌ها و همایش‌های معتبر در حوزه‌های متن کاوی و پردازش زبان طبیعی را در این مقاله معرفی می‌کنیم.
معرفی بهترین کتابخانه‌های پردازش متن – بخش پنجم (GATE, RapidMiner, MALLET, FreeLing)
۲۳ شهریور ۱۳۹۸ ۴ دقیقه

معرفی بهترین کتابخانه‌های پردازش متن – بخش پنجم (GATE, RapidMiner, MALLET, FreeLing)

انتخاب بهترین کتابخانه پردازش زبان طبیعی و متن کاوی یکی از چالش‌های محققان این حوزه است. در بخش پنجم به معرفی چهار ابزار و کتابخانه پرداختی…
معرفی بهترین کتابخانه‌های پردازش متن – بخش چهارم (Spark-NLP, OpenNLP, SyntaxNet)
۶ مرداد ۱۳۹۸ ۷ دقیقه

معرفی بهترین کتابخانه‌های پردازش متن – بخش چهارم (Spark-NLP, OpenNLP, SyntaxNet)

انتخاب بهترین کتابخانه پردازش زبان طبیعی و متن کاوی یکی از چالش‌های محققان این حوزه است. در بخش چهارم به معرفی سه کتابخانه قوی پرداختیم
معرفی بهترین کتابخانه‌های پردازش متن – بخش سوم (Polyglot, Gensim, NLP Curator)
۸ تیر ۱۳۹۸ ۷ دقیقه

معرفی بهترین کتابخانه‌های پردازش متن – بخش سوم (Polyglot, Gensim, NLP Curator)

انتخاب بهترین کتابخانه پردازش زبان طبیعی و متن کاوی یکی از چالش‌های محققان این حوزه است. در بخش سوم به معرفی سه کتابخانه محبوب پرداختیم.
معرفی بهترین کتابخانه‌های پردازش متن – بخش دوم (TextBlob, Pattern, StanfordNLP)
۱۹ خرداد ۱۳۹۸ ۱۰ دقیقه

معرفی بهترین کتابخانه‌های پردازش متن – بخش دوم (TextBlob, Pattern, StanfordNLP)

انتخاب بهترین گزینه از بین کتابخانه های پردازش زبان طبیعی یکی از چالش‌های محققان این حوزه است. در بخش دوم به معرفی سه کتابخانه محبوب پرداخت…
معرفی بهترین کتابخانه‌های پردازش متن – بخش اول (NLTK, SpaCy, CoreNLP)
۳۱ اردیبهشت ۱۳۹۸ ۱۰ دقیقه

معرفی بهترین کتابخانه‌های پردازش متن – بخش اول (NLTK, SpaCy, CoreNLP)

انتخاب بهترین کتابخانه برای پردازش زبان طبیعی یکی از چالش‌های محققان این حوزه است. در بخش اول مقاله به معرفی NLTK، SpaCy و CoreNLP پرداختیم…
حوزه‌های تحقیقاتی نظرکاوی (تحلیل حس نویسنده از روی متن)
۳۰ فروردین ۱۳۹۸ ۸ دقیقه

حوزه‌های تحقیقاتی نظرکاوی (تحلیل حس نویسنده از روی متن)

در این مقاله، انواع مسائل و زمینه‌های مختلف پژوهشی نظر کاوی را دسته‌بندی و تشریح می‌کنیم.
خلاصه‌سازی متن نظرات (تحلیل حس در سطح ویژگی)
۲۵ اسفند ۱۳۹۷ ۵ دقیقه

خلاصه‌سازی متن نظرات (تحلیل حس در سطح ویژگی)

در این مقاله انواع رویکردهای خلاصه سازی متن و خلاصه‌سازی نظرات بیان شد. بطور ویژه مساله خلاصه‌سازی ساخت‌یافته متن نظرات توضیح داده شد.
مقدمه‌ای بر نظرکاوی (تحلیل حس) و کاربردهای آن
۹ بهمن ۱۳۹۷ ۶ دقیقه

مقدمه‌ای بر نظرکاوی (تحلیل حس) و کاربردهای آن

نظرکاوی یکی از زمینه‌های پژوهشی پرکاربرد پردازش متن است. در این مقاله مقدمات، تعاریف و ضرورت نظر کاوی یا تحلیل احساسات کاربر از متن بیان شد…
ابزارها و فعالان واقعی در حوزه پردازش متن فارسی
۴ دی ۱۳۹۷ ۳ دقیقه

ابزارها و فعالان واقعی در حوزه پردازش متن فارسی

دانشگاه‌‌ها، پژوهشگاه‌ها، شرکتها، استارتاپها و سایر مراکز فعال متن کاوی و ابزارهای تولید شده در حوزه پردازش متن در زبان فارسی معرفی شدند.
معرفی پیکره ویکی‌پدیا فارسی برای متن کاوی (بصورت اطلاعات تفکیک و پیش‌پردازش شده) بهمراه مدلهای تعبیه کلمات (یادگیری عمیق)
۱۵ آذر ۱۳۹۷ ۴ دقیقه

معرفی پیکره ویکی‌پدیا فارسی برای متن کاوی (بصورت اطلاعات تفکیک و پیش‌پردازش شده) بهمراه مدلهای تعبیه کلمات (یادگیری عمیق)

در این مقاله، به معرفی پیکره متن‌باز ویکی‌پدیا زبان فارسی برای محققین متن کاوی پرداختیم. این پیکره در زمینه‌های پژوهشی مختلفی کاربرد دارد.
فراخوان مشارکت عمومی برای کمک به زبان فارسی
۱۹ آبان ۱۳۹۷ ۳ دقیقه

فراخوان مشارکت عمومی برای کمک به زبان فارسی

دعوت عمومی جهت مشارکت در پروژه ایجاد بزرگترین پیکره منبع‌باز و رایگان موجودیت‌های نامدار (Named Entities) برای حل یکی از چالش‌های زبان فارسی…
ابزارهای پردازش متن
۸ مهر ۱۳۹۷ ۱۸ دقیقه

ابزارهای پردازش متن

در این مقاله، با مراحل و ابزارهای پایه‌ای پردازش زبان طبیعی آشنا می‌شویم. این ابزارها زیرساخت و پایه اصلی کاربردهای سطح بالای متن کاوی هستند.
کاربردهای پردازش زبان طبیعی
۱۵ شهریور ۱۳۹۷ ۳ دقیقه

کاربردهای پردازش زبان طبیعی

در این مقاله مهم‌ترین کاربردهای پردازش زبان طبیعی در زندگی روزمره را به تفکیک نوع پردازش (پردازش گفتار، پردازش تصویر، پردازش متن) بیان شدند…
سطوح (اجزای) زبان‌های طبیعی
۱۱ مرداد ۱۳۹۷ ۴ دقیقه

سطوح (اجزای) زبان‌های طبیعی

زبان متشکل از سطوح مختلف دانش است. در این مقاله دسته‌بندی معروف و متداول برای سطوح و اجزای زبان‌های طبیعی بیان می‌شود.
مفاهیم اولیه پردازش زبان طبیعی
۱۱ تیر ۱۳۹۷ ۷ دقیقه

مفاهیم اولیه پردازش زبان طبیعی

مفاهیم پردازش زبان طبیعی و توضیح کلی درباره سطوح پردازش زبان و بررسی زبان فارسی از دیدگاه ریخت‌شناسی و ساختارشناسی بیان شده است.

برچسب‌ها

پردازش زبان طبیعی متن کاوی بازنمایی برداری متن nlp کتابخانه های پردازش متن نظرکاوی BERT تعبیه کلمات یادگیری عمیق بازیابی اطلاعات تحلیل احساسات پردازش زبان‌های طبیعی نظر کاوی ابزارهای پردازش متن تعبیه جمله جستجوی معنایی RAG ترنسفورمر Word2Vec FastText مدل موضوعی LDA کاهش ابعاد TF-IDF کیف کلمات BM25 استخراج ویژگی انتخاب ویژگی یادگیری ماشین پیکره اخبار فارسی پیکره متنی فارسی زبان شناسی پیکره ای استخراج اطلاعات خوشه بندی متون دسته بندی متون زبان‌شناسی پیکره‌ای حس نگار مجموعه واژگان حسی srl برچسب زنی معنایی برچسب‌زنی نقش معنایی ژورنال های پردازش متن کنفرانس nlp freeling gate rapidminer کتابخانه های پردازش زبان های طبیعی OpenNLP SparkNLP SyntaxNet Gensim NLP Curator Polyglot pattern stanfordnlp textblob nltk spacy تحلیل خس تشخیص رضایتمندی عقیده کاوی تحلیل حس مبتنی بر جنبه خلاصه سازی ساختیافته خلاصه سازی متن خلاصه سازی نظرات آنالیز حسی تحلیل حس ابزارهای پردازش متن فارسی استارتاپ‌های فعال در تحلیل متن فارسی پردازش زبان طبیعی فارسی شرکت‌های فعال متن کاوی مراکز پردازش متن فارسی پیکره زبان فارسی پیکره متنی رایگان فارسی پیکره ویکی‌پدیا زبان‌شناسی رایانه‌ای Named Entity Recognition ابزار ner زبان فارسی دعوت مشارکت عمومی پیش‌پردازش متون پردازش زبان پردازش متن کاربردهای پردازش متن مبانی پردازش زبان طبیعی تحلیل متن