وبلاگ متن کاوی فارسی‌یار

مقالات آموزشی متن کاوی، پردازش زبان طبیعی و ابزارهای پردازش متن فارسی

نوشته‌های دارای برچسب «بازنمایی برداری متن» (۶ نوشته) نمایش همه نوشته‌ها ×
تبدیل متن به بردارهای عددی – بخش ششم – تعبیه جملات و روش‌های نوین (Sentence-BERT، E5، BGE-M3)
۳ آبان ۱۴۰۵ ۱۰ دقیقه

تبدیل متن به بردارهای عددی – بخش ششم – تعبیه جملات و روش‌های نوین (Sentence-BERT، E5، BGE-M3)

تعبیه جملات با Sentence-BERT، E5، BGE-M3 و مدل‌های مبتنی بر LLM و پیاده‌سازی جستجوی معنایی و RAG با FAISS.
تبدیل متن به بردارهای عددی – بخش پنجم – تعبیه‌های بافتاری و ترنسفورمرها (ELMo، BERT، ParsBERT)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش پنجم – تعبیه‌های بافتاری و ترنسفورمرها (ELMo، BERT، ParsBERT)

تعبیه‌های وابسته به بافت با ELMo، ترنسفورمر، BERT و مدل‌های فارسی و چندزبانه مانند ParsBERT و XLM-RoBERTa.
تبدیل متن به بردارهای عددی – بخش چهارم – تعبیه ایستای کلمات (Word2Vec، GloVe، FastText، Doc2Vec)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش چهارم – تعبیه ایستای کلمات (Word2Vec، GloVe، FastText، Doc2Vec)

تعبیه کلمات و بازنمایی توزیع‌شده با Word2Vec، GloVe، FastText و Doc2Vec و آموزش بردار کلمات فارسی با gensim.
تبدیل متن به بردارهای عددی – بخش سوم – کاهش ابعاد و مدل‌های موضوعی (LSA، LDA، NMF)
۳ آبان ۱۴۰۵ ۸ دقیقه

تبدیل متن به بردارهای عددی – بخش سوم – کاهش ابعاد و مدل‌های موضوعی (LSA، LDA، NMF)

کاهش ابعاد ماتریس سند-واژه و کشف موضوعات پنهان با LSA، LDA، NMF و BERTopic همراه با مثال‌های پایتون.
تبدیل متن به بردارهای عددی – بخش دوم – روش‌های سنتی کیف کلمات (One-Hot، BoW، N-gram، TF-IDF)
۳ آبان ۱۴۰۵ ۹ دقیقه

تبدیل متن به بردارهای عددی – بخش دوم – روش‌های سنتی کیف کلمات (One-Hot، BoW، N-gram، TF-IDF)

آشنایی با روش‌های شمارشی بردارسازی متن از وان‌هات و کیف کلمات تا TF-IDF، چندگانه‌ها، بردارسازی درهم و BM25 همراه با کد پایتون.
تبدیل متن به بردارهای عددی – بخش اول – مقدمه و سیر تکامل روش‌ها
۳۰ اردیبهشت ۱۳۹۹ ۸ دقیقه

تبدیل متن به بردارهای عددی – بخش اول – مقدمه و سیر تکامل روش‌ها

تبدیل متن به بردارهای عددی یا بازنمایی برداری متون یکی از مراحل مهم متن کاوی و یادگیری ماشین است؛ در این مقاله دسته‌بندی و سیر تکامل روش‌ها از کیف کلمات تا مدل‌های زبانی بزرگ را مرور می‌کنیم.

برچسب‌ها

پردازش زبان طبیعی متن کاوی بازنمایی برداری متن nlp کتابخانه های پردازش متن نظرکاوی BERT تعبیه کلمات یادگیری عمیق بازیابی اطلاعات تحلیل احساسات پردازش زبان‌های طبیعی نظر کاوی ابزارهای پردازش متن تعبیه جمله جستجوی معنایی RAG ترنسفورمر Word2Vec FastText مدل موضوعی LDA کاهش ابعاد TF-IDF کیف کلمات BM25 استخراج ویژگی انتخاب ویژگی یادگیری ماشین پیکره اخبار فارسی پیکره متنی فارسی زبان شناسی پیکره ای استخراج اطلاعات خوشه بندی متون دسته بندی متون زبان‌شناسی پیکره‌ای حس نگار مجموعه واژگان حسی srl برچسب زنی معنایی برچسب‌زنی نقش معنایی ژورنال های پردازش متن کنفرانس nlp freeling gate rapidminer کتابخانه های پردازش زبان های طبیعی OpenNLP SparkNLP SyntaxNet Gensim NLP Curator Polyglot pattern stanfordnlp textblob nltk spacy تحلیل خس تشخیص رضایتمندی عقیده کاوی تحلیل حس مبتنی بر جنبه خلاصه سازی ساختیافته خلاصه سازی متن خلاصه سازی نظرات آنالیز حسی تحلیل حس ابزارهای پردازش متن فارسی استارتاپ‌های فعال در تحلیل متن فارسی پردازش زبان طبیعی فارسی شرکت‌های فعال متن کاوی مراکز پردازش متن فارسی پیکره زبان فارسی پیکره متنی رایگان فارسی پیکره ویکی‌پدیا زبان‌شناسی رایانه‌ای Named Entity Recognition ابزار ner زبان فارسی دعوت مشارکت عمومی پیش‌پردازش متون پردازش زبان پردازش متن کاربردهای پردازش متن مبانی پردازش زبان طبیعی تحلیل متن