پردازش زبان طبیعی یا همان Natural Language Processing زیرشاخه­ای از هوش مصنوعی است که به استفاده از رایانه­ها برای تحلیل، درک و بازتولید زبان انسانی می­پردازد. این شاخه با توجه به تاثیری که زبان در زندگی روزمره برای ارتباط و تفکر انسان­ها دارد، می­تواند نقش بسیار تاثیرگذاری در امکان کاربرد هوشمندسازی در زندگی روزمره انسان­ها بر عهده بگیرد.
پردازش زبان یکی از زیرشاخه­های قدیمی هوش مصنوعی به شمار می­رود و نسل­های مختلفی از این فناوری­ ارایه شده است. نسل اول فناوری­های این حوزه از قواعد گرامری خاص زبان استفاده می­کرد. سپس در سال­های بعدی استفاده از روش­های آماری به با استفاده از الگوریتم­های یادگیری ماشین مورد توجه قرار گرفت. در سال­های اخیر با توسعه روش­های شبکه­های عصبی در حوزه­های مختلف هوش مصنوعی، در  برخی از مسائل این حوزه نیز با استفاده از آن نتایج بهتری کسب شده است.
از زیرشاخه­های پردازش زبان طبیعی می­توان به استخراج اسامی نامدار متن(Named Entity Recognition)، استخراج و دسته بندی موضوعات متن(Topic Extraction)، تشخیص احساسات متن(Sentiment Analysis)،تشخیص نقش کلمات در جملات، برچسب­زنی اجزای سخن و ترجمه ماشینی اشاره کرد.
 

سرویس انیگمایند

تحقیق و توسعه بر روی حوزه­های مختلف پردازش زبان طبیعی برای استفاده در محصولات شرکت آوای همراه هوشمند هزاردستان از چندین سال پیش آغاز شده است. در این مدت روش­ها و زیرساخت­های مختلفی برای پردازش زبان طبیعی ایجاد، استفاده و ارزیابی شده است. در سال 1397 تصمیم­گرفته شد که این محصولات برای استفاده دیگران عرضه شود.
در حال حاضر سرویس­های زیر از مجموعه پردازش زبان قابل ارایه است:

  • یکسان­ساز(Normalizer)
  • تجزیه­گر نحوی(Parser)
  • برچسب­زن اجزای سخن(Part Of Speech Tagging)
  • استخراج موضوع(Topic Extraction)
  • شناسایی اسامی نامدار(Named Entity Recognition)
  • تحلیل احساسات(Sentiment Analysis)

همانطور که در تعریف پردازش متن گفته شد، استفاده از هوش مصنوعی و یادگیری عمیق برای به دست آوردن اهداف خاصی از متن است، مانند تشخیص موضوع یک متن و تشخیص احساست آن و … که هر کدام از این قابلیت های پردازش متن کاربردهایی را ایجاد می کند که در ذیل به بعضی از آن ها اشاره شده است.

  • استفاده در دیتا بیس های متن محور برای دسته بندی داده ها(کال سنترها و دسته بندی تیکت ها بر اساس موضوعات)
  • استفاده در سیمنتیک سرچ
  • استفاده برای استخراج اطلاعات از حجم انبوه داده ها
  • استفاده در تحلیل احساسات متون
  • استفاده در دسته بندی متون با موضوعات مشخص به جای نیروی انسانی
  • استفاده در چت بات ها
  • استفاده در تبلیغات و دسته بندی سایت ها با استفاده از تعیین موضوعات متون

کاربردها:

کاربردهای پردازش زبان بسیار گسترده است. می­توان موارد زیر را به عنوان نمونه­ای از کاربردها در این حوزه نام برد:

  • دسته­بندی خودکار متون مانند شکایات، درخواست­ها و پیشنهادات به جای استفاده از نیروی انسانی
  • تحلیل محتوایی داده­های غیرساخت­یافته
  • شناسایی کلیدواژه در حجم بالای داده­های متنی
  • تبدیل داده متنی غیرساخت­یافته به داده­های ساخت­یافته