POS Tagging Bahasa Indonesia Dengan HMM dan Rule Based

2013 ◽  
Vol 8 (2) ◽  
Author(s):  
Kathryn Widhiyanti ◽  
Agus Harjoko
Keyword(s):  
Markov Model ◽  
Hidden Markov Model ◽  
Hidden Markov ◽  
Word Class ◽  
Rule Based ◽  
Part Of Speech Tagging ◽  
Pos Tagging ◽  
Part Of Speech ◽  
Class Labelling ◽  
Speech Tagging

The research conduct a Part of Speech Tagging (POS-tagging) for text in Indonesian language, supporting another process in digitising natural language e.g. Indonesian language text parsing. POS-tagging is an automated process of labelling word classes for certain word in sentences (Jurafsky and Martin, 2000). The escalated issue is how to acquire an accurate word class labelling in sentence domain. The author would like to propose a method which combine Hidden Markov Model and Rule Based method. The expected outcome in this research is a better accurary in word class labelling, resulted by only using Hidden Markov Model. The labelling results –from Hidden Markov Model– are  refined by validating with certain rule, composed by the used corpus automatically. From the conducted research through some POST document, using Hidden Markov Model, produced 100% as the highest accurary for identical text within corpus. For different text within the referenced corpus, used words subjected in corpus, produced 92,2% for the highest accurary.

scholarly journals Penggunaan Metode Naïve Bayes Classifier pada Analisis Sentimen Facebook Berbahasa Indonesia

2019 ◽  
Vol 18 (1) ◽  
pp. 145
Author(s):  
Putu Sri Merta Suryani ◽  
Linawati Linawati ◽  
Komang Oka Saputra
Keyword(s):  
Markov Model ◽  
Hidden Markov Model ◽  
Naive Bayes ◽  
Hidden Markov ◽  
Naïve Bayes ◽  
Naive Bayes Classifier ◽  
Bayes Classifier ◽  
Naïve Bayes Classifier ◽  
Rule Based ◽  
Pos Tagging

Analisis  sentimen merupakan  bidang  yang  saat  ini sangat  diminati  oleh  berbagai  kalangan.  Analisis  sentimendapat dilakukan   dengan  menggunakan  dokumen  maupun  opini   dari media  sosial. Salah  satu  media  sosial  yang  biasanya  digunakan sebagai  sarana   opini  adalah  media  sosial Facebook. Sebelum sebuah  teks  diklasifikasikan,  perlu  dilakukan POS  Tagging yang merupakan  tahap  pelabelan  kata  dimana  tujuannya  adalah  untuk menentukan  kata  yang  termasuk  opini  dan  non  opini.  Untuk pelabelan kata  dapat   menggunakan Hidden   Markov   Model maupun Rule Based. Adapun metode yang biasa digunakan dalam analisis sentimen adalah metode Naïve Bayes Classifier. Metode ini mengklasifikasikan probalitas  dengan   sederhana. Naïve   Bayes Classifier dapat   digunakan  untuk  mengklasifikasikan  opini  ke dalam  opini   positif   maupun   negatif. Selain   itu   metode   ini menggunakan  data  latih  dalam  proses  klasifikasinya. Klasifikasi yang  dihasilkan  dari  metode Naïve  Bayes  Classifier tergolong cukup baik. Untuk  menguji   tingkat   keakuratan   sistem   dalam mengklasifikasikan    opini,    maka    dilakukan    pengujian    hasil klasifikasi.   Dari   hasil   pengujian   diperoleh   rata-rata   akurasi sebesar 87,1 %. Semakin banyak data latih yang mirip dengan data testing maka hasil klasifikasi akan semakin bagus. Kata  Kunci—Facebook, Analisis  Sentimen, POS Tagging, Naïve Bayes Classifier, Akurasi

scholarly journals Sistem Opinion Mining dengan Metode Pos Tagging dan SVM Untuk Ekstraksi Data Opini Publik pada Layanan JKBM

2016 ◽  
Vol 16 (1) ◽  
pp. 91
Author(s):  
Luh Ria Atmarani ◽  
Made Sudarma ◽  
IA Dwi Giriantari
Keyword(s):  
Support Vector Machine ◽  
Markov Model ◽  
Hidden Markov Model ◽  
Opinion Mining ◽  
Hidden Markov ◽  
Support Vector ◽  
Rule Based ◽  
Pos Tagging

Analisis sentimen atau opinion mining dapat digunakan untuk mengekstrak opini dari baris baris teks menjadi suatu informasi. Salah satu metode yang digunakan adalah Hidden Markov Model (HMM). HMM digunakan untuk memberikan kelas kata secara gramatikal pada suatu kalimat. Setelah kelas kata dapat ditentukan selanjutnya menentukan aturan dengan menggunakan rule based. Dengan menggunakan rule based suatu kalimat dapat ditentukan termasuk opini atau bukan. Penerapan metode Support Vector Machine digunakan untuk mengklasifikasikan opini ke dalam opini positif dan negatif. Data yang digunakan adalah data pada penangan keluhan dan pada opini online pada Unit Pelayanan Teknis Jaminan Kesehatan Bali Mandara Provinsi Bali. Hasil proses opinion mining akan diuji menggunakan metode precission, recall dan akurasi. Hasil penelitian menunjukkan presentase nilai precission, recall dan akurasi memiliki rata rata presentase sebesar 89 persen. Ini menunjukkan metode pos tagging dan SVM mampu mengklasifikasikan kalimat kedalam opini dan menentukan kalimat ke dalam opini positif dan negatifDOI: 10.24843/MITE.1601.13

scholarly journals Pelabelan Kelas Kata Bahasa Jawa Menggunakan Hidden Markov Model

2020 ◽  
Vol 2 (2) ◽  
pp. 71-83
Author(s):  
Mohammad Mursyit ◽  
Aji Prasetya Wibawa ◽  
Ilham Ari Elbaith Zaeni ◽  
Harits Ar Rosyid
Keyword(s):  
Short Stories ◽  
Markov Model ◽  
Hidden Markov Model ◽  
Hidden Markov ◽  
Part Of Speech Tagging ◽  
Pos Tagging ◽  
Part Of Speech ◽  
Improve Accuracy ◽  
Unknown Words ◽  
Speech Tagging

Part of Speech Tagging atau POS Tagging adalah proses memberikan label pada setiap kata dalam sebuah kalimat secara otomatis. Penelitian ini menggunakan algoritma Hidden Markov Model (HMM) untuk proses POS Tagging. Perlakuan untuk unknown words menggunakan Most Probable POS-Tag. Dataset yang digunakan berupa 10 cerita pendek berbahasa Jawa terdiri dari 10.180 kata yang telah diberikan tagsetBahasa Jawa. Pada penelitian ini proses POS Tagging menggunakan dua skenario. Skenario pertama yaitu menggunakan algoritma Hidden Markov Model (HMM) tanpa menggunakan perlakuan untuk unknown words. Skenario yang kedua menggunakan HMM dan Most Probable POS-Tag untuk perlakuan unknown words. Hasil menunjukan skenario pertama menghasilkan akurasi sebesar 45.5% dan skenario kedua menghasilkan akurasi sebesar 70.78%. Most Probable POS-Tag dapat meningkatkan akurasi pada POS Tagging tetapi tidak selalu menunjukan hasil yang benar dalam pemberian label. Most Probable POS-Tag dapat menghilangkan probabilitas bernilai Nol dari POS Tagging Hidden Markov Model. Hasil penelitian ini menunjukan bahwa POS Tagging dengan menggunakan Hidden Markov Model dipengaruhi oleh perlakuan terhadap unknown words, perbendaharaan kata dan hubungan label kata pada dataset.  Part of Speech Tagging or POS Tagging is the process of automatically giving labels to each word in a sentence. This study uses the Hidden Markov Model (HMM) algorithm for the POS Tagging process. Treatment for unknown words uses the Most Probable POS-Tag. The dataset used is in the form of 10 short stories in Javanese consisting of 10,180 words which have been given the Javanese tagset. In this study, the POS Tagging process uses two scenarios. The first scenario is using the Hidden Markov Model (HMM) algorithm without using treatment for unknown words. The second scenario uses HMM and Most Probable POS-Tag for treatment of unknown words. The results show that the first scenario produces an accuracy of 45.5% and the second scenario produces an accuracy of 70.78%. Most Probable POS-Tag can improve accuracy in POS Tagging but does not always produce correct labels. Most Probable POS-Tag can remove zero-value probability from POS Tagging Hidden Markov Model. The results of this study indicate that POS Tagging using the Hidden Markov Model is influenced by the treatment of unknown words, vocabulary and word label relationships in the dataset.

scholarly journals A Hidden Markov Model-based Part of Speech Tagger for Shekki’noono Language

2021 ◽  
pp. 587-595
Author(s):  
Alebachew Chiche ◽  
Hiwot Kadi ◽  
Tibebu Bekele
Keyword(s):  
Natural Language Processing ◽  
Natural Language ◽  
Markov Model ◽  
Hidden Markov Model ◽  
Language Processing ◽  
Hidden Markov ◽  
Parts Of Speech ◽  
Pos Tagging ◽  
Part Of Speech ◽  
Pos Tagger

Natural language processing plays a great role in providing an interface for human-computer communication. It enables people to talk with the computer in their formal language rather than machine language. This study aims at presenting a Part of speech tagger that can assign word class to words in a given paragraph sentence. Some of the researchers developed parts of speech taggers for different languages such as English Amharic, Afan Oromo, Tigrigna, etc. On the other hand, many other languages do not have POS taggers like Shekki’noono language.  POS tagger is incorporated in most natural language processing tools like machine translation, information extraction as a basic component. So, it is compulsory to develop a part of speech tagger for languages then it is possible to work with an advanced natural language application. Because those applications enhance machine to machine, machine to human, and human to human communications. Although, one language POS tagger cannot be directly applied for other languages POS tagger. With the purpose for developing the Shekki’noono POS tagger, we have used the stochastic Hidden Markov Model. For the study, we have used 1500 sentences collected from different sources such as newspapers (which includes social, economic, and political aspects), modules, textbooks, Radio Programs, and bulletins.  The collected sentences are labeled by language experts with their appropriate parts of speech for each word.  With the experiments carried out, the part of speech tagger is trained on the training sets using Hidden Markov model. As experiments showed, HMM based POS tagging has achieved 92.77 % accuracy for Shekki’noono. And the POS tagger model is compared with the previous experiments in related works using HMM. As a future work, the proposed approaches can be utilized to perform an evaluation on a larger corpus.

Sign in / Sign up

Export Citation Format

Share Document