Tutorial NLP menyediakan konsep dasar dan lanjutan dari tutorial NLP. Tutorial NLP kami dirancang untuk pemula dan profesional.
NLP adalah singkatan dari Natural Language Processing, yang merupakan bagian dari Ilmu Komputer, Bahasa Manusia, dan Kecerdasan Buatan. Ini adalah teknologi yang digunakan oleh mesin untuk memahami, menganalisis, memanipulasi, dan menginterpretasikan bahasa manusia. Ini membantu pengembang untuk mengatur pengetahuan untuk melakukan tugas-tugas seperti terjemahan, peringkasan otomatis, Pengenalan Entitas Bernama (NER), pengenalan ucapan, ekstraksi hubungan, dan segmentasi topik.
Pemrosesan Bahasa Alami dimulai pada tahun 1940-an.
Catatan: NLU lebih sulit daripada NLG.
Perbedaan antara NLU dan NLG
NLU | NLG |
---|
NLU adalah proses membaca dan menafsirkan bahasa. | NLG adalah proses menulis atau menghasilkan bahasa. |
Ini menghasilkan output non-linguistik dari input bahasa alami. | Ini menghasilkan output bahasa alami yang membangun dari input non-linguistik. |
Aplikasi NLP
Ada aplikasi NLP berikut -
1. Menjawab Pertanyaan
Question Answering berfokus pada membangun sistem yang secara otomatis menjawab pertanyaan yang diajukan oleh manusia dalam bahasa alami.
2. Deteksi Spam
Deteksi spam digunakan untuk mendeteksi email yang tidak diinginkan masuk ke kotak masuk pengguna.
3. Analisis Sentimen
Analisis Sentimen juga dikenal sebagai penambangan opini. Ini digunakan di web untuk menganalisis sikap, perilaku, dan keadaan emosional pengirim. Aplikasi ini diimplementasikan melalui kombinasi NLP (Natural Language Processing) dan statistik dengan memberikan nilai pada teks (positif, negatif, atau alami), mengidentifikasi mood konteks (senang, sedih, marah, dll.)
4. Terjemahan Mesin
Terjemahan mesin digunakan untuk menerjemahkan teks atau ucapan dari satu bahasa alami ke bahasa alami lainnya.
Contoh: Google Penerjemah
5. Koreksi ejaan
Microsoft Corporation menyediakan perangkat lunak pengolah kata seperti MS-word, PowerPoint untuk koreksi ejaan.
6. Pengenalan Ucapan
Pengenalan ucapan digunakan untuk mengubah kata yang diucapkan menjadi teks. Ini digunakan dalam aplikasi, seperti seluler, otomatisasi rumah, pemulihan video, mendikte ke Microsoft Word, biometrik suara, antarmuka pengguna suara, dan sebagainya.
7. Obrolan bot
Menerapkan Chatbot adalah salah satu aplikasi penting NLP. Ini digunakan oleh banyak perusahaan untuk menyediakan layanan obrolan pelanggan.
8. Ekstraksi informasi
Ekstraksi informasi adalah salah satu aplikasi NLP yang paling penting. Ini digunakan untuk mengekstraksi informasi terstruktur dari dokumen yang dapat dibaca mesin yang tidak terstruktur atau semi-terstruktur.
9. Pemahaman Bahasa Alami (NLU)
Itu mengubah sekumpulan besar teks menjadi representasi yang lebih formal seperti struktur logika urutan pertama yang lebih mudah bagi program komputer untuk memanipulasi notasi pemrosesan bahasa alami.
Catatan: Saat Anda membangun mesin pencari band rock, jangan abaikan kata "The".
Langkah 6: Penguraian Ketergantungan
Dependency Parsing digunakan untuk menemukan bagaimana semua kata dalam kalimat berhubungan satu sama lain.
Langkah 7: Tag POS
POS adalah singkatan dari part of speech, yang meliputi Noun, verb, adverb, dan Adjective. Ini menunjukkan bahwa bagaimana sebuah kata berfungsi dengan artinya serta secara tata bahasa dalam kalimat. Sebuah kata memiliki satu atau lebih bagian ucapan berdasarkan konteks penggunaannya.
Contoh: "Google" sesuatu di Internet.
Dalam contoh di atas, Google digunakan sebagai kata kerja, meskipun itu adalah kata benda yang tepat.
Langkah 8: Pengakuan Entitas Bernama (NER)
Named Entity Recognition (NER) adalah proses mendeteksi entitas bernama seperti nama orang, nama film, nama organisasi, atau lokasi.
Contoh: Steve Jobs memperkenalkan iPhone di Macworld Conference di San Francisco, California.
Langkah 9: Memotong
Chunking digunakan untuk mengumpulkan informasi individu dan mengelompokkannya menjadi potongan-potongan kalimat yang lebih besar.
Fase NLP
Ada lima fase NLP berikut:
1. Analisis Leksikal dan Morfologi
Fase pertama NLP adalah Analisis Leksikal. Fase ini memindai kode sumber sebagai aliran karakter dan mengubahnya menjadi leksem bermakna. Ini membagi seluruh teks menjadi paragraf, kalimat, dan kata-kata.
2. Analisis Sintaksis (Parsing)
Sintaksis Analisis digunakan untuk memeriksa tata bahasa, pengaturan kata, dan menunjukkan hubungan antara kata-kata.
Contoh: Agra pergi ke Poonam
Di dunia nyata, Agra pergi ke Poonam, tidak masuk akal, jadi kalimat ini ditolak oleh Syntactic analyzer.
3. Analisis Semantik
Analisis semantik berkaitan dengan representasi makna. Ini terutama berfokus pada makna literal dari kata, frasa, dan kalimat.
4. Integrasi Wacana
Integrasi wacana bergantung pada kalimat-kalimat yang menghasilkannya dan juga memunculkan makna kalimat-kalimat yang mengikutinya.
5. Analisis Pragmatis
Pragmatis adalah fase kelima dan terakhir dari NLP. Ini membantu Anda menemukan efek yang diinginkan dengan menerapkan seperangkat aturan yang menjadi ciri dialog kooperatif.
Contoh: “Buka pintu” diartikan sebagai permintaan bukan perintah.
Mengapa NLP itu sulit?
NLP sulit karena Ambiguitas dan Ketidakpastian ada dalam bahasa tersebut.
Kemenduaan
Ada tiga ambiguitas berikut -
Ambiguitas leksikal ada di hadapan dua atau lebih kemungkinan makna kalimat dalam satu kata.
Contoh:
Manya sedang mencari kecocokan.
Dalam contoh di atas, kata kecocokan merujuk pada Manya yang sedang mencari pasangan atau Manya yang sedang mencari jodoh. (Kriket atau pertandingan lainnya)
Sintaksis Ambiguitas ada di hadapan dua atau lebih kemungkinan makna dalam kalimat.
Contoh:
Aku melihat gadis dengan teropong.
Dalam contoh di atas, apakah saya memiliki teropong? Atau apakah gadis itu memiliki teropong?
Ambiguitas referensial ada saat Anda mengacu pada sesuatu menggunakan kata ganti.
Contoh: Kiran pergi ke Sunita. Dia berkata, "Saya lapar."
Pada kalimat di atas, Anda tidak tahu siapa yang lapar, baik Kiran maupun Sunita.
API NLP
API Pemrosesan Bahasa Alami memungkinkan pengembang untuk mengintegrasikan komunikasi manusia-ke-mesin dan menyelesaikan beberapa tugas berguna seperti pengenalan ucapan, chatbots, koreksi ejaan, analisis sentimen, dll.
Daftar API NLP diberikan di bawah ini:
IBM Watson API menggabungkan berbagai teknik pembelajaran mesin canggih untuk memungkinkan pengembang mengklasifikasikan teks ke dalam berbagai kategori khusus. Ini mendukung banyak bahasa, seperti Inggris, Prancis, Spanyol, Jerman, Cina, dll. Dengan bantuan IBM Watson API, Anda dapat mengekstrak wawasan dari teks, menambahkan otomatisasi dalam alur kerja, menyempurnakan pencarian, dan memahami sentimen. Keuntungan utama dari API ini adalah sangat mudah digunakan.
Harga: Pertama, ia menawarkan akun cloud IBM percobaan 30 hari gratis. Anda juga dapat memilih paket berbayarnya.
Chatbot API memungkinkan Anda membuat chatbot cerdas untuk layanan apa pun. Ini mendukung karakter Unicode, mengklasifikasikan teks, banyak bahasa, dll. Sangat mudah digunakan. Ini membantu Anda membuat chatbot untuk aplikasi web Anda.
Harga: Chatbot API gratis untuk 150 permintaan per bulan. Anda juga dapat memilih versi berbayarnya, mulai dari $100 hingga $5.000 per bulan.
Speech to text API digunakan untuk mengubah ucapan menjadi teks
Harga: Speech to text API gratis untuk mengonversi 60 menit per bulan. Versi berbayarnya mulai dari $500 hingga $1.500 per bulan.
API Analisis Sentimen juga disebut sebagai 'opinion mining' yang digunakan untuk mengidentifikasi nada pengguna (positif, negatif, atau netral)
Harga: API Analisis Sentimen gratis untuk kurang dari 500 permintaan per bulan. Versi berbayarnya mulai dari $19 hingga $99 per bulan.
- Terjemahan API oleh SYSTRAN
Translation API oleh SYSTRAN digunakan untuk menerjemahkan teks dari bahasa sumber ke bahasa target. Anda dapat menggunakan API NLP untuk deteksi bahasa, segmentasi teks, pengenalan entitas bernama, tokenisasi, dan banyak tugas lainnya.
Harga: API ini tersedia gratis. Tetapi untuk pengguna komersial, Anda harus menggunakan versi berbayarnya.
- API Analisis Teks oleh AYLIEN
API Analisis Teks oleh AYLIEN digunakan untuk mendapatkan makna dan wawasan dari konten tekstual. Ini tersedia baik gratis maupun berbayar mulai dari $119 per bulan. Mudah digunakan.
Harga: API ini tersedia gratis untuk 1.000 hit per hari. Anda juga dapat menggunakan versi berbayarnya, mulai dari $199 hingga S1, 399 per bulan.
Cloud NLP API digunakan untuk meningkatkan kemampuan aplikasi menggunakan teknologi pemrosesan bahasa alami. Ini memungkinkan Anda untuk membawa berbagai fungsi pemrosesan bahasa alami seperti analisis sentimen dan deteksi bahasa. Mudah digunakan.
Harga: Cloud NLP API tersedia gratis.
- API Bahasa Alami Google Cloud
Google Cloud Natural Language API memungkinkan Anda mengekstrak wawasan bermanfaat dari teks yang tidak terstruktur. API ini memungkinkan Anda untuk melakukan pengenalan entitas, analisis sentimen, klasifikasi konten, dan analisis sintaks di lebih dari 700 kategori yang telah ditentukan sebelumnya. Ini juga memungkinkan Anda untuk melakukan analisis teks dalam berbagai bahasa seperti Inggris, Prancis, Cina, dan Jerman.
Harga: Setelah melakukan analisis entitas untuk 5.000 hingga 10.000.000 unit, Anda harus membayar $1,00 per 1000 unit per bulan.
Perpustakaan NLP
Scikit-learn: Ini menyediakan berbagai macam algoritma untuk membangun model pembelajaran mesin dengan Python.
Toolkit bahasa alami (NLTK): NLTK adalah toolkit lengkap untuk semua teknik NLP.
Pola: Ini adalah modul penambangan web untuk NLP dan pembelajaran mesin.
TextBlob: Ini menyediakan antarmuka yang mudah untuk mempelajari tugas NLP dasar seperti analisis sentimen, ekstraksi frasa kata benda, atau penandaan pos.
Quepy: Quepy digunakan untuk mengubah pertanyaan bahasa alami menjadi kueri dalam bahasa kueri basis data.
SpaCy: SpaCy adalah pustaka NLP sumber terbuka yang digunakan untuk Ekstraksi Data, Analisis Data, Analisis Sentimen, dan Peringkasan Teks.
Gensim: Gensim bekerja dengan kumpulan data besar dan memproses aliran data.
Perbedaan antara bahasa alami dan Bahasa Komputer
Natural Language | Computer Language |
---|
Bahasa alami memiliki kosakata yang sangat banyak. | Bahasa komputer memiliki kosakata yang sangat terbatas. |
Bahasa alami mudah dipahami oleh manusia. | Bahasa komputer mudah dipahami oleh mesin. |
Bahasa alami bersifat ambigu. | Bahasa komputer tidak ambigu. |
Prasyarat
Sebelum mempelajari NLP, Anda harus memiliki pengetahuan dasar tentang Python.
Audiens
Tutorial NLP kami dirancang untuk membantu pemula.
Jangan lupa untuk terus berkunjung dan mengikuti update terbarunya dari blog Beritaceria.com, Oh iya lupa, jika Sahabat memiliki tips-tips yang lebih bagus dari tips di atas, boleh dituliskan dimari caranya kelik menu bar lalu kelik kerja sama scrool kirim artikel. Selain itu juga, mohon dishare ketemen-temen atau keluarga jika memang artikel ini sangatlah bermanfaat untuk Sahabat.
Penulis Artikel
- Penulis : Rizky Kharisma
- Sumber : Merangkum Dari Buku Gramedia
📢 Baca Juga :