Belajar NLP Python Part1

NLP(Natural Language Processing) adalah kecerdasan buatan yang digunakan untuk memproses bahasa manusia.
di python kita bisa menggunakan nltk untuk tahap awal sebelum pemprosesan teks. Tahap awal yang kita lakukan adalah menjadikan teks huruf menjadi kecil atau menghilangkan tab diawal atau ahir kemudian kita bisa menggunakan sentence tokenize dan word tokenize.

download nltk dengan pip.

pip install nltk

main.py

import nltk

def tokenize(teks):
    return [[word for word in nltk.word_tokenize(sent)]for sent in nltk.sent_tokenize(teks.lower().strip())]

def main():
    print(tokenize("Aku Sedang mandi. Bapak sedang makan. Mama sedang memandikan Adik."))
#[['aku', 'sedang', 'mandi', '.'], ['bapak', 'sedang', 'makan', '.'], ['mama', 'sedang', 'memandikan', 'adik', '.']]

if __name__ == "__main__":
    main()

begitulah part1nya semoga tidak mengecewakan nantikan part selanjutnya.