Preprocessing Data
Status Preprocessing per Batch
📋 Lihat Hasil Pre-Processing| Nama Batch | Total Data | Sudah Diproses | Progress | Aksi |
|---|---|---|---|---|
| Data Mentah MBG | 6167 | 5266 | 100% | Selesai |
Tahapan Preprocessing yang Dijalankan
Sistem menjalankan 5 tahap: case folding → cleaning → normalisasi →
tokenizing → stopword removal.
1. Case Folding
Ubah seluruh teks menjadi huruf kecil.
2. Cleaning
Hapus URL/www, mention, hashtag, angka, tanda baca, emoji, dan kurangi huruf berulang berlebihan ("bagusss"→"baguss").
3. Normalisasi
Ubah kata tidak baku/singkatan menjadi kata baku menggunakan kamus normalisasi.
4. Tokenizing
Pecah kalimat menjadi kumpulan kata (token).
5. Stopword Removal
Hapus kata umum yang tidak bermakna sentimen (dan, yang, di, dsb).