Dalam proses analisis data, kualitas data menjadi faktor yang sangat penting. Salah satu masalah yang sering ditemui adalah data berbentuk string (teks) yang tidak konsisten. Misalnya, terdapat perbedaan penggunaan huruf besar dan kecil, spasi yang berlebihan, penulisan nama yang tidak seragam, hingga karakter khusus yang tidak diperlukan. Jika data seperti ini tidak dibersihkan, hasil analisis dapat menjadi kurang akurat.

Library Pandas menyediakan berbagai fungsi yang memudahkan proses pembersihan (cleaning) dan standarisasi data string. Dengan menggunakan fungsi-fungsi tersebut, data dapat diolah menjadi lebih rapi, konsisten, dan siap digunakan untuk analisis maupun machine learning.

Pada artikel ini akan dibahas langkah-langkah membersihkan dan menstandarkan data string menggunakan Pandas beserta contoh penerapannya.

Mengapa Data String Perlu Dibersihkan?

Data string yang tidak konsisten dapat menyebabkan beberapa masalah, antara lain:

• Data yang seharusnya sama dianggap berbeda.
• Kesalahan saat melakukan pencarian atau filtering.
• Hasil visualisasi menjadi tidak akurat.
• Model machine learning memiliki performa yang kurang baik.

Meskipun semuanya merujuk pada orang yang sama, komputer menganggap keempat data tersebut berbeda.

Persiapan

Pertama, impor library Pandas.

import pandas as pd

Selanjutnya buat contoh dataset.

data = {
    "Nama": [" Andi ", "BUDI", "citra", "  Deni"],
    "Kota": ["Jakarta ", " bandung", "SURABAYA", "Yogyakarta"]
}

df = pd.DataFrame(data)

print(df)

1️⃣ Menghapus Spasi Berlebih

Gunakan fungsi .str.strip() untuk menghapus spasi di awal dan akhir teks.

df["Nama"] = df["Nama"].str.strip()
df["Kota"] = df["Kota"].str.strip()

2️⃣ Mengubah Huruf Menjadi Huruf Kecil

Gunakan .str.lower().

df["Nama"] = df["Nama"].str.lower()

Fungsi ini sangat berguna ketika ingin membandingkan data tanpa memperhatikan kapitalisasi.

3️⃣ Mengubah Huruf Menjadi Huruf Besar

Gunakan .str.upper().

df["Kota"] = df["Kota"].str.upper()

4️⃣ Mengubah Format Title Case

Jika ingin setiap awal kata menjadi huruf kapital, gunakan .str.title().

df["Nama"] = df["Nama"].str.title()

5️⃣ Mengganti Kata atau Karakter

Gunakan .str.replace().

Misalnya mengganti kata “Jakarta” menjadi “DKI Jakarta”.

df["Kota"] = df["Kota"].str.replace(
    "JAKARTA",
    "DKI JAKARTA"
)

6️⃣ Menghapus Karakter Khusus

Kadang data memiliki simbol yang tidak diperlukan.

Contoh:

data = {
    "Nomor": [
        "0812-3456-789",
        "0813.1234.567",
        "0814 2222 111"
    ]
}

df = pd.DataFrame(data)

df["Nomor"] = df["Nomor"].str.replace(
    r"[-. ]",
    "",
    regex=True
)

print(df)

7️⃣ Menghapus Angka dari String

Misalnya terdapat angka pada nama.

data = {
    "Nama": [
        "Andi123",
        "Budi45",
        "Citra99"
    ]
}

df = pd.DataFrame(data)

df["Nama"] = df["Nama"].str.replace(
    r"\d+",
    "",
    regex=True
)

8️⃣ Menghapus Tanda Baca

Gunakan regular expression.

df["Nama"] = df["Nama"].str.replace(
    r"[^\w\s]",
    "",
    regex=True
)

9️⃣ Menggabungkan Beberapa Operasi Sekaligus

Operasi dapat dilakukan dalam satu baris.

df["Nama"] = (
    df["Nama"]
    .str.strip()
    .str.lower()
    .str.title()
)

Cara ini membuat kode lebih ringkas dan mudah dibaca.

Contoh Lengkap

import pandas as pd

data = {
    "Nama": [
        " Andi ",
        "BUDI",
        "citra",
        " Deni "
    ]
}

df = pd.DataFrame(data)

df["Nama"] = (
    df["Nama"]
    .str.strip()
    .str.lower()
    .str.title()
)

print(df)

Tips Membersihkan Data String

• Selalu periksa apakah terdapat spasi yang tidak diperlukan.
• Gunakan format penulisan yang konsisten, misalnya seluruh nama menggunakan Title Case.
• Hapus karakter khusus apabila memang tidak dibutuhkan.
• Gunakan regular expression (regex) untuk pembersihan data yang lebih kompleks.
• Periksa kembali hasil cleaning sebelum melakukan analisis lebih lanjut.

Kesimpulan

“`