Konwertuj XLSX na ARFF

Weka i inne narzędzia machine-learning często używają formatu ARFF, podczas gdy dane źródłowe są często dostarczane jako skoroszyt programu Excel. Konwersja jest potrzebna, gdy aplikacja docelowa nie może importować bezpośrednio formatu XLSX lub wymaga jawnego określenia typów atrybutów, znaczników brakujących wartości oraz metadanych zbioru danych.

Czym jest format XLSX

XLSX to oparty na XML format skoroszytów używany przez Microsoft Excel i obsługiwany przez LibreOffice Calc, Apple Numbers oraz Google Sheets za pośrednictwem eksportu do Excel. Skoroszyt może zawierać wiele arkuszy, formuły, formatowanie, scalone komórki, wykresy, ukryte wiersze i wartości z określonymi typami, ale oprogramowanie do eksploracji danych zwykle odczytuje jeden prostokątny zakres arkusza.

ARFF nie ma bezpośredniego odpowiednika dla układu skoroszytu, wykresów, formatowania, komentarzy, filtrów ani scalonych komórek. Konwersja wyodrębnia wartości komórek i tworzy tabelaryczny zbiór danych; nie zachowuje skoroszytu jako edytowalnego arkusza kalkulacyjnego.

Czym jest format ARFF

ARFF, czyli Attribute-Relation File Format, to format zbiorów danych w postaci zwykłego tekstu używany przez Weka. Typowy plik zawiera deklarację @relation, jedną deklarację @attribute dla każdej kolumny oraz sekcję @data zawierającą rekordy.

Typowe typy atrybutów to numeric, string, date oraz wartości nominalne zadeklarowane za pomocą skończonej listy, takiej jak {yes,no}. Brakującą wartość zapisuje się jako ?. Jawne deklaracje zmniejszają niejednoznaczność podczas wykonywania przez Weka klasyfikacji, klasteryzacji, selekcji cech lub innych analiz.

Konwersja za pomocą Weka

Weka jest najbardziej bezpośrednią opcją desktopową, ponieważ jego ExcelLoader może odczytywać pliki XLSX, a Explorer może zapisać wczytany zbiór danych jako ARFF.

1. Zainstaluj Weka z oficjalnej dystrybucji Weka i uruchom Explorer.
2. Wybierz Preprocess → Open file i wskaż skoroszyt .xlsx.
3. Jeśli skoroszyt zawiera kilka arkuszy, otwórz opcje loadera i wybierz wymagany arkusz. ExcelLoader zwykle używa -S 2 dla drugiego arkusza; nazwy opcji i numerację należy potwierdzić za pomocą ExcelLoader -h dla zainstalowanej wersji Weka.
4. Sprawdź wyświetlane nazwy atrybutów, typy i liczbę instancji. Usuń wiersze tytułowe lub zmień ustawienia loadera, jeśli pierwszy wiersz nie jest nagłówkiem.
5. Wybierz element sterujący Save w Explorer i zapisz zbiór danych z rozszerzeniem .arff.

Obsługa Excel w Weka zależy od wydania Weka oraz dołączonych lub zainstalowanych bibliotek odczytujących arkusze kalkulacyjne. Jeśli XLSX nie jest rozpoznawany, zaktualizuj Weka lub użyj opisanej poniżej metody Python zamiast zmieniać nazwę pliku.

Konwersja za pomocą Python

Python jest preferowany w przypadku powtarzalnych konwersji, wyboru arkusza, czyszczenia kolumn i przetwarzania wsadowego. Zainstaluj pandas, reader XLSX oraz writer ARFF:

pip install pandas openpyxl liac-arff

Ten przykład traktuje kolumny numeryczne jako numeryczne, konwertuje pozostałe kolumny na tekst, używa kolumn o niewielkiej liczbie stałych wartości jako atrybutów nominalnych i zapisuje puste komórki jako brakujące wartości ARFF:

import pandas as pd
import arff

df = pd.read_excel('input.xlsx', sheet_name=0)with open('output.arff', 'w', encoding='utf-8') as file:

Zastąp sheet_name=0 nazwą arkusza lub indeksem liczonym od zera. Sprawdź wygenerowane deklaracje, szczególnie w przypadku kolumn zawierających zarówno liczby, jak i tekst. Przed zapisaniem pliku zmień nazwy powtarzających się lub pustych nagłówków; nazwy atrybutów ARFF muszą być użyteczne i jednoznaczne.

Użycie konwertera online jako etapu pośredniego

Bezpośrednia konwersja XLSX do ARFF w Internecie jest rzadko dostępna i zwykle zapewnia niewielką kontrolę nad wyborem arkusza lub deklaracjami typów ARFF. Renomowana usługa, taka jak CloudConvert, może przekonwertować XLSX do CSV; pobierz plik CSV, otwórz go w Weka za pomocą Preprocess → Open file, sprawdź wywnioskowane typy i zapisz go jako ARFF. Konwersja do CSV powoduje utratę funkcji skoroszytu i nadal wymaga sprawdzenia typów, dlatego nie przesyłaj poufnych skoroszytów, chyba że warunki przetwarzania danych przez usługę są akceptowalne.

Kontrola jakości i zgodności

• Nagłówki: Usuń wiersze tytułowe, puste komórki nagłówków i powtarzające się nazwy. Pierwszy wiersz jest zwykle interpretowany jako wiersz nazw atrybutów.
• Formuły: Readery zazwyczaj pobierają zapisany wynik formuły, a nie jej wyrażenie. Jeśli zapisane wyniki mogą być nieaktualne, przed konwersją przelicz i zapisz skoroszyt w Excel lub LibreOffice.
• Daty: Daty w postaci numerów seryjnych Excel oraz ciągi dat zależne od ustawień regionalnych mogą zostać błędnie zinterpretowane. Ujednolić daty do jednego formatu lub zadeklaruj atrybut daty ARFF z jawnym wzorcem, takim jak date 'yyyy-MM-dd'.
• Wartości nominalne: Deklaracja nominalna musi obejmować każdą niebrakującą wartość w danej kolumnie. Używaj typów nominalnych dla niewielkich, stałych kategorii, a string dla dowolnego tekstu lub kolumn o dużej liczbie różnych wartości.
• Puste komórki: Puste komórki powinny stać się ?. Nie zastępuj ich zerem liczbowym, chyba że zero oznacza rzeczywisty pomiar.
• Wiele arkuszy: ARFF opisuje jedną relację, dlatego każdy arkusz zwykle wymaga osobnego pliku ARFF. Wykresy, formatowanie, scalone komórki, filtry i metadane skoroszytu są odrzucane.
• Kodowanie: Zapisuj i sprawdzaj wynik jako UTF-8, gdy nazwy lub wartości zawierają znaki diakrytyczne, znaki spoza alfabetu łacińskiego lub znaki specjalne.