Konwertuj ECSV na CSV

Oprogramowanie naukowe często generuje ECSV, podczas gdy aplikacje do obsługi arkuszy kalkulacyjnych, baz danych i raportowania zwykle wymagają zwykłego CSV. Konwersja ułatwia udostępnianie i edytowanie tabeli, ale usuwa metadane, których CSV nie może przechowywać.

Czym jest ECSV

ECSV oznacza Enhanced Character-Separated Values. Jest to tekstowy format tabel opracowany dla ekosystemu Astropy i używany głównie w astronomii oraz innych naukowych przepływach pracy związanych z danymi.

Plik ECSV łączy nagłówek metadanych w stylu YAML z danymi tabeli rozdzielanymi separatorami. Nagłówek może definiować nazwy kolumn, typy danych, jednostki, opisy, obsługę wartości null oraz inne metadane tabeli Astropy. Typowy plik zaczyna się od # %ECSV 1.0. ECSV może używać przecinków, tabulatorów lub innego separatora, dlatego samo rozszerzenie pliku nie określa separatora.

Astropy zapisuje ten format z obiektów astropy.table.Table za pomocą format='ascii.ecsv'. Microsoft Excel i większość ogólnych aplikacji do obsługi arkuszy kalkulacyjnych nie interpretuje natywnie nagłówka ECSV jako tabeli.

Czym jest CSV

CSV przechowuje jeden rekord w każdym wierszu, a pola są rozdzielane przecinkami. Pole zawierające przecinek, cudzysłów lub znak końca wiersza jest zwykle ujmowane w cudzysłowy, a osadzony cudzysłów jest reprezentowany przez dwa cudzysłowy.

CSV jest obsługiwany przez LibreOffice Calc, Microsoft Excel, importery baz danych, biblioteki programistyczne i wiele usług internetowych. Jest prostszy i często mniejszy niż ECSV, ale zwykle nie zachowuje jednostek, opisów, typów danych właściwych dla Astropy, masek, informacji o pochodzeniu ani niestandardowych metadanych tabeli. CSV ma powszechne konwencje, ale nie jedną całkowicie jednolitą implementację, dlatego aplikacje mogą różnić się w kwestii kodowania, zakończeń wierszy, separatorów i brakujących wartości.

Konwersja za pomocą Astropy

Astropy jest najbezpieczniejszą opcją, ponieważ odczytuje schemat ECSV, zamiast traktować nagłówek metadanych jako zwykłe dane.

Zainstaluj Astropy:

python -m pip install astropy

Uruchom to polecenie z katalogu zawierającego plik źródłowy:

python -c "from astropy.table import Table; Table.read('input.ecsv', format='ascii.ecsv').write('output.csv', format='ascii.csv', overwrite=True)"

Spowoduje to odczytanie pliku input.ecsv i zapisanie rozdzielanego przecinkami pliku output.csv. Opcja overwrite=True zastępuje istniejący plik wyjściowy; pomiń ją, jeśli chcesz zapobiec przypadkowemu zastąpieniu pliku.

W przypadku wielokrotnych konwersji zapisz poniższy kod jako convert_ecsv.py:

from astropy.table import Table

table = Table.read('input.ecsv', format='ascii.ecsv')
table.write('output.csv', format='ascii.csv', overwrite=True)

Uruchom go za pomocą:

python convert_ecsv.py

Jeśli źródło korzysta z nietypowej funkcji ECSV lub zawiera zamaskowane wartości, sprawdź wynikową tabelę i dostosuj tabelę Astropy przed zapisem. Nie usuwaj ręcznie wierszy komentarzy, chyba że plik ma prosty, znany układ; takie działanie może spowodować utratę definicji kolumn lub nieprawidłowe wyrównanie danych.

Korzystanie z narzędzi desktopowych i internetowych

Użyj LibreOffice Calc lub Microsoft Excel do sprawdzenia wygenerowanego pliku CSV, a nie do analizowania oryginalnego ECSV. Otwórz wynik za pomocą File → Open, po wyświetleniu monitu wybierz przecinek jako separator i sprawdź wykryte typy. Przy ponownym zapisywaniu wybierz CSV i potwierdź przecinek jako separator oraz UTF-8 jako kodowanie, jeśli aplikacja oferuje takie ustawienia. Ustawienia arkusza kalkulacyjnego zależne od lokalizacji mogą w przeciwnym razie spowodować utworzenie danych rozdzielanych średnikami lub zmienić wartości dziesiętne i daty.

Nie istnieje powszechnie obsługiwany konwerter internetowy przeznaczony dla ECSV, który niezawodnie zachowywałby schematy Astropy. W przypadku konwersji w przeglądarce praktyczną opcją internetową jest Google Colab: utwórz notebook, uruchom !pip install astropy, prześlij plik ECSV i wykonaj ten sam kod Table.read(...).write(...). Nie przesyłaj poufnych ani podlegających regulacjom danych do Colab lub konwertera innej firmy. Ogólne serwisy do konwersji plików CSV, takie jak Zamzar lub Convertio, powinny być używane tylko wtedy, gdy ich aktualna lista formatów wyraźnie obsługuje ECSV; w przeciwnym razie mogą skopiować nagłówek YAML do pliku wyjściowego lub zinterpretować go jako dane.

Sprawdzanie przekonwertowanego pliku

Porównaj liczbę kolumn i wierszy w pliku wejściowym i wyjściowym, a następnie sprawdź nagłówek, separator, kodowanie znaków, sposób reprezentacji brakujących wartości oraz separator dziesiętny. Otwórz plik CSV za pomocą programu obsługującego CSV, ponieważ ręczne dzielenie wierszy uszkadza pola zawierające przecinki lub znaki końca wiersza ujęte w cudzysłowy.

Konwersja nie może przenieść metadanych ECSV do zwykłego pliku CSV. Zachowaj oryginalny plik ECSV i zapisz osobno jednostki, opisy, informacje o pochodzeniu oraz typy danych, jeśli są potrzebne do interpretacji naukowej.

Kolumny skalarne zawierające liczby, tekst i daty zwykle konwertują się bezpośrednio. Kolumny wielowymiarowe, quantities, kolumny zamaskowane, wartości zespolone i niestandardowe obiekty Astropy mogą nie mieć jednego przenośnego sposobu reprezentacji w CSV. Spłaszcz te kolumny lub jawnie je serializuj, a następnie sprawdź wynikowe wartości przed zaimportowaniem pliku CSV do innej aplikacji.