Darmowy konwerter online XML do SQLITE

Aplikacja, narzędzie raportujące lub archiwum może wymagać lokalnej bazy danych z możliwością wykonywania zapytań zamiast hierarchicznego dokumentu XML. Konwersja danych do SQLite udostępnia je narzędziom SQL i może wyeliminować konieczność ponownego parsowania XML przy każdym zapytaniu.

Konwersja odwzorowuje dane w nowym schemacie; nie ogranicza się jedynie do zmiany rozszerzenia nazwy pliku.

Czym jest format XML

XML (Extensible Markup Language) to tekstowy format danych strukturalnych. Reprezentuje informacje za pomocą zagnieżdżonych elementów, atrybutów, tekstu, przestrzeni nazw, komentarzy i metadanych. Narzędzia do eksportowania baz danych, aplikacje korporacyjne, systemy zarządzania treścią, narzędzia konfiguracyjne i usługi wymiany danych często tworzą pliki XML.

XML nie definiuje jednego uniwersalnego schematu bazy danych. Dokument może zawierać powtarzające się elementy reprezentujące rekordy, zagnieżdżone encje, takie jak zamówienia i pozycje zamówień, lub zawartość mieszaną, która nie ma bezpośredniego odpowiednika relacyjnego. Konwersja musi odwzorować te struktury na tabele, kolumny i relacje SQLite.

Czym jest format SQLITE

SQLite to wbudowany relacyjny silnik baz danych, którego tabele, indeksy, widoki i schemat są przechowywane w jednym pliku. Pliki baz danych SQLite zwykle używają rozszerzenia .sqlite, .sqlite3 lub .db; samo rozszerzenie nie określa formatu.

SQLite nie wymaga serwera bazy danych i jest obsługiwany przez narzędzie wiersza poleceń, desktopowe menedżery baz danych, aplikacje mobilne i języki programowania. Zapewnia zapytania SQL, transakcje, indeksy, ograniczenia oraz zadeklarowane typy, takie jak INTEGER, REAL, TEXT, BLOB i NULL. Nadaje się do aplikacji lokalnych, zestawów danych offline, przenośnych danych i kompaktowych archiwów, ale nie zachowuje automatycznie hierarchii XML.

Konwersja za pomocą narzędzia online lub desktopowego

W przypadku prostego pliku XML użyj konwertera na stronie 101convert.com: wybierz plik XML jako dane wejściowe, wybierz SQLite jako format wyjściowy, rozpocznij konwersję i zapisz wygenerowaną bazę danych. Instalacja oprogramowania nie jest wymagana. Sprawdź wynikowe tabele i kolumny, ponieważ automatyczny konwerter musi wywnioskować granice rekordów, nazwy, typy i relacje na podstawie XML.

Nie przesyłaj poufnych, regulowanych ani w inny sposób objętych ograniczeniami plików XML, chyba że zezwala na to obowiązująca polityka przetwarzania danych. W przypadku danych wrażliwych lub schematu, który musi pozostać przewidywalny, wykonaj konwersję lokalnie za pomocą skryptu lub narzędzia bazodanowego.

Konwersja za pomocą Python dla kontrolowanego schematu

Python zawiera sterownik SQLite i parser XML, więc może utworzyć bazę danych bez oddzielnego serwera. Ten przykład zakłada powtarzające się elementy record zawierające elementy potomne name i value:

import sys
import sqlite3
import xml.etree.ElementTree as ET

xml_file = sys.argv[1]
db_file = sys.argv[2]
root = ET.parse(xml_file).getroot()

with sqlite3.connect(db_file) as db:
    db.execute('CREATE TABLE IF NOT EXISTS records (id INTEGER PRIMARY KEY, name TEXT, value TEXT)')
    rows = []
    for record in root.findall('.//record'):
        rows.append((record.findtext('name'), record.findtext('value')))
    db.executemany('INSERT INTO records (name, value) VALUES (?, ?)', rows)

Zapisz plik jako convert.py i uruchom python convert.py input.xml output.sqlite. Zmień ścieżki elementów oraz instrukcję CREATE TABLE, aby odpowiadały źródłu. Symbole zastępcze parametrów, takie jak ?, zapobiegają interpretowaniu wartości XML jako składni SQL.

W przypadku danych zagnieżdżonych używaj powiązanych tabel zamiast umieszczania każdej wartości w jednej szerokiej tabeli. Na przykład utwórz orders i order_items, a następnie przechowuj klucz nadrzędny w order_items.order_id. Konwertuj rzeczywiste liczby na INTEGER lub REAL, ale zachowuj identyfikatory jako TEXT, gdy istotne są zera wiodące lub dokładne formatowanie. Zdekoduj zawartość Base64 przed zapisaniem jej jako BLOB.

Przestrzenie nazw XML wymagają wyszukiwania uwzględniającego przestrzenie nazw. Ścieżka taka jak .//record nie znajdzie elementu, którego rozwinięta nazwa zawiera przestrzeń nazw, chyba że zapytanie parsera uwzględnia tę przestrzeń nazw. Duże pliki XML mogą wymagać parsowania przyrostowego za pomocą iterparse zamiast ładowania całego drzewa do pamięci.

Sprawdzanie wygenerowanej bazy danych

Otwórz dane wyjściowe za pomocą programu wiersza poleceń SQLite:

sqlite3 output.sqlite

.tables
.schema records
SELECT COUNT(*) FROM records;
SELECT * FROM records LIMIT 10;

Graficzny menedżer SQLite również może otworzyć output.sqlite; użyj jego polecenia otwierania bazy danych, zwykle wyświetlanego jako File → Open database, a następnie sprawdź tabele, typy kolumn, klucze i wartości.

Ograniczenia jakości i zgodności

Automatyczna konwersja może pominąć komentarze, instrukcje przetwarzania, kolejność elementów, szczegóły przestrzeni nazw, tekst mieszany, atrybuty oraz rozróżnienie między brakującym elementem a pustym elementem. Zachowaj oryginalny XML, gdy te szczegóły mają znaczenie, lub jawnie odwzoruj je na kolumny i tabele podrzędne.

Przed usunięciem źródła sprawdź liczbę wierszy, wymagane pola, zduplikowane identyfikatory, daty, separatory dziesiętne, kodowanie znaków, obsługę wartości null i relacje. Użyj transakcji, aby błąd parsowania lub wstawiania nie pozostawił częściowo wypełnionej bazy danych. W przypadku niezaufanego XML użyj parsera skonfigurowanego do bezpiecznego przetwarzania XML i odrzucaj nieoczekiwanie duże lub nieprawidłowo sformatowane dane wejściowe.

SQLite zezwala na wartości, których typy wykonawcze różnią się od zadeklarowanego powinowactwa kolumny. Dodaj definicje NOT NULL, UNIQUE, kluczy obcych i indeksów, gdy wymagają tego reguły źródłowe; włącz wymuszanie kluczy obcych za pomocą PRAGMA foreign_keys = ON. Przetestuj dane wyjściowe za pomocą docelowej aplikacji, ponieważ może ona wymagać określonych nazw tabel, nazw kolumn, relacji, rozszerzeń nazw plików lub zgodnej wersji SQLite.