Μετατροπή σε utf8

[mariag]

Γεια σας, μετά από καιρό! Καταρχάς ελπίζω να ποστάρω στη σωστή θεματική... Τι θέλω να κάνω λοιπόν: έχω κατεβάσει ένα corpus (κείμενα) από web (190.000) τα οποία θέλω όλα να τα μετατρέψω σε utf8 format αν ήδη δεν είναι... Η γλώσσα με την οποία παλεύω να το κάνω είναι η perl, στην οποία και θα ήθελα να παραμείνω. Μήπως έχετε καμιά ιδέα; Γενικά έχω ψάξει για ανάλογα προγραμματάκια, δεν είναι ότι δεν έχω βρει τίποτα, απλά δεν είμαι και γκουρού στον προγραμματισμό, οπότε όποια βοήθεια μπορεί κάποιος να μου προσφέρει είναι καλοδεχούμενη και πολύτιμη!

Ευχαριστώ

[medigeek]

Νομίζω γίνεται με την εντολή iconv στο linux

[mariag]

Σάββα ευχαριστώ, αλλά ανακάλυψα ότι σε ό,τι φορμάτ κι αν είναι το αναγνωρίζει ως τέτοιο, κι ας μην είναι utf... Εγώ φταίω απ το κατέβασμα ξεκίνησε το λάθος. Οπότε ψάχνω ποια κείμενα δεν περιέχουν πχ το α και λέω όσα δεν το περιέχουν δεν είναι utf. Μπακαλιά λιγο, αλλα εξαρχής στραβά ξεκίνησα
Ευχαριστώ πάντως

[medigeek]

Μαζί με την εντολή grep (system command, όχι αυτή της perl):

Κώδικας: Επιλογή όλων

perl -e '$x=`grep -l α *`; print("These files contain α:\n".$x."\n");'

[simosx]

Γεια σας, μετά από καιρό! Καταρχάς ελπίζω να ποστάρω στη σωστή θεματική... Τι θέλω να κάνω λοιπόν: έχω κατεβάσει ένα corpus (κείμενα) από web (190.000) τα οποία θέλω όλα να τα μετατρέψω σε utf8 format αν ήδη δεν είναι... Η γλώσσα με την οποία παλεύω να το κάνω είναι η perl, στην οποία και θα ήθελα να παραμείνω. Μήπως έχετε καμιά ιδέα; Γενικά έχω ψάξει για ανάλογα προγραμματάκια, δεν είναι ότι δεν έχω βρει τίποτα, απλά δεν είμαι και γκουρού στον προγραμματισμό, οπότε όποια βοήθεια μπορεί κάποιος να μου προσφέρει είναι καλοδεχούμενη και πολύτιμη!

Για μετατροπή κωδικοποίησης, χρησιμοποιείς το iconv.

Για παράδειγμα

Κώδικας: Επιλογή όλων


iconv -f iso-8859-7 -t utf-8 < mycorpus.txt

και θα δείξει το αποτέλεσμα. Μπορείς να διακόψεις με Ctrl+C. Αν το αποτέλεσμα είναι σωστό, τότε η αρχική κωδικοποίηση ήταν iso-8859-7. Αν υπάρχει πρόβλημα με το Ά, τότε δοκιμάζεις

Κώδικας: Επιλογή όλων


iconv -f windows-1253 -t utf-8 < mycorpus.txt

Αν όλα είναι μια χαρά, μπορείς να αποθηκεύσεις το αποτέλεσμα με

Κώδικας: Επιλογή όλων


iconv -f windows-1253 -t utf-8 < mycorpus.txt > myutf8output.txt

και παράγει το αρχείο myutf8output.txt που είναι UTF-8.

Μπορείς ακόμα να δοκιμάσεις τον Κειμενογράφο (gedit), όπου έχει μια εύκολη επιλογή να επιλέξεις την αρχική κωδικοποίηση.
Οπότε δοκιμάζεις με windows-1253 ή iso-8859-7. Αν όλα είναι καλά, αποθηκεύεις.

[mariag]

Σας ευχαριστώ πολύ και τους δυο σας, αλλά όπως σας είπα και πιο πριν, δυστυχώς -και δεν έχω ακόμα καταλάβει ακόμα το λόγο- σε ό,τι φορμάτ κι αν είναι το κάθε αρχείο που έχω κατεβάσει, το αναγνωρίζει ως utf-8... Οπότε λογικά αυτά που μου λέτε δεν μπορώ να τα εφαρμόσω, εφόσον κατά το πισι όλα είναι στο επιθυμητό φορμάτ...

[medigeek]

Ας πάμε από την αρχή:
1. Μπορείς να μας δώσεις ένα παράδειγμα αρχείου; Συμπίεσε το σε .zip και στείλε το κάπου όπως π.χ. το http://www.mediafire.com
2. Τα αρχεία είναι utf-8 και θέλεις να τα μετατρέψεις σε άλλο encoding; Από ποιο encoding σε ποιο encoding συγκεκριμένα;
3. Τα αρχεία τα μετατρέπεις για ποιο λόγο; Δε διαβάζονται; Από ποιο πρόγραμμα; Τι είδους αρχεία είναι, π.χ. υπότιτλοι;

[simosx]

Σας ευχαριστώ πολύ και τους δυο σας, αλλά όπως σας είπα και πιο πριν, δυστυχώς -και δεν έχω ακόμα καταλάβει ακόμα το λόγο- σε ό,τι φορμάτ κι αν είναι το κάθε αρχείο που έχω κατεβάσει, το αναγνωρίζει ως utf-8... Οπότε λογικά αυτά που μου λέτε δεν μπορώ να τα εφαρμόσω, εφόσον κατά το πισι όλα είναι στο επιθυμητό φορμάτ...

Είναι το αρχείο ελεύθερα διαθέσιμο; Αν ναι, απλά δώσε το σύνδεσμο.

Αναφέρεις ότι «σε ό,τι φορμάτ κι αν είναι το κάθε αρχείο που έχω κατεβάσει, το αναγνωρίζει ως utf-8». Δεν καταλαβαίνω τι εννοείς.
Αν ένα αρχείο είναι σε μια από τις παλιές κωδικοποιήσεις των 8-bit, τότε κάθε εφαρμογή του Ubuntu που προσπαθεί να το ανοίξει το καταλαβαίνει, ωστόσο κάνει αυτόματη μετατροπή από Λατινικά 8-bit προς UTF-8 (οπότε αν το κείμενο ήταν στα ελληνικά βλέπεις παράξενους λατινικούς εκτεταμένους χαρακτήρες).

[mariag]

Να σας εξηγήσω γιατί μάλλον σας μπέρδεψα. Καταρχήν τα αρχεία αυτά είναι ένα corpus από documents τα οποία έχω κατεβασει απ το web, είναι δλδ σελίδες (στα ελληνικά, να συμπληρώσω, αν ακαι θα το έχετε ήδη καταλάβει). Για να κατεβάσω όλον αυτόν τον όγκο κειμένων (190.000*3) χρησιμοποίησα ένα πρόγραμμα γραμμένο σε java, το οποίο και μου δόθηκε έτοιμο. Το επόμενο βήμα είναι να "καθαρίσω" όλα αυτά τα αρχεία μετατρέποντάς τα όλα σε utf-8 και πετώντας ό,τι δεν έχει πληροφορία μέσα (κάποια urls δεν είναι πια διαθέσιμα). Όταν λοιπόν κοίταξα με το μάτι κάποια ενδεικτικά κείμενα που δεν είναι utf και δεν διαβάζονται, ανακάλυψα ότι παρόλα αυτά αναγνωρίζονται ως utf-8 ακόμα και κείμενα με φορμάτ iso... ή windows... Για να σας το δείξω μάλλον λίγο δύσκολο γιατί θα σας παρέθετα το url από το οποίο κατέβασα το κείμενο, το οποίο εσείς θα δείτε ότι δεν είναι στο format που θέλω, το utf-8. Επειδή λοιπόν κάτι έγινε και αφού τα κατέβασα όλα αυτά και τα έσωσα σε αρχεία, όταν πάω να τα διαβάσω, παρόλο που δεν είναι σε utf format, ο υπολογιστής θεωρεί ότι είναι μην μπορώντας να παρέμβω...
Μήπως καταλάβατε λίγο καλύτερα;

[simosx]

Όταν λοιπόν κοίταξα με το μάτι κάποια ενδεικτικά κείμενα που δεν είναι utf και δεν διαβάζονται, ανακάλυψα ότι παρόλα αυτά αναγνωρίζονται ως utf-8 ακόμα και κείμενα με φορμάτ iso... ή windows... Για να σας το δείξω μάλλον λίγο δύσκολο γιατί θα σας παρέθετα το url από το οποίο κατέβασα το κείμενο, το οποίο εσείς θα δείτε ότι δεν είναι στο format που θέλω, το utf-8.

Δηλαδή, βλέπεις εκείνο το παράξενο κείμενο αυτό στα ελληνικά ή το βλέπεις να φαίνεται σαν π.χ. «ÁõôÞ åßíáé ìéá äïêéìÞ».
Αν το βλέπεις με παράξενους χαρακτήρες όπως παραπάνω, δώσε μικρό παράδειγμα.