Revision 2 as of 2009-11-02 07:55:19

Clear message
Locked History Actions

ImportM6

Import af poster til M6

Lige som ved M5 er alle importer kørt med p_file_06 der checker data (i et vist omfang).

Køretiden var ca. 10 timer.

For de meget interesserede kan alle data- og logfiler ses [http://rastaban:30080/milestone/m6/ her]

Bibliografiske poster

Fra Mads kom der følgende kommentar da han afleverede data:

Jeg har konverteret data fra Eriks dump med dato 2009-10-23.

Jeg har lagt resultatet i en zip-fil her:

O/dorete/konvertering/total.out.2009-10-28.zip

Logfilen fra kørslen kan også findes i zip-filen. Ligesom de andre gange er der nogle OWN-koder, der ikke kan konverteres.

Derudover er der en enkelt fejl pga. sorteringstegn fra Horizon. Den fejl skal løses i dumpet fra Horizon. Denne gang har jeg fået logget id'erne med, så det skulle være til at finde de pågældende poster.

Der er også dukket en ny fejl op i post 3543359: 'AnselToUnicode problem'. Forhåbentlig har Erik eller Bjørn et bud på hvad der driller der.

Det drejer sig nu om 7 poster, der ikke bliver konverteret over.

Mvh. Mads

Da jeg kikkede loggen igennem noterede jeg mig

Der er ca 20 linjer omhandlende delfelt 5 problemer:
2009-10-30 11:07:31,000 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Kalø for record: 783700. Using empty string as subfield 5.
2009-10-30 11:07:31,000 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Kalø for record: 783700. Using value of subfield 5 as subfield 6.
2009-10-30 11:20:59,441 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error converting OWN code for record: 2595975 --- Error looking up subfield 5 value: DUBLETTER KASSERES VED PÅPLADSLÆGNING. Returning OWN code UFEJL.
2009-10-30 11:20:59,442 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Dubletter kasseres ved påpladslægning for record: 2595975. Using empty string as subfield 5.
2009-10-30 11:20:59,442 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Dubletter kasseres ved påpladslægning for record: 2595975. Using value of subfield 5 as subfield 6.
2009-10-30 11:23:13,535 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Puskin Aleksander for record: 2929532. Using empty string as subfield 5.
2009-10-30 11:23:13,536 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Puskin Aleksander for record: 2929532. Using value of subfield 5 as subfield 6.
2009-10-30 11:23:14,372 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Bulgakov Michail for record: 2932047. Using empty string as subfield 5.
2009-10-30 11:23:14,372 [main] WARN  dk.statsbiblioteket.alephimportexport.marc.HOLConvert - Error looking up subfield 5 value: Bulgakov Michail for record: 2932047. Using value of subfield 5 as subfield 6.

Dertil er der nogle Horizon/Aleph tegnsætsproblemer, eksemplificeret ved:

2009-10-30 11:25:38,771 [main] ERROR dk.statsbiblioteket.alephimportexport.marc.MARCConvert - unable to write horizon record in aleph format: 
Caused by: dk.statsbiblioteket.marcrecord.MARCRecordException: Unmatch Horizon sorting field terminator found

2009-10-30 11:28:22,655 [main] ERROR dk.statsbiblioteket.alephimportexport.marc.MARCConvert - unable to write horizon record in aleph format: 
Caused by: dk.statsbiblioteket.marcrecord.MARCRecordException: Aleph escape code found in field: 530 subfield: a

2009-10-30 11:28:24,187 [main] ERROR dk.statsbiblioteket.alephimportexport.marc.MARCConvert - unable to write horizon record in aleph format: 
Caused by: dk.statsbiblioteket.marcrecord.MARCRecordException: AnselToUnicode problem

2009-10-30 11:28:24,584 [main] ERROR dk.statsbiblioteket.alephimportexport.marc.MARCConvert - unable to write horizon record in aleph format: 
Caused by: dk.statsbiblioteket.marcrecord.MARCRecordException: Nested sorting fields found

Der var ikke nogen yderligere kommentarer i logfilerne fra Aleph.

Eksemplarposterne

Bjørn havde følgende bemærkninger til posterne:

Eksemplar konvertering:
Eksemplare læst:3409018

Eksemplare skippet: 58034
Dette dækker over eksemplare tilhørende horizon lokationer, som ikke 
skal migreres.

Regulære fejl: 14517
Dette ganske store tal skyldes primært eksemplare, tilhørende 
hospitaler, der er slettet fra horizon basen men ikke i milepæls 
versionen af samme. Der er desuden et betydeligt antal indgange for 
tidskrifterseksemplare uden tilhørende subscriptioner.

Der er desuden en hel del warnings på grund af horizon shelving notes, 
der er for lange til at kunne være i alephs call number 2 felt.

Ser vi bort fra hospitalerne er der fejl såsom

2009-10-28 14:04:05,373 [main] WARN  migrateToAleph - Hz item# 245534 (Loc: Slavisk, 3587147334) unable to translate itype: p to material type  for m
2009-10-28 14:04:05,373 [main] WARN  migrateToAleph - Hz item# 245534 (Loc: Slavisk, 3587147334) unable to translate itype: p to item status for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884616 (Loc: Slavisk, 3587147342) unable to translate itype: p to material type  for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884616 (Loc: Slavisk, 3587147342) unable to translate itype: p to item status for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884619 (Loc: Slavisk, 3587147350) unable to translate itype: p to material type  for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884619 (Loc: Slavisk, 3587147350) unable to translate itype: p to item status for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884621 (Loc: Slavisk, 3587147369) unable to translate itype: p to material type  for m
2009-10-28 14:04:05,374 [main] WARN  migrateToAleph - Hz item# 2884621 (Loc: Slavisk, 3587147369) unable to translate itype: p to item status for m

2009-10-28 14:04:15,185 [main] ERROR dk.statsbiblioteket.alephimportexport.oracle.AlephImportRecord - z30:000009982/000010 value of 'callNo2' too big 83/80/80: Studie Archeologického ústavu _Ceskoslovenské akademie v_ed v Brn_e ; ro_cnik 9,
2009-10-28 14:04:15,186 [main] ERROR dk.statsbiblioteket.alephimportexport.oracle.AlephImportRecord - z30:000009983/000010 value of 'callNo2' too big 83/80/80: Studie Archeologického ústavu _Ceskoslovenské akademie v_ed v Brn_e ; ro_cnik 8,
2009-10-28 14:04:15,186 [main] ERROR dk.statsbiblioteket.alephimportexport.oracle.AlephImportRecord - z30:000009984/000010 value of 'callNo2' too big 83/80/80: Studie Archeologického ústavu _Ceskoslovenské akademie v_ed v Brn_e ; ro_cnik 8,

Importen til Aleph gav anledning til en del fejl af følgende typer:

0207 : conflict between Z30-SUB-LIBRARY and Z30-ITEM-PROCESS-STATUS
%Errors found for record in line 000000060
0207 : conflict between Z30-SUB-LIBRARY and Z30-ITEM-PROCESS-STATUS
%Errors found for record in line 000000309
0207 : conflict between Z30-SUB-LIBRARY and Z30-ITEM-PROCESS-STATUS
%Errors found for record in line 000000376
0207 : conflict between Z30-SUB-LIBRARY and Z30-ITEM-PROCESS-STATUS
%Errors found for record in line 000000380

0206 : Z30-COLLECTION is not valid
%Errors found for record in line 000001566

I alt er der ca 230.000 poster med fejl!

Lån

Bjørn gav følgende kommentar med:

Lån: 121006 læst, 1 skippet, 27 fejl
Det skippede lån ligger på et materiale, der ikke skal konverteres,
fejlene skyldes primært fejl i eksemplar posterne.

Der var ingen kommentarer fra Aleph ved importen, udover

Start check/correct of records...
Program is not exists: correct_z36

Reservationer

Bjørns kommentar:

Bestillinger/reservationer:  13476 læst, 1936 skippet, 0 fejl
Poster skippet er fravalgt ifølge konverterings specifikationen.

Importen til Aleph gav et antal kommentarer af typen

0202 : Z37-PICKUP-LOCATION is not valid
%Errors found for record in line 000000008
0212 : Z37-END-REQUEST-DATE should be latest then Z37-REQUEST-DATE
%Errors found for record in line 000005201

Copy-poster med tilhørende items

Aleph importen af subscriptions gav en del fejl såsom

0209 : Wrong Borrower ID (Z16-ID)
%Errors found for record in line 000000132
0208 : conflict between Z16-SUB-LIBRARY and Z16-ITEM-STATUS (check tab15)
%Errors found for record in line 000000660
0207 : Z16-CLAIM-2 (-3, -4) can not be empty when Z16-CLAIM  is "Y"
%Errors found for record in line 000165166

De tilhørende copyissue og copyitem poster gav følgende typer af fejl:

0110 : Z30-MATERIAL is not valid
0208 : conflict between Z30-SUB-LIBRARY and Z30-ITEM-STATUS
%Errors found for record in line 000093720

Vendor poster

Importen ef vendor (SOL50 z70 og z72) poster gav ingen klager.