problems with archiving to moose at UM7.3 on monsoon

[luke]

Hello,

I am having some problems archiving to MOOSE at UM7.3 from MONSooN. I am running a coupled atmosphere-ocean HadGEM3-AO N48L60-ORCA2 version of the model, using the fcm:um_br/dev/jeff/VN7.3_HadGEM3-A_r2.0_hector_monsoon_archiving/src branch at revision 11342 and using the ~jeff/umui_jobs/hand_edits/archiving_7.3 hand-edit. This is job xjasa.

I seem to sucessfully archive two streams, the pa and pc streams (pb is off):

[15:59:42 nlabra@c01c10n02-hf0 xjasa]$ moo ls -l moose:/crum/xjasa       
C colin.johnson               0.01 GBP         79241984 2013-10-14 13:43:59 GMT moose:/crum/xjasa/apa.pp
C colin.johnson               0.00 GBP         29294032 2013-10-14 13:44:08 GMT moose:/crum/xjasa/apc.pp

and the RUNID directory contains the following files:

[15:59:46 nlabra@c01c10n02-hf0 xjasa]$ ls xjasaa.p*
xjasaa.pak3c30  xjasaa.pak3cj0  xjasaa.pck3c60  xjasaa.pck3cm0  xjasaa.pik3c30  xjasaa.pik3cj0  xjasaa.pjk3c50  xjasaa.pjk3cl0
xjasaa.pak3c40  xjasaa.pak3ck0  xjasaa.pck3c70  xjasaa.pck3cn0  xjasaa.pik3c40  xjasaa.pik3ck0  xjasaa.pjk3c60  xjasaa.pjk3cm0
xjasaa.pak3c50  xjasaa.pak3cl0  xjasaa.pck3c80  xjasaa.pck3co0  xjasaa.pik3c50  xjasaa.pik3cl0  xjasaa.pjk3c70  xjasaa.pjk3cn0
xjasaa.pak3c60  xjasaa.pak3cm0  xjasaa.pck3c90  xjasaa.pck3cp0  xjasaa.pik3c60  xjasaa.pik3cm0  xjasaa.pjk3c80  xjasaa.pjk3co0
xjasaa.pak3c70  xjasaa.pak3cn0  xjasaa.pck3ca0  xjasaa.pck3cq0  xjasaa.pik3c70  xjasaa.pik3cn0  xjasaa.pjk3c90  xjasaa.pjk3cp0
xjasaa.pak3c80  xjasaa.pak3co0  xjasaa.pck3cb0  xjasaa.pck3cr0  xjasaa.pik3c80  xjasaa.pik3co0  xjasaa.pjk3ca0  xjasaa.pjk3cq0
xjasaa.pak3c90  xjasaa.pak3cp0  xjasaa.pck3cc0  xjasaa.pck3cs0  xjasaa.pik3c90  xjasaa.pik3cp0  xjasaa.pjk3cb0  xjasaa.pjk3cr0
xjasaa.pak3ca0  xjasaa.pak3cq0  xjasaa.pck3cd0  xjasaa.pck3ct0  xjasaa.pik3ca0  xjasaa.pik3cq0  xjasaa.pjk3cc0  xjasaa.pjk3cs0
xjasaa.pak3cb0  xjasaa.pak3cr0  xjasaa.pck3ce0  xjasaa.pck3cu0  xjasaa.pik3cb0  xjasaa.pik3cr0  xjasaa.pjk3cd0  xjasaa.pjk3ct0
xjasaa.pak3cc0  xjasaa.pak3cs0  xjasaa.pck3cf0  xjasaa.pck4110  xjasaa.pik3cc0  xjasaa.pik3cs0  xjasaa.pjk3ce0  xjasaa.pjk3cu0
xjasaa.pak3cd0  xjasaa.pak3ct0  xjasaa.pck3cg0  xjasaa.pdk3dec  xjasaa.pik3cd0  xjasaa.pik3ct0  xjasaa.pjk3cf0  xjasaa.pjk4110
xjasaa.pak3ce0  xjasaa.pak3cu0  xjasaa.pck3ch0  xjasaa.pek3dec  xjasaa.pik3ce0  xjasaa.pik3cu0  xjasaa.pjk3cg0  xjasaa.pmk3dec
xjasaa.pak3cf0  xjasaa.pak4110  xjasaa.pck3ci0  xjasaa.pfk3dec  xjasaa.pik3cf0  xjasaa.pik4110  xjasaa.pjk3ch0
xjasaa.pak3cg0  xjasaa.pck3c30  xjasaa.pck3cj0  xjasaa.pgk3dec  xjasaa.pik3cg0  xjasaa.pjk3c20  xjasaa.pjk3ci0
xjasaa.pak3ch0  xjasaa.pck3c40  xjasaa.pck3ck0  xjasaa.phk3dec  xjasaa.pik3ch0  xjasaa.pjk3c30  xjasaa.pjk3cj0
xjasaa.pak3ci0  xjasaa.pck3c50  xjasaa.pck3cl0  xjasaa.pik3c20  xjasaa.pik3ci0  xjasaa.pjk3c40  xjasaa.pjk3ck0

However, when looking at the xjasa.requests file, it contains:

[16:01:09 nlabra@c01c10n02-hf0 xjasa]$ cat xjasa.requests
** WAKEUP **     
%%% xjasaa.pak3c20 ARCHIVE     PPNOCHART
%%% xjasaa.pak3c20 DELETE     
%%% xjasaa.pck3c20 ARCHIVE     PPNOCHART
%%% xjasaa.pck3c20 DELETE     
%%% xjasaa.pik3c20 ARCHIVE     PPNOCHART

The xjasa.fort6.pe0 file shows the job finished around 13:56, although the job has been hanging for the last 2 hours.

Can you give me any suggestions as to what is going on, and how to get this job to continue to archive?

[luke]

After further investigation, using the latest revision of Jeff's archiving branch fcm:um_br/dev/jeff/VN7.3_HadGEM3-A_r2.0_hector_monsoon_archiving did allow for archiving to MOOSE, although this was still a little temperamental, and a problem with moose rather than the job itself. It just about works well enough, but can still have problems (which we have to live with).