ASR kernel dump error

[Brandon Matthee]

Hello All,

After upgrading a Cisco ASR 1001 using sub packages from XE 03.07.00b.S too XE 03.09.01.S (following the instructions detailed in the Cisco documentation but without redundant OS/RP) the device is continually reboots with the following error:

%IOSXEBOOT-4-ABORT: (rp/0): Command ‘cp –r /rmp/sw/rp/0/0/rp_security/mount/3pa/etc/* /etc’ failed

%IOSXEBOOT-4-ABORT: (rp/0): Command ‘cp –r /rmp/sw/rp/0/0/rp_security/mount/3pa/etc/* /etc’ failed

---------------------------------------------------------------

Starting IOS XE Kernel dump from previous failure.

  Expected completion time is less than 5 minutes.

System will automatically reboot within 5 minutes.

---------------------------------------------------------------

The original sub packages are still present on this devices bootflash:

As per the documentation II basically copied over the consolidated image, unpacked then copied to the root of bootflash: then used the issu loadversion rp 0 file command to upload rpaccess, rpios and rpcontrol packages.  Then used issu commitversion and reloaded.

[jkohlstadt]

Hi ,

i have the same problem, new asr1001 router:

the router dont come up, only rebooting.

Initializing Hardware ...

Calculating the ROMMON CRC ... CRC is correct

System Bootstrap, Version 15.0(1r)S, RELEASE SOFTWARE
Copyright (c) 1994-2010 by cisco Systems, Inc.

Current image running: Boot ROM1
Last reset cause: Watchdog/ICH
........................................................................................................................................
..................
........................................................................................................................................
..........

ASR1000-1RU platform with 4194304 Kbytes of main memory

........................................................................................................................................
...............
........................................................................................................................................
..........
........................................................................................................................................
...............
........................................................................................................................................
...............
Warning: filesystem is not clean
Warning: filesystem is not clean
File size is 0x15af15c8
Located asr1001-universalk9.03.06.00.S.152-2.S.bin
Image size 363795912 inode num 12, bks cnt 88818 blk size 8*512
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
#################
Boot image size = 363795912 (0x15af15c8) bytes

Package header rev 0 structure detected
Calculating SHA-1 hash...done
validate_package: SHA-1 hash:
        calculated 3778c900:adb6c5bf:ce04e6c5:2f1e51d8:9692e14d
        expected   3778c900:adb6c5bf:ce04e6c5:2f1e51d8:9692e14d
Image validated
%IOSXEBOOT-4-FILESYS_ERRORS_CORRECTED: (rp/0): bootflash 1 contained errors which were auto-corrected.
----------------------
Starting IOS XE kernel dump from previous failure.
  Expected completion time is less than 5 minutes.
  System will automatically reboot within 5 minutes.
----------------------

Initializing Hardware ...

Calculating the ROMMON CRC ... CRC is correct

System Bootstrap, Version 15.0(1r)S, RELEASE SOFTWARE
Copyright (c) 1994-2010 by cisco Systems, Inc.

Current image running: Boot ROM1
Last reset cause: Watchdog/ICH
........................................................................................................................................
.....................
........................................................................................................................................
..................

ASR1000-1RU platform with 4194304 Kbytes of main memory

........................................................................................................................................
..................
........................................................................................................................................
..................
........................................................................................................................................
..................
........................................................................................................................................
..................
Warning: filesystem is not clean
Warning: filesystem is not clean
File size is 0x15af15c8
Located asr1001-universalk9.03.06.00.S.152-2.S.bin
Image size 363795912 inode num 12, bks cnt 88818 blk size 8*512
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
########################################################################################################################################
#################
Boot image size = 363795912 (0x15af15c8) bytes

Package header rev 0 structure detected
Calculating SHA-1 hash...done
validate_package: SHA-1 hash:
        calculated 3778c900:adb6c5bf:ce04e6c5:2f1e51d8:9692e14d
        expected   3778c900:adb6c5bf:ce04e6c5:2f1e51d8:9692e14d
Image validated
%IOSXEBOOT-4-FILESYS_ERRORS_CORRECTED: (rp/0): bootflash 1 contained errors which were auto-corrected.
----------------------
Starting IOS XE kernel dump from previous failure.
  Expected completion time is less than 5 minutes.
  System will automatically reboot within 5 minutes.
----------------------

Initializing Hardware ...

[Ivan Shirshin]

Hi Julian,

In your case file system is corrupted.

     Warning: filesystem is not clean

Try to boot from usb or other file system. Then format bootflash (or whatever router is currently using for boot). If that does not help, router would need to be replaced.

Kind Regards,
Ivan Shirshin

**Please grade this post if you find it useful.

[Stefan Giera]

Hi, 

we are having the same problem here. But none of the suggested solutions helps. 

After booting, we are seeing: 

<snip>

%IOSXEBOOT-4-FILESYS_ERRORS_CORRECTED: (rp/0): bootflash 1 contained errors which were auto-corrected.
%IOSXEBOOT-4-BOOT_ACTIVITY_LONG_TIME: (rp/0): prep_storage took: 13 seconds, expected max time 10 seconds
----------------------
Starting IOS XE kernel dump from previous failure.
  Expected completion time is less than 5 minutes.
  System will automatically reboot within 20 minutes.
----------------------

</snip>

And then, after a while: 

<snip>

Kdump failed to finish the core dump, please check if out of space
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1              7660164   7660164         0 100% /misc/scratch
-rw-r--r--  1 0 0 1359736832 Mar  2 08:04 /misc/scratch/core/kernel.rp.core.TEMP_IN_PROGRESS
Deleting the incomplete core file
Rebooting now...

Initializing Hardware ...

</snip>

After that, everything starts over again. I tried to boot from USB-Device, but then the same things happens. So I cannot get IOS to load without doing the core-dump. 

Is there any way to delete files on /dev/sda1 out of rommon? In rommon I do not have the "delete" command...

Any suggestions? 

-- 

Stefan

[aweittmann]

Hi,

I know that this post is old now but I have the exact same issue. Did you find a way to clean up dev/sda1 from Rommon ?

Here is a sample of dir bootflash:core

rommon 4 > dir bootflash:core

Warning: filesystem is not clean
File System: EXT2/EXT3

503037 0 -rw-r--r-- kernel.rp.core.TEMP_IN_PROGRESS
486723 1432770585-rw-r--r-- kernel.rp_20170105131442.core.gz
486724 1438332585-rw-r--r-- kernel.rp_20170105132328.core.gz
486725 1439982974-rw-r--r-- kernel.rp_20170105133207.core.gz
486726 1443608634-rw-r--r-- kernel.rp_20170105134102.core.gz
486727 1439263738-rw-r--r-- kernel.rp_20170105134946.core.gz
486728 272400384 -rw-r--r-- kernel.rp_20170105135405.core.gz
502945 0 -rw-r--r-- kernel.rp_20170105135641.core.gz
502946 0 -rw-r--r-- kernel.rp_20170105135913.core.gz
502947 0 -rw-r--r-- kernel.rp_20170105140149.core.gz
502948 0 -rw-r--r-- kernel.rp_20170105140420.core.gz
502949 0 -rw-r--r-- kernel.rp_20170105140651.core.gz
502950 0 -rw-r--r-- kernel.rp_20170105140922.core.gz
502951 0 -rw-r--r-- kernel.rp_20170105141153.core.gz
502952 0 -rw-r--r-- kernel.rp_20170105141423.core.gz
502953 0 -rw-r--r-- kernel.rp_20170105141652.core.gz
502954 0 -rw-r--r-- kernel.rp_20170105141922.core.gz
502955 0 -rw-r--r-- kernel.rp_20170105142153.core.gz
502956 0 -rw-r--r-- kernel.rp_20170105142424.core.gz
502957 0 -rw-r--r-- kernel.rp_20170105142655.core.gz
502958 0 -rw-r--r-- kernel.rp_20170105142926.core.gz
502959 0 -rw-r--r-- kernel.rp_20170105143157.core.gz
502960 0 -rw-r--r-- kernel.rp_20170105143428.core.gz
502961 0 -rw-r--r-- kernel.rp_20170105143658.core.gz
502962 0 -rw-r--r-- kernel.rp_20170105143928.core.gz
502963 0 -rw-r--r-- kernel.rp_20170105144159.core.gz
502964 0 -rw-r--r-- kernel.rp_20170105144434.core.gz
502965 0 -rw-r--r-- kernel.rp_20170105144705.core.gz
502966 0 -rw-r--r-- kernel.rp_20170105144936.core.gz
502967 0 -rw-r--r-- kernel.rp_20170105145207.core.gz
502968 0 -rw-r--r-- kernel.rp_20170105145438.core.gz
502969 0 -rw-r--r-- kernel.rp_20170105145708.core.gz
502970 0 -rw-r--r-- kernel.rp_20170105145938.core.gz
502971 0 -rw-r--r-- kernel.rp_20170105150208.core.gz
502972 0 -rw-r--r-- kernel.rp_20170105150438.core.gz
502973 0 -rw-r--r-- kernel.rp_20170105150709.core.gz
502974 0 -rw-r--r-- kernel.rp_20170105150940.core.gz
502975 0 -rw-r--r-- kernel.rp_20170105151209.core.gz
502976 0 -rw-r--r-- kernel.rp_20170105151441.core.gz
502977 0 -rw-r--r-- kernel.rp_20170105151713.core.gz
502978 0 -rw-r--r-- kernel.rp_20170105151944.core.gz
502979 0 -rw-r--r-- kernel.rp_20170105152215.core.gz
502980 0 -rw-r--r-- kernel.rp_20170105152446.core.gz
502981 0 -rw-r--r-- kernel.rp_20170105152721.core.gz
502982 0 -rw-r--r-- kernel.rp_20170105152952.core.gz
502983 0 -rw-r--r-- kernel.rp_20170105153223.core.gz
502984 0 -rw-r--r-- kernel.rp_20170105153454.core.gz
502985 0 -rw-r--r-- kernel.rp_20170105153725.core.gz
502986 0 -rw-r--r-- kernel.rp_20170105153955.core.gz
502987 0 -rw-r--r-- kernel.rp_20170105154226.core.gz
502988 0 -rw-r--r-- kernel.rp_20170105154457.core.gz
502989 0 -rw-r--r-- kernel.rp_20170105154728.core.gz
502990 0 -rw-r--r-- kernel.rp_20170105154958.core.gz
502991 0 -rw-r--r-- kernel.rp_20170105155227.core.gz
502992 0 -rw-r--r-- kernel.rp_20170105155458.core.gz
502993 0 -rw-r--r-- kernel.rp_20170105155728.core.gz
502994 0 -rw-r--r-- kernel.rp_20170105160058.core.gz
502995 0 -rw-r--r-- kernel.rp_20170105160329.core.gz
502996 0 -rw-r--r-- kernel.rp_20170105160559.core.gz
502997 0 -rw-r--r-- kernel.rp_20170105160830.core.gz
502998 0 -rw-r--r-- kernel.rp_20170105161105.core.gz
502999 0 -rw-r--r-- kernel.rp_20170105161335.core.gz
503000 0 -rw-r--r-- kernel.rp_20170105161604.core.gz
503001 0 -rw-r--r-- kernel.rp_20170105161833.core.gz
503002 0 -rw-r--r-- kernel.rp_20170105162104.core.gz
503003 0 -rw-r--r-- kernel.rp_20170105162334.core.gz
503004 0 -rw-r--r-- kernel.rp_20170105162604.core.gz
503005 0 -rw-r--r-- kernel.rp_20170105162834.core.gz
503006 0 -rw-r--r-- kernel.rp_20170105163105.core.gz
503007 0 -rw-r--r-- kernel.rp_20170105163336.core.gz
503008 0 -rw-r--r-- kernel.rp_20170105163607.core.gz
503009 0 -rw-r--r-- kernel.rp_20170105163838.core.gz
503010 0 -rw-r--r-- kernel.rp_20170105164108.core.gz
503011 0 -rw-r--r-- kernel.rp_20170105164339.core.gz
503012 0 -rw-r--r-- kernel.rp_20170105164610.core.gz
503013 0 -rw-r--r-- kernel.rp_20170105164840.core.gz
503014 0 -rw-r--r-- kernel.rp_20170105165110.core.gz
503015 0 -rw-r--r-- kernel.rp_20170105165346.core.gz
503016 0 -rw-r--r-- kernel.rp_20170105165616.core.gz
503017 0 -rw-r--r-- kernel.rp_20170105165847.core.gz
503018 0 -rw-r--r-- kernel.rp_20170105170118.core.gz
503019 0 -rw-r--r-- kernel.rp_20170105170349.core.gz
503020 0 -rw-r--r-- kernel.rp_20170105170620.core.gz
503021 0 -rw-r--r-- kernel.rp_20170105170851.core.gz
503022 0 -rw-r--r-- kernel.rp_20170105171122.core.gz
503023 0 -rw-r--r-- kernel.rp_20170105171353.core.gz
503024 0 -rw-r--r-- kernel.rp_20170105171623.core.gz
503025 0 -rw-r--r-- kernel.rp_20170105171853.core.gz
503026 0 -rw-r--r-- kernel.rp_20170105172124.core.gz
503027 0 -rw-r--r-- kernel.rp_20170105172354.core.gz
503028 0 -rw-r--r-- kernel.rp_20170105172624.core.gz
503029 0 -rw-r--r-- kernel.rp_20170105172855.core.gz
503030 0 -rw-r--r-- kernel.rp_20170105173125.core.gz
503031 0 -rw-r--r-- kernel.rp_20170105173356.core.gz
503032 0 -rw-r--r-- kernel.rp_20170105173632.core.gz
503033 0 -rw-r--r-- kernel.rp_20170105173903.core.gz
503034 0 -rw-r--r-- kernel.rp_20170105174134.core.gz
503035 0 -rw-r--r-- kernel.rp_20170105174405.core.gz
503036 0 -rw-r--r-- kernel.rp_20170105174636.core.gz

....

Any help would be appreciated.

Thanks a lot.

[Brandon Matthee]

I have tried to research in to this issue, but could not find what could be the cause. Does any one have any ideas or suggestions to roll back this problem? any help will be appreciated. Thanks

[Ivan Shirshin]

Hi Brandon,

Please run the following command in ROMMON and attach the outputs here:

     dir bootflash:core

Also, attach the whole boot sequence output, like Julian did.

Kind Regards,
Ivan Shirshin

**Please grade this post if you find it useful.

[John Eze]

Hi, Am prepping an ASR 1002-X with IOS 16.06.02 but was to instll a 16.03.06 but after installation my ASR 1002-x got stuck in

boot process 

Initializing Hardware ...

System integrity status: 00000610

System Bootstrap, Version 16.3(2r), RELEASE SOFTWARE
Copyright (c) 1994-2016 by cisco Systems, Inc.

Current image running: Boot ROM0
Last reset cause: LocalSoft

SPI Flash 4KB Descriptor Area Checksum = 0x6f5a0db2
ASR1002-X platform with 16777216 Kbytes of main memory

File size is 0x301668d9
Located asr1000rpx86-universalk9.16.03.07.SPA.bin
Image size 806775001 inode num 16, bks cnt 196967 blk size 8*512
############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
Boot image size = 806775001 (0x301668d9) bytes

ROM:RSA Self Test Passed
ROM:Sha512 Self Test Passed

Package header rev 1 structure detected
Calculating SHA-1 hash...done
validate_package_cs: SHA-1 hash:
calculated 94a6f24b:15d0de3f:91ef0796:0b7b80d4:8dc88be6
expected 94a6f24b:15d0de3f:91ef0796:0b7b80d4:8dc88be6
Validating main package signatures

RSA Signed RELEASE Image Signature Verification Successful.
Image validated
%IOSXEBOOT-4-SWTREE: (rp/0): ERROR: Route processor type (rpx86) not valid for this route processor (RP-2KP) Failure processing package asr1000rpx86-rpbase.16.03.07.SPA.pkg
%IOSXEBOOT-4-ABORT: (rp/0): ERROR: Route processor type (rpx86) not valid for this route processor (RP-2KP) Failure processing package asr1000rpx86-rpbase.16.03.07.SPA.pkg Failed to process provisioning file (/tmp/packages.conf).

I need advice on how to go about this.