openstack-虚拟机在线迁移失败问题及解决办法

最新推荐文章于 2024-08-26 11:53:29 发布
最新推荐文章于 2024-08-26 11:53:29 发布
阅读量2.2k 收藏
点赞数
分类专栏： OpenStack Nova
OpenStack 同时被 2 个专栏收录
131 篇文章 7 订阅
订阅专栏
Nova
13 篇文章 0 订阅
订阅专栏

原博客地址：http://blog.csdn.net/lynn_kong

内容系本人学习、研究和总结，如有雷同，实属荣幸！


更新历史；

2013.07.17  该问题在最新的主干分支中不存在了，因为nova-scheduler中的代码有部分重构过，不知是无意还是有意，修复了这个bug

/、虽然修改了，通过这个学习可以了解更多


version：OpenStack Grizzly 2013.1.2

hypervisor：KVM

shared  storage: no


1、问题描述

我的环境上有一台虚拟机，信息如下：

[plain]  view plain copy
  1. root@controller:~# nova show ubuntu_bdm_with_keypair  
  2. +-------------------------------------+----------------------------------------------------------+  
  3. | Property                            | Value                                                    |  
  4. +-------------------------------------+----------------------------------------------------------+  
  5. | status                              | ACTIVE                                                   |  
  6. | updated                             | 2013-07-11T05:15:46Z                                     |  
  7. | OS-EXT-STS:task_state               | None                                                     |  
  8. | OS-EXT-SRV-ATTR:host                | controller                                               |  
  9. | key_name                            | mykey                                                    |  
  10. | image                               | Attempt to boot from volume - no image supplied          |  
  11. | hostId                              | 6c1b0e7f432cdca4fe62380f271d7b83999b3aeee6e6893cc90db44a |  
  12. | OS-EXT-STS:vm_state                 | active                                                   |  
  13. | OS-EXT-SRV-ATTR:instance_name       | instance-00000005                                        |  
  14. | OS-EXT-SRV-ATTR:hypervisor_hostname | controller.konglingxian.com                              |  
  15. | flavor                              | kong.flavor (6)                                          |  
  16. | id                                  | 6cd558d9-e924-4598-8e63-e86a20929bd9                     |  
  17. | security_groups                     | [{u'name': u'default'}]                                  |  
  18. | demo_net1 network                   | 10.1.1.2, 128.3.11.101                                   |  
  19. | user_id                             | 9bfc5979e8774ea99f54ba78d07c3bc0                         |  
  20. | name                                | ubuntu_bdm_with_keypair                                  |  
  21. | created                             | 2013-07-10T07:48:04Z                                     |  
  22. | tenant_id                           | d9a9b59b0be94489a85f51ba3ced15ce                         |  
  23. | OS-DCF:diskConfig                   | MANUAL                                                   |  
  24. | metadata                            | {}                                                       |  
  25. | accessIPv4                          |                                                          |  
  26. | accessIPv6                          |                                                          |  
  27. | progress                            | 0                                                        |  
  28. | OS-EXT-STS:power_state              | 1                                                        |  
  29. | OS-EXT-AZ:availability_zone         | nova                                                     |  
  30. | config_drive                        |                                                          |  
  31. +-------------------------------------+----------------------------------------------------------+  
环境上两个节点：

[plain]  view plain copy
  1. root@controller:~# nova hypervisor-list  
  2. +----+-----------------------------+  
  3. | ID | Hypervisor hostname         |  
  4. +----+-----------------------------+  
  5. | 1  | compute.konglingxian.com    |  
  6. | 2  | controller.konglingxian.com |  
  7. +----+-----------------------------+  
虚拟机正常运行，对虚拟机执行live-migration操作：

[plain]  view plain copy
  1. nova live-migration --block-migrate 6cd558d9-e924-4598-8e63-e86a20929bd9  

返回的异常信息如下：

[plain]  view plain copy
  1. {  
  2.     "badRequest": {  
  3.         "message": "Live migration of instance 6cd558d9-e924-4598-8e63-e86a20929bd9 to host controller failed",  
  4.         "code": 400  
  5.     }  
  6. }  


2、问题分析

先查看日志中的异常堆栈：

[plain]  view plain copy
  1. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions Traceback (most recent call last):  
  2. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  3. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/amqp.py", line 430, in _process_data  
  4. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     rval = self.proxy.dispatch(ctxt, version, method, **args)  
  5. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  6. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/dispatcher.py", line 133, in dispatch  
  7. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return getattr(proxyobj, method)(ctxt, **kwargs)  
  8. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  9. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 117, in live_migration  
  10. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     context, ex, {})  
  11. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  12. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__  
  13. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     self.gen.next()  
  14. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  15. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 96, in live_migration  
  16. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     block_migration, disk_over_commit)  
  17. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  18. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/driver.py", line 196, in schedule_live_migration  
  19. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     ignore_hosts)  
  20. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  21. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/driver.py", line 272, in _live_migration_dest_check  
  22. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     filter_properties)[0]  
  23. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  24. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 146, in select_hosts  
  25. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     request_spec, filter_properties, instance_uuids)]  
  26. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  27. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 336, in _schedule  
  28. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     filter_properties)  
  29. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  30. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/host_manager.py", line 342, in get_filtered_hosts  
  31. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     hosts, filter_properties)  
  32. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  33. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/filters.py", line 53, in get_filtered_objects  
  34. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return list(objs)  
  35. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  36. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/filters.py", line 39, in filter_all  
  37. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     if self._filter_one(obj, filter_properties):  
  38. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  39. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filters/__init__.py", line 30, in _filter_one  
  40. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return self.host_passes(obj, filter_properties)  
  41. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  42. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filters/image_props_filter.py", line 78, in host_passes  
  43. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     image_props = spec.get('image', {}).get('properties', {})  
  44. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  45. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions AttributeError: 'NoneType' object has no attribute 'get'  
  46. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  47. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  48. 2013-07-10 15:07:44 INFO [nova.api.openstack.wsgi 673] [32348] HTTP exception thrown: Live migration of instance 6cd558d9-e924-4598-8e63-e86a20929bd9 to another host failed  

原来问题出在调度上，日志说的很明显了，是在image_props_filter中出现异常，spec.get('image', {})返回了None，导致python异常。那么spec.get('image', {})为什么返回None呢？从代码追溯一下spec中的image属性从何而来：

[python]  view plain copy
  1. if not instance_ref['image_ref']:  
  2.     image = None  
  3. else:  
  4.     image = self.image_service.show(context,  
  5.                                     instance_ref['image_ref'])  
  6. request_spec = {'instance_properties': instance_ref,  
  7.                 'instance_type': instance_type,  
  8.                 'instance_uuids': [instance_ref['uuid']],  
  9.                 'image': image}  
再回头看一下虚拟机信息，发现这个虚拟机是一个后端卷启动的虚拟机（boot from volume），至此，问题根因分析清楚。


3、问题解决

有两种解决方法：
1）修改在线迁移虚拟机的命令参数，强制指定目的主机，跳过schedule的阶段，改成如下（注意，如果是后端卷启动，就不能加--block-migrate参数，详细原因请参见：http://blog.csdn.net/lynn_kong/article/details/9186201）：
[plain]  view plain copy
  1. nova live-migration 6cd558d9-e924-4598-8e63-e86a20929bd9 compute  
2）修改Nova的配置项scheduler_default_filters（默认配置是['RetryFilter', 'AvailabilityZoneFilter', 'RamFilter', 'ComputeFilter', 'ComputeCapabilitiesFilter', 'ImagePropertiesFilter']），将其中的ImagePropertiesFilter删除，重启nova-scheduler进程后再次执行迁移，成功。
ztejiagn
关注
专栏目录
Openstack: migration 虚拟机热迁移 失败的注意点
mzhan017的博客
02-01 878
但是因为是一个失败的操作，可能数据记录已经处于一种中间状态，就是数据不完整，就可能造成任何可以出现的问题。失败之后VM还在运行，只是用lspci可以查看到设备，但是用ip命令查看网卡设备，确看不到。从这里也可以看出，在迁移的过程中，某些操作没有做完，而到了一种中间状态，导致数据不一致，最终efcount的数值出现异常。如果是按照正向的解决方法，应该就问题，查看openstack相关的代码。这种也是中间状态的一种表现。后续任何关于网络，设备的操作，都会让这个系统进入未知状态：hang主。
【OpenStack】虚拟机在线迁移失败问题及解决办法
代码改变世界
07-11 6396
声明： 本博客欢迎转发，但请保留原作者信息! 新浪微博：@孔令贤HW； 博客地址：http://blog.csdn.net/lynn_kong 内容系本人学习、研究和总结，如有雷同，实属荣幸！ version：OpenStack Grizzly 2013.1.2 hypervisor：KVM shared  storage: no 1、问题描述 我的环境上有一台虚拟机
OpenStack平台虚拟机实例在线迁移失败问题
weixin_30553065的博客
07-20 352
一、在线迁移时提示如下的报错 二、原因分析 通过kolla-ansible部署queens版本时，因为OEM的机器设备的UUID记录的一致，导致迁移时识别的是自身机器的UUID，导致迁移失败 三、问题解决 修改ansible部署的playbook文件nova/tasks/config.yml nova/templates/libvirtd.conf.j2 转...
VMware虚拟化常见故障问题及解决方法汇总（不定期更新）
最新发布
凡心所向,素履以往,生如逆旅,一苇以航
08-26 562
故障原因： vmkernel 端口组安全设置不匹配或宿主机的高级系统设置Migrate.NeTimeout值太小。
故障：OpenStack热迁移虚拟机失败
QwQNightmare的博客
03-09 901
故障：OpenStack热迁移虚拟机失败 起因： 在OpenStack中使用热迁移功能将虚拟机迁移至其他节点，结果操作失败。 分析： 在OpenStack群集之中，热迁移需要通过open vswitch建立二层的联系。所以在控制节点查看网络代理情况（neutron agent-list），结果发现open vswitch服务挂掉。 处理： 在相应的节点重启open vswitch服务，并再次查...
关于openstack部分计算节点无法实现热迁移问题描述
weixin_34001430的博客
10-30 346
情景描述：2个目标计算节点 1个源计算节点 3台服务器配置相同动作：将源计算节点上一台VM迁移到目标计算节点上，在目标计算节点主机上执行命令使用nova live-migration <实例名> <目标计算节点名>问题描述：其中一台目标计算节点可以将实现热迁移，另外一台无法实现。可以实现热迁移的主机compute.log中有如下记录：2015-10-3...
openstack 热迁移报错
zuopiezia的博客
09-19 1859
由于增加计算节点的内存容量，需要把某计算节点上实例全部迁移到其他节点，但是在迁移时，提示无法迁移 报错如下 ERROR nova.virt.libvirt.driver [req-ca51d7c1-e2b5-47dc-a9fd-1a57363170c4 58f26a895b2b46759ee052ca3d7c3fef 087e3a4d906e42ed843dc57f72778dab - de...
OpenStack-Neat-Ceilometer:“OpenStack 中资源监控和虚拟机迁移的统一框架”。 硕士论文
06-14
“OpenStack 中资源监控和虚拟机迁移的统一框架” 。 我们已将 Ceilometer集成到 Neat 中。 通过检查新仪表的样本来监控主机，该仪表定义自 主机 CPU 利用率和主机内存利用率的组合。 当超过阈值时，将触发警报并...
openstack虚拟机热迁移详解
01-06
OpenStack虚拟机热迁移详解 OpenStack是一个开源的云计算管理平台项目，它由多个模块组合而成，支持多种虚拟化技术。在虚拟化的世界中，虚拟机迁移是一个非常重要的功能，它允许管理员在不影响服务质量（QoS）的...
阿里云服务器迁移失败_云迁移可能失败的5种方法以及成功的5种方法
cxt70571的博客
07-06 2008
阿里云服务器迁移失败 对于大多数公司而言，迁移到云不再是一个问题，而是何时开始。 通过将应用程序迁移到云中，您可以提高安全性，数据访问，可伸缩性和IT灵活性，仅适合初学者。 迁移到云还可以节省您的钱 。 但是，请注意：并非所有云部署都能顺利进行。 迁移通常需要比预期更长的时间，或者完全失败，从而浪费时间和金钱。 在将应用程序移动到云中之后，发现它在本地的运行效果不佳，这并不罕见。 结果可...
[管理篇4]OpenStack虚拟机动态迁移——block-migration
GIS+=地理信息+云计算+大数据+容器+物联网+...
05-14 3652
对于虚拟化，一方面的内容是可以实现软件定义硬件，另一方面就是关于资源的伸缩迁移，也就是我可以将我的VM从一台物理主机，迁移到另外一台物理主机，适合的场景包括： 当一个主机资源占用率高，可以将该主机的VM迁移到占用率低的主机上当一个整体的主机资源占用率都不高，我们可以将某个主机的VM迁移到其他主机上，然后待机主机，节能环保当一个整体的主机资源占用率都很高，需要添加新主机，将其他主机的VM迁
OpenStack虚拟机rebuild和evacuate差异梳理
luuJa_IQ的博客
01-29 2286
操作区别 rebuild：xp系统的虚拟机用烦了，想换个linux的操作系统，就可以使用rebuild。 evacuate：虚拟机所在的host宕机了，可以使用evacuate将虚拟机在另外一个host上启起来，其实利用这个接口配合host监控工具，可以实现虚拟机的HA能力。 为什么要将这两个一起说呢，是因为在底层，这两个接口其实对应一个操作spawn。 1、rebuild 引用一下官方的API文...
【openstack】卷迁移导致的虚机热迁移失败问题排查及解决
洒满阳光的午后的博客
11-18 578
可知迁移失败的原因为虚机有活跃的卷任务，执行。确定迁移源节点、目标节点。服务日志，未发现异常信息。有卷拷贝任务正在执行，执行。确定该卷有热迁移任务卡死。再次执行虚机热迁移成功。
虚拟化学习笔记-物理机迁移到VMware虚拟机的实践
我的学习笔记
02-28 8314
参考：http://sccsec.com/2017/04/20/物理机迁移到VMware的实践需求目前有服务器一台，上面实机运行这Centos 7系统。因为有开发需求，需要在不修改系统环境情况下做成虚拟机。尝试尝试一：使用dd-备份系统，在WMware虚拟机上还原)尝试一：使用dd 备份系统，在WMware虚拟机上还原备份镜像命令：备份镜像命令： dd ...
OPENSTACK常见问题及注意事项汇总
热门推荐
夏日wei风的博客
06-24 2万+
OPENSTACK常见问题及注意事项汇总   QU: [Errno 2] No suchfile or directory: '/var/lib/nova/instances/1cb4f7b3-de96 -42ff-a395-26d97c26dc53/disk   RE: 这种情况一般是错误操作导致虚拟机删除不完全引起的：   virsh list --all      ##此处1
导出openstack虚拟机
chrisperzheng的博客
10-11 1046
导出openstack虚拟机的整个磁盘，可以导入到其他虚拟化平台 1、查看实例的id root@ctl03:~# nova list ±-------------------------------------±------------------±--------±-----------±------------±--------------------------------------+ |...
Boot from Volume - 每天5分钟玩转 OpenStack（61）
CloudMan6的博客
07-18 3020
Volume 除了可以用作 instance 的数据盘，也可以作为启动盘（Bootable Volume），那么如何使 volume 成为 bootable 呢？
vSphere export openstack
weixin_34161029的博客
04-01 147
说明：如果vSphere上的VM使用虚拟硬盘是scsi接口，需要安装virtio模块，并加载，如果是ide则不需要安装。（如果ide接口安装并加载virtio到系统后，在openstack中同样无法启动!!!）一、安装模块/sbin/dracut--force--verbose--add-drivers"virtiovirtio_ringvirtio_pci"...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值