首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

解除openstack中instance对IP的限制

作者：有你真好cc_693 | 来源：互联网 | 2014-05-27 20:14
最近公司的几个关键业务跑在openstack中的虚拟机中，想把几个虚拟机做成负载均衡和高可用集群。对于负载均衡，G版本已经集成了haproxy插件，对haproxy的配置做了一层封装，可以很方便的通过quantum去创建一个负载均衡池，为相同或者不同宿主机上的虚拟机提

　　最近公司的几个关键业务跑在openstack中的虚拟机中，想把几个虚拟机做成负载均衡和高可用集群。

　　对于负载均衡，G版本已经集成了haproxy插件，对haproxy的配置做了一层封装，可以很方便的通过quantum去创建一个负载均衡池，为相同或者不同宿主机上的虚拟机提供负载均衡的能力。

　　在这个模式下，haproxy是运行在宿主机上的。

　　遗憾的是，目前还不能通过openstack做到haproxy的高可用。

　　想要做高可用，只能在虚拟机中去飘VIP了

　　但是创建了虚拟机之后，在这个虚拟机实例中只能使用指定的IP。

　　这就导致想在虚拟机中部署高可用去飘VIP是不可行的。

　　可以理解，在公有云环境下，是不可能让用户在虚拟机中随意去配置额外地址的。

　　但我们是私有云环境，这个规则对私有云环境下很是麻烦。

　　在openstack中创建虚拟机，通过nova boot的--nic选项指定网卡和IP地址：

　　--nic net-id=${NETWORK_ID},v4-fixed-ip=${Host_IP}

　　之前一直以为是iptables规则导致的。于是去看了一遍宿主机中的iptables规则

　　root@node1:~# iptables -vnL

　　Chain INPUT (policy ACCEPT 3556K packets, 744M bytes)

　　pkts bytes target prot opt in out source destination

　　1778K 372M nova-compute-INPUT all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)

　　pkts bytes target prot opt in out source destination

　　150 13488 nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

　　6 1392 nova-compute-FORWARD all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain OUTPUT (policy ACCEPT 4208K packets, 567M bytes)

　　pkts bytes target prot opt in out source destination

　　4202K 567M nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

　　2106K 284M nova-compute-OUTPUT all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-FORWARD (1 references)

　　pkts bytes target prot opt in out source destination

　　4 1312 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67

　　2 80 ACCEPT all -- brq3eefcd79-07 * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT all -- * brq3eefcd79-07 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-INPUT (1 references)

　　pkts bytes target prot opt in out source destination

　　2 656 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67

　　Chain nova-compute-OUTPUT (1 references)

　　pkts bytes target prot opt in out source destination

　　Chain nova-compute-inst-15 (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

　　0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

　　0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

　　0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

　　0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

　　0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-inst-17 (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

　　0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

　　0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

　　0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

　　0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

　　0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-local (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 nova-compute-inst-15 all -- * * 0.0.0.0/0 10.16.0.111

　　0 0 nova-compute-inst-17 all -- * * 0.0.0.0/0 10.16.0.131

　　Chain nova-compute-provider (2 references)

　　pkts bytes target prot opt in out source destination

　　Chain nova-compute-sg-fallback (2 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-filter-top (2 references)

　　pkts bytes target prot opt in out source destination

　　2106K 284M nova-compute-local all -- * * 0.0.0.0/0 0.0.0.0/0


　　分析一下这些openstack自动生成的规则，可以看到input，forword和output链默认都是accept状态。分析每条链对数据包的跳转和过滤，如果在虚拟机中配置新的地址，是不会被过滤的。

　　经过一番折腾，最终发现限制IP的原因是ebtables在起作用

　　root@node1:~# ebtables -t nat -L

　　Bridge table: nat

　　Bridge chain: PREROUTING, entries: 2, policy: ACCEPT

　　-i tap0678bf1d-41 -j libvirt-I-tap0678bf1d-41

　　-i tap496fa038-9e -j libvirt-I-tap496fa038-9e

　　Bridge chain: OUTPUT, entries: 0, policy: ACCEPT

　　Bridge chain: POSTROUTING, entries: 0, policy: ACCEPT

　　Bridge chain: libvirt-I-tap0678bf1d-41, entries: 4, policy: ACCEPT

　　-j I-tap0678bf1d-41-mac

　　-p IPv4 -j I-tap0678bf1d-41-ipv4-ip

　　-p ARP -j I-tap0678bf1d-41-arp-mac

　　-p ARP -j I-tap0678bf1d-41-arp-ip

　　Bridge chain: I-tap0678bf1d-41-mac, entries: 2, policy: ACCEPT

　　-s fa:16:3e:a6:5f:70 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-ipv4-ip, entries: 3, policy: ACCEPT

　　-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

　　-p IPv4 --ip-src 10.16.0.131 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-arp-mac, entries: 2, policy: ACCEPT

　　-p ARP --arp-mac-src fa:16:3e:a6:5f:70 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-arp-ip, entries: 2, policy: ACCEPT

　　-p ARP --arp-ip-src 10.16.0.131 -j RETURN

　　-j DROP

　　Bridge chain: libvirt-I-tap496fa038-9e, entries: 4, policy: ACCEPT

　　-j I-tap496fa038-9e-mac

　　-p IPv4 -j I-tap496fa038-9e-ipv4-ip

　　-p ARP -j I-tap496fa038-9e-arp-mac

　　-p ARP -j I-tap496fa038-9e-arp-ip

　　Bridge chain: I-tap496fa038-9e-mac, entries: 2, policy: ACCEPT

　　-s fa:16:3e:58:1:ac -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-ipv4-ip, entries: 3, policy: ACCEPT

　　-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

　　-p IPv4 --ip-src 10.16.0.111 -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-arp-mac, entries: 2, policy: ACCEPT

　　-p ARP --arp-mac-src fa:16:3e:58:1:ac -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-arp-ip, entries: 2, policy: ACCEPT

　　-p ARP --arp-ip-src 10.16.0.111 -j RETURN

　　-j DROP

　　ebtables是linux专门做二层数据链路层过滤的。

　　在通过nova创建虚拟机后，会生成libvirt的一个xml配置文件

　　路径在：/etc/libvirt/nwfilter/nova-base.xml

　　里面定义了以下规则，这些规则限制了在虚拟机上的地址，在二层上就做了过滤

　　

　　12ec8693-253a-7db0-7cd3-f8cc0a1e1b02

　　

　　

　　

　　

　　

　　然后为每个虚拟机创建一个xml文件，每个虚拟机的xml配置中包含了nova-base.xml中的配置

　　打开其中一个虚拟机的xml配置，可以看到，这个配置文件中只放行了指定IP在二层上可以通过，所以其它手动配置的地址是不可用的。

　　cat /etc/libvirt/nwfilter/nova-instance-instance-0000000f-fa163e5801ac.xml

　　

　　972d18be-2db0-4bf2-2853-a0a61beac036

　　

　　

　　

　　

　　

　　

　　

　　libvirt可以通过在这些xml配置的规则，去生成ebtables规则，最终是ebtables做出限制。

　　如何破解？

　　修改nova-base.xml文件

　　注释掉以下三行

　　

　　

　　

　　然后重启libvirt进程，libvirt会重新读取xml中的配置，生成新的ebtables规则。

　　修改后，我通过新建虚拟机，重启nova-computer进程，或者直接重启宿主机，这个base文件都不会发生变化了。

　　还有就是修改nova源码（未测试）

　　源码位置在

　　/usr/lib/python2.7/dist-packages/nova/virt/libvirt/firewall.py

　　第198行（G版本中）

　　

　　去掉no-mac-spoofing,no-ip-spoofing,no-arp-spoofing这三行，以后生成nova-base.xml文件就可以不包含这3个选项了。


推荐阅读
  • web

    Python高级之网络编程及TCP/IP协议簇的OSI七层模型介绍

    本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容，主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • web

    Java消息队列Spring整合ActiveMq我是小强zz

    1、概述首先和大家一起回顾一下Java消息服务，在我之前的博客《Java消息队列-JMS概述》中，我为大家分析了：然后在另一篇博客《Java消息队列-ActiveMq实战》中 ... [详细]
  • utf-8

    YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程

    YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程
    本文介绍了关于人工智能、神经网络和深度学习的知识点，并提供了YOLOv7基于自己的数据集从零构建模型完整训练、推理计算的详细教程。文章还提到了郑州最低生活保障的话题。对于从事目标检测任务的人来说，YOLO是一个熟悉的模型。文章还提到了yolov4和yolov6的相关内容，以及选择模型的优化思路。 ... [详细]
  • python

    学习SLAM的女生，很酷

    学习SLAM的女生，很酷
    本文介绍了学习SLAM的女生的故事，她们选择SLAM作为研究方向，面临各种学习挑战，但坚持不懈，最终获得成功。文章鼓励未来想走科研道路的女生勇敢追求自己的梦想，同时提到了一位正在英国攻读硕士学位的女生与SLAM结缘的经历。 ... [详细]
  • python

    Centos7.6安装Gitlab教程及注意事项

    Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程，并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时，还强调了使用阿里云服务器时的特殊配置需求，以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • shell

    Python语法上的区别及注意事项

    Python语法上的区别及注意事项
    本文介绍了Python2x和Python3x在语法上的区别，包括print语句的变化、除法运算结果的不同、raw_input函数的替代、class写法的变化等。同时还介绍了Python脚本的解释程序的指定方法，以及在不同版本的Python中如何执行脚本。对于想要学习Python的人来说，本文提供了一些注意事项和技巧。 ... [详细]
  • get

    的错误消息：

    ZSI.generate.Wsdl2PythonError: unsupported local simpleType restriction ... [详细]
  • get

    计算机存储系统的层次结构及其优势

    计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构，包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体，形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低，使得整体存储系统的平均价格降低。同时，高速缓存的存取速度可以和CPU的工作速度相匹配，进一步提高程序执行效率。 ... [详细]
  • get

    Python爬虫技术基础篇面向对象高级编程（中）的多重继承

    本文介绍了Python爬虫技术基础篇面向对象高级编程（中）中的多重继承概念。通过继承，子类可以扩展父类的功能。文章以动物类层次的设计为例，讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例，以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • buffer

    python UDP的发送与接收socket

    1、Ipv4只能用于内网，外网只能用2、DNS：把域名解析成ip地址3、MAC地址就是物理地址（网卡序列号）   IP地址：电脑序列号4、不同电脑，微信之间互相通信，靠的是端口；  ... [详细]
  • web

    POCO C++ Libraies介绍及常见用法

    POCOCLibraies属于功能广泛、轻量级别的开源框架库，它拥有媲美Boost库的功能以及较小的体积广泛应用在物联网平台、工业自动化等领域。POCOCLibrai ... [详细]
  • shell

    Linux系统高级网络配置：链路聚合

    Linux系统高级网络配置：链路聚合
    链路聚合网卡的链路聚合就是将多块网卡连接起来，当一块网卡损坏，网络依旧可以正常运行，可以有效的防止因为网卡损坏带来的损失，同 ... [详细]
  • filter

    Linux防火墙配置—允许转发

    Linux防火墙配置—允许转发
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • filter

    明明白白你的Linux服务器——网络篇(2)

    三、寻找恶意IP并用iptables禁止掉找出恶意连接你的服务器80端口的IP，直接用iptables来drop掉它；这里建议写脚本来运行， ... [详细]
  • filter

    pcap_open()函数中的标志位

    定义#definePCAP_OPENFLAG_PROMISCUOUS1    定义适配器是否必须进入混杂模式。#definePCAP_OPENFLAG_DATATX_UDP2    ... [详细]
author-avatar
有你真好cc_693
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有