热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

0051.CClouderaQuickStart安装配置

ClouderaQuickStart包含了大量组件,用于演示和POC应用程序

Cloudera QuickStart用于演示和POC应用程序,不建议用于生产用途。包含了HBase、HDFS、Hive、Hue、Impala、Key-Value Store Indexer、Oozie、Solr、Spark、Sqoop 1 client、Sqoop 2、YARN、Zookeeper组件,还可以进行安装其它自带组件、进行Kerberos加密等操作。

1.现状

官方目前不提供下载,自动5.14.X已经停止提供。

打开提示连接跳转到:

https://www.cloudera.com/downloads/cdp-private-cloud-trial.html,需要进行CDP试用安装。

2. 来自远古的召唤-官方下载

通过官方遗迹直接下载,下面释放2个链接。[2021-06-08]有效。

CDH5.5.0(4.58G)

    wget https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.5.0-0-vmware.zip

    CDH5.13.0(5.36G)-最后的Cloudera QuickStart版本

      wget https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.13.0-0-vmware.zip

      低版本官方文档还存在:

        https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cloudera_quickstart_vm.html

        3. 环境说明

        官方资源需求摘录:

        建议至少8G内存/2个虚拟CPU;

        使用VM Workstation 8以上;

        OS登录用户:clodera/cloudera(default)、root/cloudera

        CM登录用户: cloudera/cloudera(default)、admin/admin

        MySQL登录用户:root/cloudera

        此环境默认已经安装相应Hadoop组件

        安装了Cloudera Manager

        默认已经关闭防火墙和selinux

        建议虚拟机选用仅主机/NAT网络模式

        4. 如何使用

        解压缩,使用vmware-workstation打开;

        开机默认dhcp,网卡可能会由eth0变为eth1,需要更改70-net*,删除eth0配置项,将eth1更改为eth0,然后重启主机;

        开机默认启动服务,进入cm界面,需手动启动cm和组件;

        组件启动不成功,查看主机状态,ntp存在时钟偏差,需停止组件和cm,停止服务,更改时区,然后重启服务。

        1)停止服务

          [cloudera@quickstart ~]$ chkconfig --list | grep cloudera
          cloudera-quickstart-init 0:off 1:off 2:on 3:on 4:on 5:on 6:off
          cloudera-scm-agent 0:off 1:off 2:on 3:on 4:on 5:on 6:off
          cloudera-scm-server 0:off 1:off 2:on 3:on 4:on 5:on 6:off
          [cloudera@quickstart ~]$ sudo service cloudera-scm-agent stop
          Stopping cloudera-scm-agent: [ OK ]
          [cloudera@quickstart ~]$ sudo service cloudera-scm-server stop
          Stopping cloudera-scm-server: [ OK ]
          [cloudera@quickstart ~]$ sudo service mysqld stop
          Stopping mysqld: [ OK ]

          2)更改时区

            alias cp='cp'
            echo 'ZOnE="Asia/Shanghai"' > etc/sysconfig/clock
            cp usr/share/zoneinfo/Asia/Shanghai etc/localtime
            ntpdate ntp7.aliyun.com

            3)时间同步配置-使用本地同步

              vi etc/ntp.conf
              #server 0.centos.pool.ntp.org iburst
              #server 1.centos.pool.ntp.org iburst
              #server 2.centos.pool.ntp.org iburst
              #server 3.centos.pool.ntp.org iburst
              server 127.127.1.0
              fudge 127.127.1.0 stratum 10

              重启服务

                service ntpd restart

                同步时间

                  ntpdate ntp.aliyun.com

                  检查同步

                    ntpdc -np

                    4)启动服务

                      [root@quickstart ~]# service mysqld start
                      Starting mysqld: [ OK ]
                      [root@quickstart ~]# service cloudera-scm-server start
                      Starting cloudera-scm-server: [ OK ]
                      [root@quickstart ~]# service cloudera-scm-agent start
                      Starting cloudera-scm-agent: [ OK ]
                      [root@quickstart ~]#

                        [cloudera@quickstart ~]$ sudo /home/cloudera/cloudera-manager --force --enterprise  #重启为企业版,桌面也有快捷方式
                        OR
                        [cloudera@quickstart ~]$ sudo /home/cloudera/cloudera-manager --force --express    #重启为express版,桌面也有快捷方式


                        5) 登录

                          http://quickstart.cloudera:7180
                          Username: cloudera
                          Password: cloudera


                          6) 手动启动CM和各组件

                          注:windows机器登录,CM界面可显示中文。

                          --  完  --

                          作者:王坤,微信公众号:rundba,欢迎转载,转载请注明出处。

                          如需公众号转发,请联系wx:landnow。




                          推荐阅读
                          • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
                          • CEPH LIO iSCSI Gateway及其使用参考文档
                            本文介绍了CEPH LIO iSCSI Gateway以及使用该网关的参考文档,包括Ceph Block Device、CEPH ISCSI GATEWAY、USING AN ISCSI GATEWAY等。同时提供了多个参考链接,详细介绍了CEPH LIO iSCSI Gateway的配置和使用方法。 ... [详细]
                          • HBase干货 | 如何优雅的通过Key与Value分离降低写放大难题?
                            本文将为大家介绍为什么这样能够有效的降低写放大,然后聊聊几个keyvalue分离系统的结构,包括两篇影响比较广泛的学术论文,以及HBase在keyvalue ... [详细]
                          • 大数据开发笔记(一):HDFS介绍
                            ✨大数据开发笔记推荐:大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试​本文详细介绍大数据hadoop生态圈各部分知识,包括不限 ... [详细]
                          • 怎么快速学好大数据开发?
                            新如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问题,已成为热门大数据领域热门问题,以下是对新手如何学习大数据技术问题的解答! ... [详细]
                          • 添加商品数据Spring容器由Spring容器,来管理SolrServer将SolrServer注入Spring容器添加配置文件applicationConte ... [详细]
                          • 使用在线工具jsonschema2pojo根据json生成java对象
                            本文介绍了使用在线工具jsonschema2pojo根据json生成java对象的方法。通过该工具,用户只需将json字符串复制到输入框中,即可自动将其转换成java对象。该工具还能解析列表式的json数据,并将嵌套在内层的对象也解析出来。本文以请求github的api为例,展示了使用该工具的步骤和效果。 ... [详细]
                          • ubuntu用sqoop将数据从hive导入mysql时,命令: ... [详细]
                          • 解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法
                            本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法,包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时,还介绍了修改nginx的error.log日志级别为debug,以便查看详细日志信息。 ... [详细]
                          • Postgresql备份和恢复的方法及命令行操作步骤
                            本文介绍了使用Postgresql进行备份和恢复的方法及命令行操作步骤。通过使用pg_dump命令进行备份,pg_restore命令进行恢复,并设置-h localhost选项,可以完成数据的备份和恢复操作。此外,本文还提供了参考链接以获取更多详细信息。 ... [详细]
                          • REVERT权限切换的操作步骤和注意事项
                            本文介绍了在SQL Server中进行REVERT权限切换的操作步骤和注意事项。首先登录到SQL Server,其中包括一个具有很小权限的普通用户和一个系统管理员角色中的成员。然后通过添加Windows登录到SQL Server,并将其添加到AdventureWorks数据库中的用户列表中。最后通过REVERT命令切换权限。在操作过程中需要注意的是,确保登录名和数据库名的正确性,并遵循安全措施,以防止权限泄露和数据损坏。 ... [详细]
                          • 本文分析了Wince程序内存和存储内存的分布及作用。Wince内存包括系统内存、对象存储和程序内存,其中系统内存占用了一部分SDRAM,而剩下的30M为程序内存和存储内存。对象存储是嵌入式wince操作系统中的一个新概念,常用于消费电子设备中。此外,文章还介绍了主电源和后备电池在操作系统中的作用。 ... [详细]
                          • STL迭代器的种类及其功能介绍
                            本文介绍了标准模板库(STL)定义的五种迭代器的种类和功能。通过图表展示了这几种迭代器之间的关系,并详细描述了各个迭代器的功能和使用方法。其中,输入迭代器用于从容器中读取元素,输出迭代器用于向容器中写入元素,正向迭代器是输入迭代器和输出迭代器的组合。本文的目的是帮助读者更好地理解STL迭代器的使用方法和特点。 ... [详细]
                          • GSIOpenSSH PAM_USER 安全绕过漏洞
                            漏洞名称:GSI-OpenSSHPAM_USER安全绕过漏洞CNNVD编号:CNNVD-201304-097发布时间:2013-04-09 ... [详细]
                          • Hbase 进阶
                            一、RegionServer架构1)StoreFile保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一 ... [详细]
                          author-avatar
                          小钕孓jiao_803
                          这个家伙很懒,什么也没留下!
                          PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
                          Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有