1月20日,深信服大云售前专家yj在信服云《云集技术学社》系列直播课上进行了《容器技术和docker介绍》的分享,详细介绍了容器技术的发展、以docker为代表的容器技术生态以及容器技术的应用场景。以下是他分享内容摘要,想要了解更多可以关注“深信服科技”公众号观看直播回放。
容器技术发展是从上世纪70年代开始,在算力飞速发展的背景下,科学家围绕着如何提高资源利用率进行研究,因此产生了最早的资源隔离技术,如chroot。资源隔离技术持续发展到21世纪初期,namespace、cgroup等资源隔离技术加入linux内核,形成了内核标准的lxc容器技术。
2010年前后,云计算逐步发展,共享经济和互联网的趋势越来越明显,要求企业对客户的需求能够精准把控和快速满足,因此出现了敏捷迭代。在敏捷迭代的场景下,如果每次都需要工程师重复地去规划底层资源的隔离,配额,环境配置等,整体流程就无法实现敏捷。
基于这些背景,一个叫做solomon hykes的工程师提出了现代化容器的亚博电竞网的解决方案,他把这些技术整合到一个开箱即用的软件中,并且加入了诸多如用户友好的管理界面、规模化管理、存储格式等功能,这些能力如今都成为了容器的标准能力。
2014到2017年,google等头部厂商先后开源围绕容器生态的亚博电竞网的解决方案,并试图掌握技术主导权,由此分化出cncf和oci等不同的技术组织和标准。
2018年后,cncf主导的容器生态获得巨大成功,驱动了容器技术为基础的新一代paas的发展,孵化出了如应用开发运维能力(devops),应用架构(微服务),无服务器架构等领域的新方案。
以上就是容器技术大概的发展历史。提起容器技术大家会联想到docker,其实容器技术并不特指docker,但docker在整个容器技术领域有着非常重要的作用,主要表现在三个方面:
一是docker是容器技术的开创者,docker在lxc的基础上降低了容器技术使用的复杂度,提出了大规模使用的管理运维方案。开创性提出了镜像文件实现了应用和运行环境的“一次封装到处运行”,进而又推动技术的普及度。
二是docker是容器技术的推广者,dockerhub镜像仓库构建了基于镜像的开发者社区和生态,让全球开发者都参与到生态建设和分享中来,为容器技术的普及做出了极大贡献,docker也凭此获得高速发展和领导者地位。
三是docker是标准的推动者,docker贡献和领导了容器镜像和运行时的oci标准制定,加速了容器技术的发展。同时还贡献了containerd,参与了cri标准制定,推动了容器生态和组织的发展,最终达到工业级应用。
尽管近些年docker在容器技术主导权的地位争夺中发展不太乐观,但docker经过十年经营,在市场认知度、学习资源的完善度、客户应用的成熟度等方面仍具有巨大优势,是了解容器发展历史和技术的首推学习对象。
当谈论docker的时候,并不是谈论单独的产品,而是docker公司针对容器技术、管理和生态的一整套亚博电竞网的解决方案。
docker由runc、containerd、docker engine、docker compose、docker swarm等部分组成:
runc(low-level)是一个轻量级的工具,用来运行容器,也是标准化的产物,是在围绕容器格式和对运行时制定的一个开放的工业化标准。
containerd(high-level)是容器虚拟化技术,从docker中剥离出来,形成开放容器接口(oci)标准的一部分,起到承上启下的作用,对上接受命令参数的内容,对下调用runc实际的操作容器服务。
docker engine是执行docker标准的后台应用程序(dockerd),用来构建镜像,运行容器,管理网络和存储等。它的api不遵循cri标准。任何第三方平台与其集成必须开发对接其接口(docker-shim)。
docker compose是基于yaml规范使用脚本来定义和简化多容器部署的工具。docker swarm是docker集群管理平台。
docker的核心概念是镜像,镜像含有启动docker容器所需的文件系统结构及内容。可以说,镜像是docker设计精巧的、引爆容器技术的核弹。
镜像有五个特性:一是封装,docker镜像将应用及其类库,配置、环境等依赖全部打包紧耦合到一个文件实现应用迁移,让应用到任意环境都可开箱并立即正常运行。
二是分层,docker镜像由基础层(base image)和应用层构成,而应用层可以根据对底层的依赖程度,抽象出不同的基础层。
三是共享,基于分层文件系统,不同的层可以被共享和依赖,使得镜像通过标准api操作进行复制时,只需要获取数据不同的层即可,不需要所有依赖都被复制(底层依赖已经存在情况下,会通过层的uuid进行校验)。
四是轻量,多个容器通过同一个镜像创建时,不需要对镜像进行复制(对比虚拟机),只需要将镜像层挂载为只读,然后再加上一个可读写层即可。
五是写时复制,只有在可读写层的数据变化且需要保存写入新的层的时候,docker镜像才会生成新的镜像层。写时复制与分层机制可以大大减少磁盘空间的占用和容器启动时间。
docker基于镜像去创建容器的具体步骤是:首先将baseimage内容作为容器的rootfs以只读方式挂载。然后docker daemon继续解析镜像的其它层,如add,env等信息,对容器的运行时环境进行初始化。初始化后docker daemon继续解析镜像文件,执行cmd信息中的命令并执行,使得容器进入运行态。
docker在计算时会用到namespace和cgroup技术,docker会基于namespace技术进行包括网络、文件系统和环境等在内的资源隔离。linux cgroup就是linux内核中用来为进程设置资源限制的一个重要功能,全称是linux control group,主要作用是限制一个进程能够使用的资源上限,包括cpu、内存、磁盘、网络带宽等等。
镜像仓库是用来存储和分发容器镜像的应用。企业和个人对产出的镜像文件可以集中管理,便于进行权限控制、安全控制、能力共享、生态建设等。镜像仓库可以对基于容器镜像的应用进行统一的版本,分发管理等。镜像仓库可以简化和优化企业基于容器的开发测试管理和集成,运维流程等(如cicd)。
除了容器技术生态外,容器还有着其他的重要概念。docker和虚拟机都是资源隔离的方案。docker是基于os的资源隔离技术,docker engine占用资源很少,物理机资源基本上被容器应用和物理机操作系统使用。虚拟机多了一层guest os(虚拟机操作系统),若一台物理机上跑10台虚拟机,则有10个guest os的资源损耗,hypervisor层虚拟化,降低了虚拟机性能。
容器安全也是现在一个比较重要的领域,目前容器安全主要注重四个方面,一是镜像安全,如果使用了不安全的外部镜像依赖,镜像中有系统漏洞、缺陷,或者被恶意植入病毒和后门等,都会对容器造成较大威胁。二是容器逃逸,由于容器是基于os共享的架构,如果攻击者利用容器漏洞,获取os root权限,文件系统权限等,都会对整个系统造成极大危害。三是配置安全,即对容器引擎,镜像仓库,kubernetes等没有进行正确的权限配置等造成的入侵。四是漏洞管理,针对镜像中的类库文件漏洞,如apache log4j2漏洞,需要对镜像文件进行及时识别和更新。
容器技术在深入到企业级应用时,还要有巨大的知识需要掌握,比如管理调度、大规模网络的网络性能、容器日志运行监控等,这些都需要对相应的亚博电竞网的解决方案进行深入学习。另外,由于容器技术的特性和生态发展,云服务厂商也在普遍使用容器技术构建企业级paas平台。
容器的应用场景主要有六个:一是快速开发,由于公有镜像仓库有着庞大的开源社区和开放的镜像资源,可以让开发者实现开箱即用。二是多云应用,因为容器与iaas解耦以及容器本身轻量的特性让容器更便于去做多云的迁移。三是应用隔离,在同一个服务器里需要运行多个应用时,可以使用容器去做运行环境和依赖的隔离。四是微服务架构,容器与微服务架构轻量、敏捷弹性的特性适配。五是能力沉淀,利用容器技术可以将前期架构的运行环境封装起来,方便后来的技术人员开箱即用,这也是对企业能力的沉淀。六是持续集成和部署,容器可以保障开发测试环境的一致性,实现快速迭代和部署。
以上就是本次直播的主要内容。对云计算感兴趣的it朋友可以关注“深信服科技”公众号回顾往期,了解更多云计算知识。
雷峰网(公众号:雷峰网)