docker hub加速器配置 + gcr.io镜像缓存

发表于 更新于 分类于 本文字数： 2.7k 阅读时长 ≈ 10 分钟

Registry mirror原理

Docker Hub的镜像数据分为两部分：index数据和registry数据。前者保存了镜像的一些元数据信息，数据量很小；后者保存了镜像的实际数据，数据量比较大。平时我们使用docker pull命令拉取一个镜像时的过程是：先去index获取镜像的一些元数据，然后再去registry获取镜像数据。

所谓registry mirror就是搭建一个registry，然后将docker hub的registry数据缓存到自己本地的registry。整个过程是：当我们使用docker pull去拉镜像的时候，会先从我们本地的registry mirror去获取镜像数据，如果不存在，registry mirror会先从docker hub的registry拉取数据进行缓存，再传给我们。而且整个过程是流式的，registry mirror并不会等全部缓存完再给我们传，而且边缓存边给客户端传。

对于缓存，我们都知道一致性非常重要。registry mirror与docker官方保持一致的方法是：registry mirror只是缓存了docker hub的registry数据，并不缓存index数据。所以我们pull镜像的时候会先连docker hub的index获取镜像的元数据，如果我们registry mirror里面有该镜像的缓存，且数据与从index处获取到的元数据一致，则从registry mirror拉取；如果我们的registry mirror有该镜像的缓存，但数据与index处获取的元数据不一致，或者根本就没有该镜像的缓存，则先从docker hub的registry缓存或者更新数据。

registry mirror部署

  1. 从官方拉取registry的镜像， dockerhub官网
  2. 获取registry的默认配置：官方配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
docker run -it --rm --entrypoint cat registry:2.7.1  /etc/docker/registry/config.yml > config.yml

# 文件的内容大概是下面这样：
version: 0.1
log:
  fields:
    service: registry
storage:
  cache:
    blobdescriptor: inmemory
  filesystem:
    rootdirectory: /var/lib/registry
http:
  addr: :5000
  headers:
    X-Content-Type-Options: [nosniff]
health:
  storagedriver:
    enabled: true
    interval: 10s
    threshold: 3

# 我们在最后面加上如下配置：
proxy:
  remoteurl: https://registry-1.docker.io
  username: [username]
  password: [password]

# username和password是可选的，如果配置了的话，那registry mirror除了可以缓存所有的公共镜像外，也可以访问这个用户所有的私有镜像。
  1. 启动registry容器：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
docker run  --restart=always -p 5000:5000 --name v2-mirror -v /data:/var/lib/registry -v  $PWD/config.yml:/etc/registry/config.yml registry:2.5.0 /etc/registry/config.yml

# 当我们看到如下日志输出的时候就说明已经启动成功了：
time="2016-12-19T14:22:35Z" level=warning msg="No HTTP secret provided - generated random secret. This may cause problems with uploads if multiple registries are behind a load-balancer. To provide a shared secret, fill in http.secret in the configuration file or set the REGISTRY_HTTP_SECRET environment variable." go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="redis not configured" go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="Starting upload purge in 39m0s" go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="using inmemory blob descriptor cache" go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="Starting cached object TTL expiration scheduler..." go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="Registry configured as a proxy cache to https://registry-1.docker.io" go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0
time="2016-12-19T14:22:35Z" level=info msg="listening on [::]:5000" go.version=go1.6.3 instance.id=da5468c4-1ee1-4df2-95cf-1336127c87bb version=v2.5.0

# 至此，registrymirror就算部署完了。我们也可以用curl验证一下服务是否启动OK：
curl -I http://registrycache.example.com:5000/v2/
HTTP/1.1 200 OK
Content-Length: 2
Content-Type: application/json; charset=utf-8
Docker-Distribution-Api-Version: registry/2.0
Date: Thu, 17 Sep 2015 21:42:02 GMT

registry mirror使用

要使用registry mirror，我们需要配置一下自己的docker daemon。

  1. 对于Mac：在docker的客户端的Preferences——>Advanced——>Registry mirrors里面添加你的地址，然后重启。
  2. 对于Ubuntu 14.04：在/etc/default/docker文件中添加DOCKER_OPTS=”$DOCKER_OPTS –registry-mirror=http://registrycache.example.com:5000”，然后重启docker（services docker restart）。
  3. 对于Centos7：/etc/docker/daemon.json 中的registry-mirrors
1
2
3
4
5
6
7
8
9
10
{
  "registry-mirrors": [
    "http://mirror.kce.sdns.ksyun.com"
  ],
  "disable-legacy-registry": false,
  "graph": "/home/docker",
  "insecure-registries": [
    "mirror.kce.sdns.ksyun.com"
  ]
}

然后我们pull一个本地不存在的镜像，这时去查看registry mirror服务器的data目录下面已经有了数据。执行如下命令也可以看到效果：

1
curl https://mycache.example.com:5000/v2/library/busybox/tags/list

需要说明的是缓存的镜像的有效期默认是一周（168hour），而且如果registry被配置成mirror模式，这个时间是不能通过maintenance部分来改变的：

1
2
3
4
5
6
7
8
maintenance:
  uploadpurging:
    enabled: true
    age: 168h
    interval: 24h
    dryrun: false
  readonly:
    enabled: false

我研究了好久发现怎么改都不能生效，最后发现mirror模式下这个时间竟然在registry的代码里面写死了：

1
2
// todo(richardscothern): from cache control header or config
const repositoryTTL = time.Duration(24 * 7 * time.Hour)

当然如果你想你的registry mirror是https的话，在config.yml的http部分增加tls配置即可：

1
2
3
4
5
6
7
http:
   addr: :5000
   headers:
     X-Content-Type-Options: [nosniff]
   tls:
     certificate: /etc/registry/domain.crt
     key: /etc/registry/domain.key

gcr.io镜像缓存

dockerd 开启远程连接功能

远程连接docker daemon，Docker Remote API

  • docker 版本： Docker version 18.09.5, build e8ff056
  • 操作系统： centos7.5
1
2
3
4
5
6
7
8
# 编辑启动文件
vim /usr/lib/systemd/system/docker.service

#加入 -H tcp://0.0.0.0:2376 
ExecStart=/usr/bin/dockerd -H fd:// -H tcp://0.0.0.0:2376 --containerd=/run/containerd/containerd.sock

systemctl  daemon-reload 
systemctl start  docker.service

注：同样这里也是不安全的。

线上环境，安全环境

这里介绍，通过自签名证书安全认证构建HTTPS encypted socket。docker推荐2376作为安全端口。当然我们可以随意设置端口，哈哈。

证书的生成： 详细信息，移步官网：Protect the Docker daemon socket。其原理是通过指定tlsverify标志并将Docker的tlscacert标志指向受信任的CA证书来启用TLS。在守护进程模式下，它只允许来自由该CA签名的证书认证的客户端的连接。 在客户端模式下，它将只连接到具有由该CA签名的证书的服务器。

首先，生成CA公钥和私钥：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
$ openssl genrsa -aes256 -out ca-key.pem 4096       # 生成CA私钥
Generating RSA private key, 4096 bit long modulus
............................................................................................................................................................................................++
........++
e is 65537 (0x10001)
Enter pass phrase for ca-key.pem:
Verifying - Enter pass phrase for ca-key.pem:

$ openssl req -new -x509 -days 365 -key ca-key.pem -sha256 -out ca.pem     #生成CA公钥，也就是证书
Enter pass phrase for ca-key.pem:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:Queensland
Locality Name (eg, city) []:Brisbane
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Docker Inc
Organizational Unit Name (eg, section) []:Sales
Common Name (e.g. server FQDN or YOUR name) []:$HOST
Email Address []:Sven@home.org.au

现在我们有了CA，就可以创建服务器私钥和证书请求文件了，请确保Common Name (i.e., server FQDN or YOUR name)匹配你将要连接的docker主机。

注意，使用你docker宿主机的DNS name替换下面的$HOST

1
2
3
4
5
6
7
$ openssl genrsa -out server-key.pem 4096       # 生成服务器私钥
Generating RSA private key, 4096 bit long modulus
.....................................................................++
.................................................................................................++
e is 65537 (0x10001)
$ openssl req -subj "/CN=$HOST" -sha256 -new -key server-key.pem -out server.csr  # 用私钥生成证书请求文件

现在，我们可以用CA来签署证书了。这里我们可以填写IP地址或则DNS name，如，我们需要允许10.10.10.20和127.0.0.1连接：

1
2
3
4
5
6
7
8
9
10
11
12
$ echo subjectAltName = IP:10.10.10.20,IP:127.0.0.1 > extfile.cnf

# 将Docker守护程序密钥的扩展使用属性设置为仅用于服务器身份验证：
$ echo extendedKeyUsage = serverAuth >> extfile.cnf


$ openssl x509 -req -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem \
  -CAcreateserial -out server-cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=your.host.com
Getting CA Private Key
Enter pass phrase for ca-key.pem:

客户端证书：

1
2
3
4
5
6
$ openssl genrsa -out key.pem 4096      # 客户端私钥
Generating RSA private key, 4096 bit long modulus
.........................................................++
................++
e is 65537 (0x10001)
$ openssl req -subj '/CN=client' -new -key key.pem -out client.csr      # 客户端证书请求文件

用CA为客户端签署证书文件：

1
2
3
4
5
6
7
8
9
# 要使密钥适配客户端身份验证，请创建扩展配置文件：
$ echo extendedKeyUsage = clientAuth >> extfile.cnf

$ openssl x509 -req -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem \
  -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:

删除证书请求文件：

1
rm -v client.csr server.csr

默认的私钥权限太开放了，为了更加的安全，我们需要更改证书的权限，删除写入权限，限制阅读权限（只有你能查看）：

1
chmod -v 0400 ca-key.pem key.pem server-key.pem

证书文件删除其写入权限：

1
chmod -v 0444 ca.pem server-cert.pem cert.pem

证书的部署：

1
2
3
4
5
6
7
8
9
10
11
12
13
# daemon.json
$ sudo vi /etc/docker/daemon.json
{
    "tlsverify": true,
    "tlscert": "/etc/docker/server-cert.pem",
    "tlskey": "/etc/docker/server-key.pem",
    "tlscacert": "/etc/docker/ca.pem",
    "registry-mirrors": [
        ],
    "insecure-registries": [
        ]
}

警告：这些证书的保存非常重要，关系着你的服务器的安全，请妥善保管。

客户端连接

普通连接：

1
2
3
$ docker -H tcp://127.0.0.1:2375 ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                      NAMES
3ed7b8f338ad        mongo:3.2           "/entrypoint.sh mo..."   11 days ago         Up 3 hours          0.0.0.0:27017->27017/tcp   eidb

TLS连接：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

$ docker --tlsverify --tlscacert=~/docker/ca.pem \
  --tlscert=~/docker/cert.pem \
  --tlskey=~/docker/key.pem \
  -H=192.168.99.100:2376 version
  
Client:
 Version:      1.13.0-rc1
 API version:  1.25
 Go version:   go1.7.3
 Git commit:   75fd88b
 Built:        Fri Nov 11 22:32:34 2016
 OS/Arch:      darwin/amd64

Server:
 Version:             1.13.0-rc1
 API version:         1.25
 Minimum API version: 1.12
 Go version:          go1.7.3
 Git commit:          75fd88b
 Built:               Fri Nov 11 22:32:34 2016
 OS/Arch:             linux/amd64
 Experimental:        false

 # curl 连接测试
$ curl https://192.168.99.100:2376/images/json \
  --cert ~/.docker/cert.pem \
  --key ~/.docker/key.pem \
  --cacert ~/.docker/ca.pem

为了不每次都指定证书，我们可以指定默认连接：

1
2
3
4
5
6
7
$ mkdir -pv ~/.docker
$ cp -v ~/{ca,cert,key}.pem ~/.docker
$ export DOCKER_HOST=tcp://192.168.99.100:2376 DOCKER_TLS_VERIFY=1     # 这里只是临时指定，永久请写入*profile里面

$ docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                      NAMES
3ed7b8f338ad        mongo:3.2           "/entrypoint.sh mo..."   11 days ago         Up 3 hours          0.0.0.0:27017->27017/tcp   eidb

当然也可以指定证书文件路径：

1
export DOCKER_CERT_PATH="/etc/docker"

gcrsync 项目架构介绍

gcrsync

gcrsync 使用方法

1
docker run --rm -d  --name google-containers -v $PWD/etc/:/usr/local/etc/ -v /etc/docker/:/etc/docker/ flftuu/gcrsync:v0.0.1 monitor --sync --namespace google-containers

参数注解

  • -v $PWD/etc/:/usr/local/etc/ 挂载当前目录etc目录

    • etc 目录下必须包括:
    • docker.json 文件 存储gcr镜像的hub服务 可支持（docker hub， vmware， registerv2)
    • gcr.json gcr.io 仓库配置信息 可以设置本地代理proxy
    • git.json git 项目配置信息

  • -v /etc/docker/:/etc/docker/ 挂载docker client 配置目录

    • docker 目录必须包括：
    • ca.pem ，cert.pem， key.pem 文件

  • monitor 开启监控功能

  • –sync 开启同步功能

  • –namespace 指定gcr中的要同步的namespace 默认为google-containers

配置文件模板

docker.json

1
2
3
4
5
6
7
8
9
10
11
12
13
{
  "docker_api_version": "1.39",
  "docker_host": "tcp://10.0.0.14:2376",
  "docker_tls_verify": "true",
  "docker_cert_path": "/etc/docker",
  "backend": {
    "type": "vmware",
    "addr": "https://gcr.flftuu.com",
    "user": "用户名",
    "password": "密码",
    "insecure": true
  }
}

git.json

1
2
3
4
5
6
7
8
{
  "github_token": "zwei:pass",
  "github_repo": "zwei/gcrsync-change-log.git",
  "git_email": "zwei@flftuu.com",
  "git_user": "zwei",
  "git_addr": "http://gitlab.com/",
  "commit_msg": "GcrSync Auto Synchronized."
}

gcr.json

1
2
3
4
{
    "proxy": "", //开启本地代理 http://127.0.0.1:1080
    "http_timeout": 30
}

ca.pem ，cert.pem， key.pem 文件

根据dockerd 服务开启远程功能时候使用的证书而定