Merge pull request #6 from hivetown/fix/subnets

Fix/subnets

Author: RomuloNogueira02

.gitignore

@@ -0,0 +1 @@
+*.env

README.md

@@ -1,13 +1,19 @@
 # Infrastructure
 
 ## Networking
-Foi criada uma rede nova na GCP, a `hivetown`.
 
-Nessa, foram depois criadas as **sub-redes** de cada tipo de componentes: `loadbalancers-eu-west4` (10.0.0.0/22), `servicediscovery-eu-west4` (10.0.4.0/22), `database-backups-us-east1` (10.0.112.0/20), `database-eu-west4` (10.0.128.0/18), e `webservers-eu-west4` (10.0.192.0/18).
+### Rede
+Foram criadas novas redes VPC na GCP, a `hivetown` e a `hivetown-external`.
 
-Desta forma, para usos futuros, permanece disponível a gama de ips 10.0.8.0/22 até 10.0.108/22.
+#### `hivetown`
+Esta VPC foi então repartida em sub-redes, para ajudar na organização e reserva de endereços para cada tipo de componente:
+- `loadbalancers-eu-west4` (10.0.0.0/22)
+- `servicediscovery-eu-west4` (10.0.4.0/22)
+- `database-backups-us-east1` (10.0.112.0/20)
+- `database-eu-west4` (10.0.128.0/18)
+- `webservers-eu-west4` (10.0.192.0/18)
 
-Como os nomes indicam, estão localizadas em `eu-west4` (Países Baixos) com a excepção da `databases-backups-us-east1`, em `us-east1` (Carolina do Sul)
+Como os nomes indicam, estão localizadas em `eu-west4` (Países Baixos) com a excepção da `database-backup-us-east1`, em `us-east1` (Carolina do Sul)
 
 <details>
 <summary>Linhas de comandos equivalente:</summary>
@@ -23,11 +29,41 @@ gcloud compute networks subnets create database-backups-us-east1 --project=hivet
 
 gcloud compute networks subnets create database-eu-west4 --project=hivetown --description=Databases\ Network --range=10.0.128.0/18 --stack-type=IPV4_ONLY --network=hivetown --region=europe-west4 --enable-private-ip-google-access
 
-gcloud compute networks subnets create webservers-eu-west4 --project=hivetown --description=Web\ Servers\ Netowork --range=10.0.192.0/18 --stack-type=IPV4_ONLY --network=hivetown --region=europe-west4
+gcloud compute networks subnets create webservers-eu-west4 --project=hivetown --description=Web\ Servers\ Network --range=10.0.192.0/18 --stack-type=IPV4_ONLY --network=hivetown --region=europe-west4
+
+```
+</details>
+
+#### `hivetown-external`
+Nesta foi criada uma sub-rede a `loadbalancer-eu-west4` (10.255.0.0/22).
+
+<details>
+<summary>Linha de comandos equivalente</summary>
+
+```bash
+gcloud compute networks create hivetown-external --project=hivetown --description=External\ Interface\ for\ Hivetown --subnet-mode=custom --mtu=1460 --bgp-routing-mode=regional
+
+gcloud compute networks subnets create loadbalancer-eu-west4 --project=hivetown --description=Load\ balancer\ external\ subnet --range=10.255.0.0/22 --stack-type=IPV4_ONLY --network=hivetown-external --region=europe-west4
+```
+</details>
+
+### Firewall
+
+#### HTTP(s)
+Regra aplicada à tag `http-server` da rede `hivetown-external`, que permite à internet de aceder às portas 80 e 433
+
+<details>
+<summary>Linha de comandos equivalente</summary>
+
+```bash
+gcloud compute --project=hivetown firewall-rules create hivetown-external-allow-http --direction=INGRESS --priority=1000 --network=hivetown-external --action=ALLOW --rules=tcp:80,tcp:433 --source-ranges=0.0.0.0/0 --target-tags=http-server
 ```
 </details>
 
-Foi ainda criada uma regra na fiewall, aplicada à tag `ssh`, que permite aos administradores do sistema conectarem-se às máquinas em questão.
+#### SSH
+Regra aplicada à tag `ssh`, que permite aos administradores do sistema conectarem-se às máquinas em questão.
+
+Para isto foi permitido tcp na porta 22 (porta default ssh).
 
 <details>
 <summary>Linha de comandos equivalente:</summary>
@@ -37,6 +73,19 @@ gcloud compute --project=hivetown firewall-rules create hivetown-allow-ssh --des
 ```
 </details>
 
+#### VRRP
+Regra aplicada à tag `vrrp` (origem e destino), que permite troca de mensagens do Keepalived para healthchecks.
+
+Para isto foi permitido o protocolo 112 (código IANA para o VRRP).
+
+<details>
+<summary>Linha de comandos equivalente</summary>
+
+```bash
+gcloud compute --project=hivetown firewall-rules create hivetown-allow-vrrp --description="Allow VRRP" --direction=INGRESS --priority=1000 --network=hivetown --action=ALLOW --rules=112 --source-ranges=10.0.0.0/22,10.0.128.0/18 --source-tags=vrrp --target-tags=vrrp
+```
+</details>
+
 ## Mais info
 Agora, poderá encontrar descrições mais detalhadas de cada componente no seu próprio README.
 

load-balancers/.env.example

@@ -0,0 +1,3 @@
+ZOOKEEPER_HOSTS=10.0.4.2:2181
+HAPROXY_USERNAME=admin
+HAPROXY_PASSWORD=password

load-balancers/Dockerfile

@@ -1,8 +1,11 @@
 # Use the official HAProxy Alpine image
-FROM haproxytech/haproxy-alpine:2.7.6
+FROM haproxytech/haproxy-alpine:2.6.10
+
+COPY ./dataplaneapi /usr/bin/dataplaneapi
+RUN chmod +x /usr/bin/dataplaneapi
 
 # Copy the configuration files
 COPY haproxy.cfg /usr/local/etc/haproxy/haproxy.cfg
 
-# Expose the ports
-EXPOSE 80 443 1936
+# Expose the ports to the host
+EXPOSE 80 443

load-balancers/README.md

@@ -2,52 +2,61 @@
 
 ## Criação VMs na GCP
 
-### Master
+### Master (ativo)
 
-Criada a máquina `loadbalancer-master`, em `europe-west4-a` (Países Baixos).
+Criada a máquina `loadbalancer-1`, em `europe-west4-a` (Países Baixos).
 
-É uma máquina `e2-small`, que executa `Ubuntu 22.04 LTS`.
+É uma máquina `e2-small`, que executa `Ubuntu 22.04 LTS` (alterado em **Disco de inicialização**).
 
-Foi permitido tráfego *HTTP* e *HTTPS*.
+Foi necessário definir os escopos de acesso:
+- Compute Engine: Leitura e gravação
 
-Foi eliminada a interface de rede *default* e foi adicionada uma nova interface:
-> **Rede**: `hivetown`
-> 
-> **Sub-rede**: `loadbalancers-eu-west4` (10.0.0.0/22)
-> 
-> **Zona**: `europe-west4-a`
-> 
-> **IP principal interno**: Temporário (personalizado): `10.0.0.2`
-> 
-> **Endereço IPv4 externo**: Nenhum
+#### Rede
+Foram adicionadas as tags de rede `ssh`, `vrrp`, e `http-server`
+
+Foi eliminada a interface de rede *default* e foram adicionadas as seguintes interfaces:
+1. loadbalancer-eu-west4
+    > **Rede**: `hivetown-external`
+
+    > **Sub-rede**: `loadbalancer-eu-west4` (10.255.0.0/20)
+    > 
+    > **IP principal interno**: Temporário (personalizado): `10.255.0.2`
+    > 
+    > **Endereço IPv4 externo**: Nenhum
+2. loadbalancers-eu-west4
+    > **Rede**: `hivetown`
+    > 
+    > **Sub-rede**: `loadbalancers-eu-west4` (10.0.0.0/22)
+    > 
+    > **IP principal interno**: Temporário (automático)
+    > 
+    > **Endereço IPv4 externo**: Nenhum
 
 <details>
 <summary>Linha de comandos equivalente</summary>
 
 ```bash
-gcloud compute instances create loadbalancer-master \
+gcloud compute instances create loadbalancer-1 \
     --project=hivetown \
     --zone=europe-west4-a \
     --machine-type=e2-small \
+    --network-interface=private-network-ip=10.255.0.2,subnet=loadbalancer-eu-west4,no-address \
     --network-interface=private-network-ip=10.0.0.2,subnet=loadbalancers-eu-west4,no-address \
     --maintenance-policy=MIGRATE \
     --provisioning-model=STANDARD \
     --service-account=433774389779-compute@developer.gserviceaccount.com \
-    --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append \
-    --tags=http-server,https-server \
-    --create-disk=auto-delete=yes,boot=yes,device-name=load-balancer-master,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20230302,mode=rw,size=10,type=projects/hivetown/zones/europe-west4-a/diskTypes/pd-balanced \
+    --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/compute,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/trace.append \
+    --tags=ssh,vrrp,http-server \
+    --create-disk=auto-delete=yes,boot=yes,device-name=loadbalancer-1,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20230415,mode=rw,size=10,type=projects/hivetown/zones/europe-west4-a/diskTypes/pd-balanced \
     --no-shielded-secure-boot \
     --shielded-vtpm \
     --shielded-integrity-monitoring \
     --labels=ec-src=vm_add-gcloud \
-    --reservation-affinity=any
+    --reservation-affinity=any \
+    --deletion-protection
 ```
 </details>
 
-**TODO**:
-- SCOPES É PRECISO SER PERMISSÕES FULL PARA A GCP API
-- LIMITAR ERA BEM PENSADO!!!
-- LIMITAR FIREWALL DOS loadbalancers para apenas trafego vrrp naqueles 2 entre 10.0.0.2 e 10.0.0.3
 
 Neste último, no endereço externo, foi propositadamente escolhido "nenhum" pois irá ser criado um **IP Externo** posteriormente.
 
@@ -61,19 +70,33 @@ Para isso, foi criado um **Cloud NAT**, porém este não permite gerar uma linha
 > 
 > **Cloud Router**: (criado um novo router) `hivetown-eu-west4-router`
 
+E o mesmo para a rede `hivetown-external`
+
+Como a interface default é a externa, é necessário adicionar uma rota para que os pacotes direcionados à rede interna (pois apenas são aceites para a subrede dos load balancers) sejam redirecionados para a interface interna:
+```bash
+sudo ip route add 10.0.0.0/8 via 10.0.0.1
+```
+
+Para automatizar, este *script* foi definido como script de inicialização na VM na criação da mesma
 #### Instalação do Docker
 Ver [tutorial da DigitalOcean](https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-20-04#step-1-installing-docker)
 
+Para facilitar, foi criado um [gist](https://gist.github.com/luckspt/844520409d7410d5a7b0e8f153d8e7e0) que inclui um script para instalar o docker (e também um para o keepalived) que automatiza este processo
 #### Instalação do Keepalived
+<details>
+<summary>É possível usar um script referido acima, ou da forma manual:</summary>
 
-Instalar o keepalived
-`sudo apt-get install keepalived`
+```bash
+# Instalar o keepalived
+sudo apt-get install keepalived
 
-Iniciar o keepalived quando a VM inicia
-`sudo systemctl enable keepalived`
+# Iniciar o keepalived quando a VM inicia
+sudo systemctl enable keepalived
 
-Iniciar o keepalived imediatamente
-`sudo systemctl start keepalived`
+# Iniciar o keepalived imediatamente
+sudo systemctl start keepalived
+```
+</details>
 
 Depois, foram copiados os ficheiros de configuração de cada tipo:
 ```bash
@@ -85,32 +108,51 @@ sudo cp -R keepalived/backup/* /etc/keepalived
 ```
 
 Finalmente, reinicia-se o keepalived para que os ficheiros se configuração sejam usados:
-`sudo systemctl restart keepalived`
+```bash
+sudo systemctl restart keepalived
+```
 
-### Backup
-Após a configuração do Master foi possível criar uma máquina semelhante (usando a interface da Console do GCP).
+### Backup (passivo)
+Após a configuração do Master (ativo) foi necessário criar uma máquina com características idênticas, substituíndo o nome (`loadbalancer-2`, os ips internos `10.0.0.3` e `10.255.0.3`), e a região (`europe-west4-b`):
 
-Alterações a notar:
-> **Nome**: `loadbalancer-backup`
-> 
-> **Zona**: `europe-west4-b`
-> 
-> **Endereço principal interno**: Temporário (personalizado): `10.0.0.3`
-> 
-> **Endereço IPv4 externo**: Nenhum
+<details>
+<summary>Linha de comandos equivalente</summary>
+
+```bash
+gcloud compute instances create loadbalancer-2 \
+    --project=hivetown \
+    --zone=europe-west4-b \
+    --machine-type=e2-small \
+    --network-interface=private-network-ip=10.255.0.3,subnet=loadbalancer-eu-west4,no-address \
+    --network-interface=private-network-ip=10.0.0.3,subnet=loadbalancers-eu-west4,no-address \
+    --maintenance-policy=MIGRATE \
+    --provisioning-model=STANDARD \
+    --service-account=433774389779-compute@developer.gserviceaccount.com \
+    --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/compute,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/trace.append \
+    --tags=ssh,vrrp,http-server \
+    --create-disk=auto-delete=yes,boot=yes,device-name=loadbalancer-2,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20230415,mode=rw,size=10,type=projects/hivetown/zones/europe-west4-b/diskTypes/pd-balanced \
+    --metadata=startup-script='sudo ip route add 10.0.0.0/8 via 10.0.0.1'
+    --no-shielded-secure-boot \
+    --shielded-vtpm \
+    --shielded-integrity-monitoring \
+    --labels=ec-src=vm_add-gcloud \
+    --reservation-affinity=any \
+    --deletion-protection
+```
+</details>
 
 Foi novamente necessário instalar o Docker
 
 ## IP Externo (Floating IP)
-Foi reservado um IP externo estático (34.90.28.85) para a região `europe-west4`, associado por defeito ao `loadbalancer-master`
+Foi reservado um IP externo estático (34.90.28.85) para a região `europe-west4`, associado por defeito ao `loadbalancer-1`
 
 <details>
 <summary>Linha de comandos equivalente</summary>
 
 ```bash
 gcloud compute addresses create hivetown-external --project=hivetown --region=europe-west4
 
-gcloud compute instances add-access-config loadbalancer-master --project=hivetown --zone=europe-west4-a --address=34.90.28.85
+gcloud compute instances add-access-config loadbalancer-1 --project=hivetown --zone=europe-west4-a --address=34.90.28.85
 ```
 </details>
 

load-balancers/dataplaneapi

@@ -0,0 +1,28 @@
+version: '3.9'
+
+services:
+  load-balancer:
+    build: .
+    restart: always
+    ports:
+      - '80:80'
+      - '443:443'
+      - '4444:4444'
+    networks:
+      - load-balancer
+  service-discovery:
+    build: ./service-discovery/
+    restart: always
+    networks:
+      - load-balancer
+    environment:
+      - HAPROXY_ADDRESS=http://load-balancer:4444
+    env_file:
+      - .env
+    depends_on:
+      - load-balancer
+
+networks:
+  load-balancer:
+    name: load-balancer
+    driver: bridge

load-balancers/docker-compose.yml

@@ -3,8 +3,10 @@ global
     log 127.0.0.1 local1 debug
     maxconn 45000
     daemon
+    stats socket /var/run/haproxy.sock mode 600 level admin
+    stats timeout 2m
 
-defaults hvt-defaults-frontend
+defaults hvt-defaults
     log global
     mode http
     retries 3
@@ -13,30 +15,35 @@ defaults hvt-defaults-frontend
     timeout client 30s
     timeout check 5s
 
-defaults hvt-defaults-backend from hvt-defaults-frontend
-    default-server check
-    balance roundrobin
-    option httpchk GET /
-
-frontend hvt-frontend from hvt-defaults-frontend
+frontend hvt-frontend from hvt-defaults
     bind *:80
 
     stats enable
     stats uri /haproxy
     stats realm Haproxy\ Statistics
-    stats auth admin:">E{&tK7%?phvTx("
+    stats auth admin:password
 
     acl is_api url_beg /api
     use_backend hvt-api if is_api
 
     default_backend hvt-web
 
-backend hvt-web from hvt-defaults-backend
-    server hvt-web-1 10.0.192.2:8081
-    server hvt-web-2 10.0.192.3:8081
-    server hvt-web-3 10.0.192.4:8081
+backend hvt-web from hvt-defaults
+    default-server check
+    balance roundrobin
+    option httpchk GET /
+
+backend hvt-api from hvt-defaults
+    default-server check
+    balance roundrobin
+    option httpchk GET /
+
+    # Rewrite the path to remove the /api prefix with replace-path
+    http-request replace-path /api(/)?(.*) /\2
+
+userlist dataplane_users
+  user admin insecure-password password
 
-backend hvt-api from hvt-defaults-backend
-    server hvt-api-1 10.0.192.2:8080
-    server hvt-api-2 10.0.192.3:8080
-    server hvt-api-3 10.0.192.4:8080
+program api
+  command /usr/bin/dataplaneapi --scheme http --host 0.0.0.0 --port 4444 --haproxy-bin /usr/local/sbin/haproxy --config-file /usr/local/etc/haproxy/haproxy.cfg --reload-cmd "kill -SIGUSR2 1" --reload-delay 5 --restart-cmd "kill -SIGUSR2 1" --userlist dataplane_users --write-timeout=120s --log-to=stdout --log-level=trace
+  no option start-on-reload

load-balancers/haproxy.cfg

@@ -1,5 +1,5 @@
 vrrp_instance floating_ip {
-    interface ens4
+    interface ens5
     state BACKUP
     unicast_src_ip 10.0.0.3
     unicast_peer {