IP-Masquerade-Agent in Cloud Composer-Umgebungen aktivieren

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird beschrieben, wie Sie den IP-Masquerade-Agent für Ihre Umgebung aktivieren.

IP-Masquerade-Agent in Cloud Composer

Cloud Composer unterstützt den IP Masquerade-Agent für Ihre Umgebungen.

Die IP-Maskierung ist eine Form von Network Address Translation (NAT), die verwendet wird, um n:1-IP-Adressübersetzungen durchzuführen. So können mehrere Clients über eine einzige IP-Adresse auf ein Ziel zugreifen.

Cloud Composer führt Ihre Arbeitslasten in GKE aus. Für eine korrekte Funktion sind IP-Bereiche für Knoten (VMs) sowie GKE-Pods und -Dienste erforderlich. Wenn Airflow-DAGs und -Aufgaben mit anderen Diensten kommunizieren, verwenden sie Pod-IP-Adressen und diese Pod-IP-Bereiche müssen an und von allen Zielen weitergeleitet werden können, mit denen die Aufgaben interagieren.

Mit dem IP-Masquerade-Agent können Sie Pod-IP-Adressen in Knoten-IP-Adressen übersetzen, sodass Ziele und Dienste, die von Airflow-DAGs und Aufgaben als Ziel dienen, nur Pakete von Knoten-IP-Adressen anstelle von Pod-IP-Adressen empfangen. Das ist in Umgebungen nützlich, in denen nur Pakete von Knoten-IP-Adressen empfangen werden sollen oder in denen Pod-IP-Bereiche außerhalb des Clusters nicht routingfähig sind.

Darüber hinaus können Sie den IP-Masquerade-Agent verwenden, um Netzwerkbereiche in Ihrer Netzwerkkonfiguration zu speichern. Sie können beispielsweise einen separaten Netzwerkbereich für Pods im Cluster Ihrer Umgebung verwenden und diesen Traffic als aus dem Knoten-IP-Adressbereich stammenden Traffic maskieren. Auf diese Weise speichern Sie den IP-Adressbereich in einem Bereich, indem Sie IP-Adressen aus einem anderen Bereich für Pods im Cluster Ihrer Umgebung verwenden.

Beispiel:

  1. Sie verwenden den 10.0.0.0/8-Bereich für VMs. Nur dieser Bereich ist durch Ihre Firewallregeln zulässig.

  2. Zum Speichern von Netzwerkbereichen verwenden Sie einen anderen Bereich (z. B. 192.168.0.0/16) für Pods im Cluster Ihrer Umgebung.

  3. Zur Verbindung mit einem beliebigen Dienst von einem Pod (Airflow-Worker) ist eine IP-Maskierung erforderlich. Andernfalls empfängt der Dienst Traffic von 192.168.0.0/16 und löscht ihn aufgrund einer Firewallregel. Wenn der IP-Masquerade-Agent aktiviert und konfiguriert ist, erhält der Dienst Anfragen von 10.0.0.0/8, die akzeptiert werden.

Hinweise

  • Der IP-Masquerade-Agent kann nicht in der Google Cloud Console aktiviert werden.

IP-Masquerade-Agent für eine vorhandene Umgebung aktivieren

Der IP-Masquerade-Agent kann nicht für eine vorhandene Umgebung aktiviert werden.

IP-Masquerade-Agent beim Erstellen einer Umgebung aktivieren

Sie können den IP-Masquerade-Agent beim Erstellen einer Umgebung aktivieren.

Weitere Informationen zum Erstellen von Cloud Composer-Umgebungen finden Sie unter Umgebung erstellen.

Console

Der IP-Masquerade-Agent kann nicht in der Google Cloud Console aktiviert werden.

gcloud

Wenn Sie eine Umgebung erstellen, aktiviert das Argument --enable-ip-masq-agent den IP-Masquerade-Agent. Sie müssen den IP-Alias auch mit dem Argument --enable-ip-alias aktivieren. 

gcloud composer environments create ENVIRONMENT_NAME \     --location LOCATION \     --image-version composer-1.20.12-airflow-1.10.15 \     --enable-ip-alias \     --enable-ip-masq-agent

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments create example-environment \     --location us-central1 \     --image-version composer-1.20.12-airflow-1.10.15 \     --enable-ip-alias \     --enable-ip-masq-agent

API

Erstellen Sie eine API-Anfrage environments.create. Geben Sie die Konfiguration in der Ressource Environment an.

{   "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",   "config": {     "softwareConfig": {       "imageVersion": "composer-1.20.12-airflow-1.10.15"     },     "nodeConfig": {       "ipAllocationPolicy": {         "useIpAliases": true,       },       "enableIpMasqAgent": true     }   } }

Ersetzen Sie:

  • PROJECT_ID durch die Projekt-ID.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • ENVIRONMENT_NAME durch den Namen der Umgebung.

Beispiel:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments    {     "name": "projects/example-project/locations/us-central1/environments/example-environment",     "config": {       "softwareConfig": {         "imageVersion": "composer-1.20.12-airflow-1.10.15"       },       "nodeConfig": {         "ipAllocationPolicy": {           "useIpAliases": true,         },         "enableIpMasqAgent": true       }     }   }

Terraform

Wenn Sie eine Umgebung erstellen, aktiviert das Feld enable_ip_masq_agent im Block node_config den IP-Masquerade-Agent. Sie müssen auch den IP-Alias mit dem Feld use_ip_aliases im Block ip_allocation_policy aktivieren. 

resource "google_composer_environment" "example_environment" {   provider = google-beta   name = "ENVIRONMENT_NAME"   region = "LOCATION"    config {     software_config {       image_version = "composer-1.20.12-airflow-1.10.15"     }     node_config {       ip_allocation_policy = [{         use_ip_aliases = true         // Other networking configuration       }]       enable_ip_masq_agent = true     }   }

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

resource "google_composer_environment" "example_environment" {   provider = google-beta   name = "example-environment"   region = "us-central1"    config {     software_config {       image_version = "composer-1.20.12-airflow-1.10.15"     }     node_config {       ip_allocation_policy = [{         use_ip_aliases = true         // Other networking configuration       }]       enable_ip_masq_agent = true     }   } }

IP-Masquerade-Agent konfigurieren

Weitere Informationen zum Verwenden und Konfigurieren des IP-Masquerade-Agents in Cloud Composer 1 finden Sie unter IP-Masquerade-Agent in Standardclustern konfigurieren.

Nächste Schritte