ブーストツリー モデルで分類を行う

コンソール

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] ページに移動

2. [エクスプローラ] ペインで、プロジェクト名をクリックします。

3. more_vert [アクションを表示] > [データセットを作成] をクリックします。

4. [データセットを作成する] ページで、次の操作を行います。

   • [データセット ID] に「bqml_tutorial」と入力します。

   • [ロケーション タイプ] で [マルチリージョン] を選択してから、[US（米国の複数のリージョン）] を選択します。

   • 残りのデフォルトの設定は変更せず、[データセットを作成] をクリックします。

bq

新しいデータセットを作成するには、--location フラグを指定した bq mk コマンドを使用します。使用可能なパラメータの一覧については、bq mk --dataset コマンドのリファレンスをご覧ください。

1. データの場所が US に設定され、BigQuery ML tutorial dataset という説明の付いた、bqml_tutorial という名前のデータセットを作成します。

   bq --location=US mk -d \  --description "BigQuery ML tutorial dataset." \  bqml_tutorial

   このコマンドでは、--dataset フラグの代わりに -d ショートカットを使用しています。-d と --dataset を省略した場合、このコマンドはデフォルトでデータセットを作成します。

2. データセットが作成されたことを確認します。

   bq ls

API

定義済みのデータセット リソースを使用して datasets.insert メソッドを呼び出します。

{   "datasetReference": {      "datasetId": "bqml_tutorial"   } }

BigQuery DataFrames

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

import google.cloud.bigquery  bqclient = google.cloud.bigquery.Client() bqclient.create_dataset("bqml_tutorial", exists_ok=True)

SQL

サンプルデータを準備するには、トレーニング データを格納するビューを作成します。このビューは、このチュートリアルの後半の CREATE MODEL ステートメントで使用されます。

サンプルデータを準備するクエリを実行します。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. [クエリエディタ] ペインで、次のクエリを実行します。

   CREATE OR REPLACE VIEW   `bqml_tutorial.input_data` AS SELECT   age,   workclass,   marital_status,   education_num,   occupation,   hours_per_week,   income_bracket,   CASE     WHEN MOD(functional_weight, 10) < 8 THEN 'training'     WHEN MOD(functional_weight, 10) = 8 THEN 'evaluation'     WHEN MOD(functional_weight, 10) = 9 THEN 'prediction'   END AS dataframe FROM   `bigquery-public-data.ml_datasets.census_adult_income`;

3. 左側のペインで、explore [エクスプローラ] をクリックします。

   

   左側のペインが表示されていない場合は、last_page 左側のペインを開くをクリックしてペインを開きます。

4. [エクスプローラ] ペインで、bqml_tutorial データセットを検索します。

5. データセットをクリックし、[概要 > テーブル] をクリックします。

6. input_data ビューをクリックして情報ペインを開きます。ビュースキーマが [スキーマ] タブに表示されます。

BigQuery DataFrames

input_data という DataFrame を作成します。このチュートリアルの後半では、input_data を使用して、モデルをトレーニングおよび評価し、予測を行います。

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

import bigframes.pandas as bpd  input_data = bpd.read_gbq(     "bigquery-public-data.ml_datasets.census_adult_income",     columns=(         "age",         "workclass",         "marital_status",         "education_num",         "occupation",         "hours_per_week",         "income_bracket",         "functional_weight",     ), ) input_data["dataframe"] = bpd.Series("training", index=input_data.index,).case_when(     [         (((input_data["functional_weight"] % 10) == 8), "evaluation"),         (((input_data["functional_weight"] % 10) == 9), "prediction"),     ] ) del input_data["functional_weight"]

SQL

次の手順でモデルを作成します。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタに次のクエリを貼り付け、[実行] をクリックします。

   CREATE MODEL `bqml_tutorial.tree_model` OPTIONS(MODEL_TYPE='BOOSTED_TREE_CLASSIFIER',         BOOSTER_TYPE = 'GBTREE',         NUM_PARALLEL_TREE = 1,         MAX_ITERATIONS = 50,         TREE_METHOD = 'HIST',         EARLY_STOP = FALSE,         SUBSAMPLE = 0.85,         INPUT_LABEL_COLS = ['income_bracket']) AS SELECT * EXCEPT(dataframe) FROM `bqml_tutorial.input_data` WHERE dataframe = 'training';

   クエリが完了すると、tree_model モデルに [エクスプローラ] ペインからアクセスできるようになります。クエリは CREATE MODEL ステートメントを使用してモデルを作成するため、クエリの結果は表示されません。

BigQuery DataFrames

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

from bigframes.ml import ensemble  # input_data is defined in an earlier step. training_data = input_data[input_data["dataframe"] == "training"] X = training_data.drop(columns=["income_bracket", "dataframe"]) y = training_data["income_bracket"]  # create and train the model tree_model = ensemble.XGBClassifier(     n_estimators=1,     booster="gbtree",     tree_method="hist",     max_iterations=1,  # For a more accurate model, try 50 iterations.     subsample=0.85, ) tree_model.fit(X, y)  tree_model.to_gbq(     your_model_id,  # For example: "your-project.bqml_tutorial.tree_model"     replace=True, )

SQL

次の手順でモデルを評価します。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタに次のクエリを貼り付け、[実行] をクリックします。

     SELECT     *   FROM     ML.EVALUATE (MODEL `bqml_tutorial.tree_model`,       (       SELECT         *       FROM         `bqml_tutorial.input_data`       WHERE         dataframe = 'evaluation'       )     );

   結果は次のようになります。

    +---------------------+---------------------+---------------------+-------------------+---------------------+---------------------+ | precision           | recall              | accuracy            | f1_score          | log_loss            | roc_auc             | +---------------------+---------------------+---------------------+-------------------+-------------------------------------------+ | 0.67192429022082023 | 0.57880434782608692 | 0.83942963422194672 | 0.621897810218978 | 0.34405456040833338 | 0.88733566433566435 | +---------------------+---------------------+ --------------------+-------------------+---------------------+---------------------+ 

BigQuery DataFrames

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

# Select model you'll use for predictions. `read_gbq_model` loads model # data from BigQuery, but you could also use the `tree_model` object # from the previous step. tree_model = bpd.read_gbq_model(     your_model_id,  # For example: "your-project.bqml_tutorial.tree_model" )  # input_data is defined in an earlier step. evaluation_data = input_data[input_data["dataframe"] == "evaluation"] X = evaluation_data.drop(columns=["income_bracket", "dataframe"]) y = evaluation_data["income_bracket"]  # The score() method evaluates how the model performs compared to the # actual data. Output DataFrame matches that of ML.EVALUATE(). score = tree_model.score(X, y) score.peek() # Output: #    precision    recall  accuracy  f1_score  log_loss   roc_auc # 0   0.671924  0.578804  0.839429  0.621897  0.344054  0.887335

SQL

次の手順でモデルを使用し、データを予測します。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタに次のクエリを貼り付け、[実行] をクリックします。

     SELECT     *   FROM     ML.PREDICT (MODEL `bqml_tutorial.tree_model`,       (       SELECT         *       FROM         `bqml_tutorial.input_data`       WHERE         dataframe = 'prediction'       )     );

結果の最初の数列は次のようになります。

   +---------------------------+--------------------------------------+-------------------------------------+   | predicted_income_bracket  | predicted_income_bracket_probs.label | predicted_income_bracket_probs.prob |   +---------------------------+--------------------------------------+-------------------------------------+   |  <=50K                    |  >50K                                | 0.05183430016040802                 |   +---------------------------+--------------------------------------+-------------------------------------+   |                           |  <50K                                | 0.94816571474075317                 |   +---------------------------+--------------------------------------+-------------------------------------+   |  <=50K                    |  >50K                                | 0.00365859130397439                 |   +---------------------------+--------------------------------------+-------------------------------------+   |                           |  <50K                                | 0.99634140729904175                 |   +---------------------------+--------------------------------------+-------------------------------------+   |  <=50K                    |  >50K                                | 0.037775970995426178                |   +---------------------------+--------------------------------------+-------------------------------------+   |                           |  <50K                                | 0.96222406625747681                 |   +---------------------------+--------------------------------------+-------------------------------------+   

BigQuery DataFrames

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

# Select model you'll use for predictions. `read_gbq_model` loads model # data from BigQuery, but you could also use the `tree_model` object # from previous steps. tree_model = bpd.read_gbq_model(     your_model_id,  # For example: "your-project.bqml_tutorial.tree_model" )  # input_data is defined in an earlier step. prediction_data = input_data[input_data["dataframe"] == "prediction"]  predictions = tree_model.predict(prediction_data) predictions.peek() # Output: # predicted_income_bracket   predicted_income_bracket_probs.label  predicted_income_bracket_probs.prob #                   <=50K                                   >50K                   0.05183430016040802 #                                                           <50K                   0.94816571474075317 #                   <=50K                                   >50K                   0.00365859130397439 #                                                           <50K                   0.99634140729904175 #                   <=50K                                   >50K                   0.037775970995426178 #                                                           <50K                   0.96222406625747681