WSL2 설치 ⁠wsl.exe --install wsl.exe --update WSL Ubuntu 업데이트 ⁠sudo apt-get update && sudo apt-get upgrade Cuda 설치 sudo apt-key del 7fa2af80 wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda..

CREATE TABLE CREATE TABLE `fact_retention` ( `stats_date` date NOT NULL, `date` date NOT NULL, `period` int NOT NULL, `age` int NOT NULL, `new_users` int DEFAULT NULL, `retained_users` int DEFAULT NULL, `retention` float DEFAULT NULL, PRIMARY KEY (`stats_date`,`date`,`period`,`age`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci 수집 CREATE PROCEDURE `db_canmore_statistics`.`us..

import subprocess def check_celery(): cmd = "/home/ubuntu/airflow/bin/celery --app airflow.executors.celery_executor.app inspect ping" result = subprocess.getoutput(cmd) if 'pong' in result: return 0 else: return result def check_db(): cmd = '/home/ubuntu/airflow/bin/airflow db check' result = subprocess.getoutput(cmd) if 'Connection successful' in result: return 1 else: return result def check_..

sudo mkdir /var/log/hadoop sudo chown hadoop:hadoop /var/log/hadoop vi ./etc/hadoop/hadoop-env.sh export HADOOP_LOG_DIR=/var/log/hadoop

- 기본 1,000MB의 네임노드 메모리는 일반적으로 수백만개의 파일을 다룰 때는 충분하다. - 저장소 백만 블록당 1,000MB정도의 메모리가 필요하다. - 예를 들어 노드당 24TB 디스크로 구성돤 200 노드 클러스터에서 블록 사이즈는 128MB이고, 복제 수준이 3으로 설정되어 있다면 대략 1,250만개의 블록을 수용할 수 있다. (200 X 24,000,000MB / (128MBX3)). - 이 경우 네임노드 메모리의 초기 설정 값으로는 12,000MB가 적절하다. - HADOOP_NAMENODE_OPTS 속성을 이용하면 네임노드의 JVM에 추가적적인 옵션도 전달할 수 있다. - 예를 들어 Sun JVM을 사용하는 경우, -Xmx2000m 옵션을 지정하면 2,000MB의 메모리를 네임노드에 할당..

UBUNTU CLIENT CONFIGURATION (리눅스에서 코딩 및 GCP 컨트롤 진행) #gsutil 설치 gcloud auth activate-service-account --key-file= (권한: dataproc editor, storage object creater) or gcloud init export TEMPLATE_ID= export WORK_CLUSTER_NAME= export REGION= export BUCKET_NAME= export PROJECT_ID= export STEP_ID= export PYTHON_FILE=main.py PYTHON CODE $vi pywork.py import pymysql import sys import pandas as pd from datet..