아쿠의 개발 일지

오늘날의 데이터 중심 시대에서 기업은 데이터를 효과적으로 저장하고 분석하는 것이 성공의 핵심 요소로 자리 잡고 있습니다. 데이터를 저장하고 활용하기 위해 대표적으로 사용되는 두 가지 주요 기술이 바로 데이터 웨어하우스(Data Warehouse)와 데이터 레이크(Data Lake)입니다. 이 글에서는 두 기술의 주요 차이점, 장단점, 그리고 각각의 활용 사례를 살펴보겠습니다. 데이터 웨어하우스란?데이터 웨어하우스는 정형 데이터(Structured Data)를 저장하고 분석하기 위한 중앙 저장소입니다. 이는 주로 관계형 데이터베이스(RDBMS)를 기반으로 하며, 비즈니스 인텔리전스(BI)와 데이터 분석 작업을 최적화하기 위해 설계되었습니다.특징정형 데이터 중심: 표 형식의 데이터로, 스키마(schema)가..

1. 관계형 데이터베이스와 비관계형 데이터베이스의 개념 및 차이 관계형 데이터베이스 (RDBMS)구조: 데이터를 테이블(행과 열)로 구성하며, 각 테이블은 관계를 통해 연결됩니다.언어: SQL(Structured Query Language)을 사용해 데이터를 관리합니다.특징:정형화된 스키마(사전 정의된 데이터 구조)데이터 무결성과 일관성을 유지 (ACID 특성 지원)사용 사례:금융 시스템, ERP, CRM, 트랜잭션이 중요한 시스템비관계형 데이터베이스 (NoSQL)구조: 테이블 대신 다양한 데이터 모델(키-값, 문서, 열, 그래프 등)을 사용합니다.언어: SQL이 아닌 다양한 쿼리 언어 및 API를 사용합니다.특징:스키마가 없거나 유연한 구조대규모 데이터 처리와 빠른 읽기/쓰기 작업에 최적화CAP 이론에..

Apache Spark란 ?Apache Spark는 대규모 데이터를 빠르게 처리하기 위한 분산 컴퓨팅 시스템입니다. Spark는 메모리 내 처리(in-memory processing) 방식으로, 하둡(MapReduce)보다 빠르게 데이터를 처리할 수 있습니다. Spark는 다양한 데이터 소스와 통합이 가능하고, 실시간 처리(Streaming), 기계 학습(MLlib), SQL 쿼리(Spark SQL), 그래프 처리(GraphX) 등 여러 용도로 사용할 수 있습니다. Spark 활용 방법데이터 처리: Spark는 RDD(Resilient Distributed Dataset)를 사용하여 데이터를 분산 처리합니다. 이를 통해 대규모 데이터를 빠르게 처리할 수 있습니다.실시간 데이터 처리: Spark Strea..

더보기Active - Standby는 서버를 이중화 구성 하는 것이다.보통은 master - slave 라는 단어로 많이 사용하기에 나도 hostname을 같게 설정 해 줬다. master - slave를 쉽게 생각 해 보면, master는 장치를 제어하는 장비고, Slave는 장치를 제어 받는 장비인 거다. 근데 여기서,,, !! master로 받아 들이는 file를 slave에 전달이 되도록 설정을 했는데slave도 master와 같도록 서로가 서로에게 전달 받는 것을 설정 하는 방식을 하는 것이다. 서로가 서로에게 master이자, slave가 되면 된다. - master 설정vi /etc/my.cnf.d/mariadb-server.cnf - vi 편집기로 들어가서 추가를 해 준다.이 작업은 서로가..

부하분산은 컴퓨터 네트워크 기술의 일종으로 둘 혹은 셋이상의 중앙처리장치 혹은 저장장치와 같은 컴퓨터 자원들에게 작업을 나누는 것을 의미한다. 오늘의 배운 것?은,,, 가상머신 3대를 연결하고, 그 다음은 5대 이렇게 나아갔다사실 가상머신 연결하는 것은 어제부터 했는데 어 잘 안 됐다.이유도 모르고 잘 안 되길래 방법을 찾다가 내 컴퓨터 IP와 가상머신의 연결조차 제대로 되지 않는 것을 알았다.아무리 머리를 굴려도 모르겠길래,,, SOS를 했다. 알고보니 내가 설정한 IP가 멋?대로 변해 있어서 없는 IP에 죽어라 연결 요청을 하고 있던 것이다.리눅스 환경을 좀 더 편리하게 보기 위해 Putty 프로그램을 깔았는데, 그렇게 안 되던 이 아이도 잘 연결 됐다. 이제 다 준비 됐으니 HAProxy를 실행할 ..