데이터 웨어하우스에는 어떤 종류의 데이터가 저장됩니까? (What kind of data gets stored in data warehouses?)


문제 설명

데이터 웨어하우스에는 어떤 종류의 데이터가 저장됩니까? (What kind of data gets stored in data warehouses?)

Looking at services like Amazon Redshift, which is meant for storing petabytes of data. What forms of data are meant to be stored here? Logs, raw data?


참조 솔루션

방법 1:

The question for a data warehouse is not what kind of information you store in it but rather how you store it and what you inted to use it for. Any data an organisation needs to analyze and compare may be put into the data warehouse.

To define a data warehouse is very difficult and you'll probably get as many definitions as people you ask. I've seen lots of different implementations and no one can really say that this is a data warehouse and this is not.  However there are a number of key points that a data warehouse normally should fulfill, namely that it should be time variant (i.e. store datapoints over time) and it should be non‑volatile (i.e. you never update data in a data warehouse, you only insert).

Following these rules allow you to the most common data warehouse analysis, namely analyze data over time, e.g. compare this seasons sales with last season.

I'm not sure what Amazon Redshift actually do, but if it is a data warehouse or not I think is more a question of how you use it.

방법 2:

from what I understand the Amazon Redshift is a Service NOT a TECHNOLOGY. The service is meant to handle ALL of your data warehousing needs towards keeping a minimised Capital expenditure (CAPEX).

Effectively you can use it as the corporate Data Warehousing solution (store ANY DATA you would have paid money to store and analyse: be it Logs, Raw Unstructured Data, Structured Data ‑ literally ANY DATA); this is what Amazon is aiming at. It is intended to save you the costs of infrastructure, software, setup and even people costs, therefore it's nature as a Service. Having worked in the Data industry for 20 years I can see the advantage being offered.

I have also noticed that Amazon is even offering a certification program which should simplify the selection of people who you have to hire to service this solution when you are ready to venture into it.

See this very simple video here ‑ it sounds too good to be true. But I would advice you to get a certified or very experienced with Amazon Cloud Infrastructure deployments, see some partners here, so you get the true ins and outs. I am sure they will offer you free consultation as part of their pre‑sales work.

All the best! Leslie

(by Christian FazziniwhetstoneLAK)

참조 문서

  1. What kind of data gets stored in data warehouses? (CC BY‑SA 3.0/4.0)

#amazon-redshift #amazon-web-services #data-warehouse






관련 질문

AWS Redshift JDBC 삽입 성능 (AWS Redshift JDBC insert performance)

데이터 웨어하우스에는 어떤 종류의 데이터가 저장됩니까? (What kind of data gets stored in data warehouses?)

임시 자격 증명을 사용하여 Redshift COPY 명령을 실행하는 동안 액세스 거부 오류가 발생했습니다. (Access denied error while runnig Redshift COPY command using Temp credential)

Firebase에서 Amazon Redshift로 데이터 로드 (Load data from firebase to amazon redshift)

PL/pgsql DDL을 작성하여 redshift에서 스키마를 생성한 다음 ddls를 반복하여 각 스키마에 테이블을 생성하는 방법은 무엇입니까? (How to write PL/pgsql DDL to create schemas in redshift and then looping the ddls to create tables in the respective schemas?)

redshift에서 데이터 프레임을 저장할 수 없습니다 (Unable to save dataframe in redshift)

Redshift에서 id가 일련의 값보다 작은 행의 쿼리 수 (query count of rows where id is less than a series of values in Redshift)

[Amazon](500310) 잘못된 작업: "$$ 또는 그 근처에서 종료되지 않은 달러 인용 문자열 ([Amazon](500310) Invalid operation: unterminated dollar-quoted string at or near "$$)

Redshift JDBC DatabaseMetaData.getDatabaseMajorVersion()이 최신 값을 반환합니까? (Does the Redshift JDBC DatabaseMetaData.getDatabaseMajorVersion() return an up to date value?)

Where 절을 무시하는 Redshift 교차 조인 (Redshift Cross join ignoring where clause)

AWS Redshift는 RECORD에서 열 이름을 동적으로 선택합니다. (AWS Redshift dynamically select column name from RECORD)

여러 열을 기반으로 중복을 제거하고 하나의 고유한 레코드를 선택하도록 조건을 설정합니다. (Remove duplicates based on multiple columns and set conditions to choose one unique record)







코멘트