전체 글 156

[빅데이터분석기사] 빅데이터 기술 및 제도, 개인정보, 제도

1. 개인정보보호법 당사자의 동의 없는 개인정보 수집 및 활용하거나 제3자에게 제공하는 것을 금지하는 등 개인정보보호를 강화한 내용을 담아 제정한 법률이다. 상대방의 동의 없이 개인정보를 제3자에게 제공하면 5년 이하의 징역이나 5,000만 원 이하의 벌금에 처할 수 있다. 어떤 정보가 개인정보에 해당하는지는 그 정보가 특정 개인을 알아볼 수 있게 하는 다른 정보와 쉽게 결합할 수 있는가에 따라 결정된다. 법원은 그 정보 자체로는 누구의 정보인지를 알 수 없더라도 다른 정보와 결함 가능성을 비교적 넓게 인정하여 개인정보에 해당한다 판단하고 있다. 일정한 내용을 기재한 문서에 의하여 업무 위탁이 이루어져야 한다(개인정보보호법 제26조 제1항). 위탁하는 업무의 내용과 수탁자를 정보주체에게 알려야 하는바, ..

[빅데이터분석기사] 빅데이터 기술 및 제도, 개인정보 개요

1. 개인정보의 정의와 판단기준 1. 개인정보의 정의 살아 있는 개인에 관한 정보로서 개인을 알아볼 수 있는 정보이다. 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보를 포함한다. 2. 개인정보의 판단기준 '생존하는''개인에 관한'정보여야 한다. '정보'의 내용,형태 등은 제한이 없다. 개인을 '알아볼 수 있는' 정보여야 한다. - 다른 정보와'쉽게 결합하여' 개인을 알아볼 수 있는 정보도 포함한다. 2. 개인정보의 처리와 활용 1. 개인정보의 이전 개인정보가 다른 사람(제3자)에게 이전되거나 공동으로 처리하게 하는 것이다. 2. 개인정보의 처리 위탁 개인정보처리자의 업무를 처리할 목적으로 제3자에게 이전되는 것이다. 3. 개인정보의 제3자 제공 해당 정..

[빅데이터분석기사] 빅데이터 기술 및 제도, 빅데이터와 인공지능

1. 인공지능(AI: Artificial Intelligence) 인공지능은 기계를 지능화하는 노력이며, 지능화란 객체가 환경에서 적절히, 그리고 예지력을 갖고 작동하도록 하는 것이다. 인공지능은 합리적 행동 수행자이며, 어떤 행동이 최적의 결과를 낳을 수 있도록 하는 의사결정 능력을 갖춘 에이전트를 구축하는 것이다. 인공지능은 설정한 목표를 극대화하는 행동을 제시하는 의사결정 로직이다. 인공지능을 논할 때 기계학습과 딥러닝을 혼재하여 사용한다. 인공지능은 사람이 생각하고 판단하는 사고 구조를 구축하려는 전반적인 노력이다. 기계학습은 인공지능의 연구 분야 중 하나로 인간의 학습 능력과 같은 기능을 축적된 데이터를 활용하여 실현하고자 하는 기술 및 방법이다. 딥러닝은 기계학습 방법 중 하나로 컴퓨터가 많은..

[빅데이터분석기사] 빅데이터 기술 및 제도, 빅데이터 처리기술

1. 빅데이터 처리과정과 요소기술 데이터베이스나 파일 관리 시스템과 같은 내부 데이터가 있다. 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터가 있다. 크롤링을 통해 데이터 원천으로부터 데이터를 검색하여 수집한다. ETL을 통해 소스 데이터로부터 추출하고, 변환하여, 적재한다. 단순한 수집이 아니라 검색 및 수집, 변환 과정을 모두 포함한다. 로그 수집기나, 센서 네트워크 및 Open API 등을 활용할 수 있다. 저렴한 비용으로 데이터를 쉽고 빠르게 많이 저장한다. 정형 데이터뿐만 아니라 반정형, 비정형 데이터도 포함한다. 병렬 DBMS나 하둡, NoSQL 등 다양한 기술을 사용할 수 있다. 시스템 간의 데이터를 서로 공유 가능하다. 데이터를 효과적으로 처리하는 기술이 필요한 단계이다. 분산 병렬 ..

[빅데이터분석기사] 빅데이터 기술 및 제도, 빅데이터 플랫폼

1. 빅데이터 플랫폼의 등장배경 빠른 의사결정 속도보다 장기적이고 전략적인 접근이 필요하다. 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경이 등장하였다. 다양한 형태의 데이터 수집과 복잡한 로직을 이용한 대용량 처리가 필요하다. 분산 처리가 불가피하여 이를 제어할 수 있는 고도의 기술이 필요하다. SNS 데이터나 로그 파일, 스트림 데이터 등 비정형 데이터의 비중과 실시간 처리에 대한 요구가 높아지고 있다. 약한 관계형 스키마나 반정형 데이터와 같은 정형적이지 않은 데이터가 증가하고 있다. 기존의 통계적 분석방법과 같이 정해진 절차와 과정을 따르지 않아도 분석 목정에 맞게 유연한 분석이 가능하게 되었다. 인공지능 기술의 발전으로 다양한 방법론을 통해 텍스트, 음성, 이미지, 동영상 등 다양..

[빅데이터분석기사] 빅데이터 개요 및 활용, 빅데이터 조직 및 인력

1. 필요성 빅데이터와 관련된 기술적인 문제들은 기술의 발전으로 어느 정도 해소되었다. 데이터 분석 및 활용을 위한 조직체계나 분석 전문가 확보에 어려움이 있다. 데이터 분석 관점의 컨트롤 타워에 대한 필요성이 제기되고 있다. 2. 조직의 역할 전사 및 부서의 분석 업무를 발굴한다. 전문적인 분석 기법과 도구를 활용하여 빅데이터 속에서 인사이트를 찾아낸다. 발견한 인사이트를 전파하고 이를 실행한다. 3. 조직의 구성 비즈니스 질문을 선제적으로 찾아낼 수 있는 구조인가? 분석 전담조직과 타 부서 간 유기적인 협조와 지원이 원활한 구조인가? 효율적인 분석 업무를 수행하기 위한 분석 조직의 내부 조직구조는? 전사 및 단위부서가 필요시 접촉하며 지원할 수 있는 구조인가? 어떤 형태의 조직(집중형, 기능형, 분산..

[빅데이터분석기사] 빅데이터 개요 및 활용, 데이터 산업

1. 데이터 산업의 진화 데이터 산업은 데이터 처리 - 통합 - 분석 - 연결 - 권리 시대로 진화하고 있다. 데이터 통합 시대까지 데이터의 역할은 거래를 정확하게 기록하고 거래의 자동화를 지원하는 것이었다. 데이터 분석 수준이 향상되면서 데이터의 자원 활용이 가능해졌다. 컴퓨터 프로그래밍 언어를 이용하여 대규모 데이터를 빠르고 정확하게 처리할 수 있게 되었으며 결과는 파일 형태로 보관되었다. 기업들은 EDPS(Electronic Data Processing System)를 도입하여 급여 계산, 회계 전표 처리 등의 업무에 적용하였다. 데이터는 업무 처리의 대상으로 새로운 가치를 제공하지는 않는다. 데이터 처리가 여러 업무에 적용되기 시작하면서 데이터가 쌓이기 시작했고 전사적으로 데이터 일관성을 확보하기..

[빅데이터분석기사] 빅데이터 개요 및 활용, Big Data

1. 빅데이터의 등장과 변화 기업에서는 온,오프라인 고객 데이터가 많이 축적되면서 데이터에 숨어 있는 가치를 발굴해 새로운 성장동력으로 활용하고 있다. 하계에서는 인간 게놈 프로젝트, 기후 관찰 등 거대 데이터를 다루는 학문 분야가 확산되면서 필요한 기술 아키텍처 및 분석 기법들이 발전하고 있다. 데이터 처리 시점이 사전 처리에서 사후 처리로 이동하였다. - 기존에 필요한 정보만 수집하는 시스템에서, 가능한 많은 데이터를 모으고 조합하여 정보를 얻는 방식으로 변화 데이터 처리 범주가 표본조사에서 전수조사로 확대되었다. - 기술 발전으로 인한 데이터 처리비용 감소로 표본조사가 아닌 전수조사를 통해 패턴이나 정보를 발견하는 방식으로 변화 데이터의 가치 판단 기준이 질(quality)보다 양(quantity)..

[빅데이터분석기사] 빅데이터 개요 및 활용, 데이터베이스

1. 데이터베이스의 정의 체계적이거나 조직적으로 정리되고 전자식 or 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 or 기타 소재의 수집물이다. 동시에 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위해 일정한 구조에 따라 편성된 데이터의 집합. 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의하여 체계적으로 수집, 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체이다. 2. 데이터베이스 관리 시스템 종류 설명 관계형 DBMS 데이터를 열과 행을 이루는 테이블로 표현하는 모델이다 객체지향 DBMS 정보를 객체 형태로 표현하는 모델이다 네트워크 DBMS 그래프..

[빅데이터분석기사] 빅데이터 개요 및 활용, 데이터

1. 데이터 정의 데이터는 추론과 추정의 근거를 이루는 사실이다. 현실 세계에서 관찰하거나 측정하여 수집한 사실다. 2. 데이터 특징 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. 객관적 사실이라는 존재적 특성을 갖는다. 추론, 추정, 예측, 전망을 위한 근거로써 당위적 특성을 갖는다. 3. 데이터 구분 정량적 데이터: 주로 숫자로 이루어진 데이터이다. 정성적 데이터: 문자와 같은 텍스트로 구성되며 함축적 의미를 지니고 있는 데이터이다. 정량적 데이터 정성적 데이터 유형 정형 데이터, 반정형 데이터 비정형 데이터 특징 여러 요소의 결합으로 의미 부여 객체 하나가 함축된 의미 내포 관점 주로 객관적 내용 주로 주관적 내용 구성 수치나 기호 등 문자나 언어 등 형태 데이..