HOME >> SQL
Showing posts with label SQL. Show all posts

Agile là gì?

Agile là tên viết tắt của cụm từ tiếng anh (Agile Software Development), nó là một phương phức hay mô hình phát triển phần mềm (kiểu kiểu như mô hình thác phát triển phần mềm thác nước walterfall) do mốt nhóm 14 nhân vật hàng đâu trong ngành công nghiệp phần mềm.

Tiêu chí của mô hình Agile là làm sao để đưa ra sản phẩm đến tay người tiêu dùng càng nhanh càng tốt, càng sớm càng tốt và theo thống kế trên thế giới thì nó hiệu quả hơn, linh hoạt hơn so với các mô hình phát triển phần mềm trước đó như là "thác nước waterfall" hay "CMMI".

Về cơ bản mô hình phát triển phần mềm Agile là tập hợp các phương thức phát triển vòng lặp nhưng tăng dần trong đó yêu cầu và giải pháp được phát triển thông qua sự cộng tác liên tục của các thành viên trong nhóm (bao gồm lập trình viên, IT, Tester và cả khách hàng) và đặc biệt là công việc được nhóm tự quản và phân chia.


Định nghĩa thi có vẻ khó hiểu nhưng khi đi vào tuyên ngôn của Agile thì rất dễ hiểu, trước khi đi tiếp thì mình xin nói chung chung một chút cách hiểu của mình về Agile.

Agile là mô hình làm việc tương tác giữ người với người chứ không phải giữa người với qui trình, tài liệu, mô hình, ví như khách hàng kêu tôi làm cái A tôi làm cái A không hiểu tôi hỏi liền khách hàng ở bất kỳ thời điểm nào của dự án, hay tại bất kỳ thời điểm làm việc nào tôi cũng có thể nhờ khách hàng xem lại xem có đúng chưa? hay tôi nói với tester kiểm tra cho tôi A tại bất kỳ thời điểm nào tôi đang làm việc, hoặc tester báo bug tôi sẽ xử lý ngay và đưa cho tester xem tại chỗ, tương tự khách hàng cũng có thể yêu cầu thêm hay thay đổi tại bất kỳ thời điểm nào tôi đang làm việc mà yêu cầu này không ảnh hưởng tới tiến độ của dự án nếu ảnh hưởng thì tôi có thể trao đổi trực tiếp lại với khách hàng, và tất cả các quá trình này đều thực hiện qua giao tiếp. Chính vì thế theo tôi để thực hiện được mô hình này thì cần phải có các yếu tố sau:

Đầu tiên theo mình tiêu chuẩn đầu tiên cần phải có phải là sự tin tưởng giữa các thành viên trong nhóm bao gồm cả khách hàng, tại sao vậy? Vì tiêu chí của Agile không tập trung vào tài liêu, qui trình,... mà tập trung vào việc hoàn thành công việc, tuy nhiên nếu giả sử như có sự cố hay vấn đề gì đó phát sinh nếu mọi người chăm chăm tìm lỗi, trách nhiệm thuộc về ai, hoặc sau khi xảy ra sự cố thì lại bắt đầu yêu cầu qui trình xác nhận hay kiểm tra gì đó thì cũng chẳng khác nào quay về mô hình cũ. Bạn cũng xẽ thắc mắc nếu thật sự xảy ra trường hợp này thì sao, nếu xảy ra trường hợp này thì nói lên rằng bạn chưa được hiện đúng tiêu chí của Agile, như mình nói ở trên khách hàng, tester, lập trình, IT, là các thành viên trong nhóm làm việc liên tục để hoàn công việc trong quá trình làm việc xác nhận yêu cầu, kiểm tra lỗi, phát triển phần mềm, phần cứng luôn được liên tục mà đến cuối cùng vẫn xảy ra vấn đề thì phải xem lại vấn đề nằm ở đâu và điều chỉnh lại cho phù hợp.

Thứ 2 là tự giác & trách nhiệm & hỗ trợ làm việc cao, mỗi thành nhiên phải có tinh thần tự giác & trách nhiệm làm việc có tránh nhiệm và luôn luôn hỗ trợ đồng nghiệp, tại sao lại cần? Vì trong Agile công việc được tự các thành viên trong nhóm phân chia và xử lý, và khi hết việc thì phải lượm việc khác làm hoặc hỗ trợ đồng đội xử lý giải quyết vấn đề, vì vậy nếu không có tinh thần làm việc hay giúp đỡ đồng nghiệp thì không thể thực hiện được vì trong Agile chả ai bắt bạn đi làm việc cả mà tự bản thân bạn đi kiếm việc.

Thức 3 là chịu trách nhiệm chung, nói hơi cường điệu tuy nhiên đối với Agile việc nhóm bạn không hoàn thành công việc hay yêu cầu luôn phải là vấn đề của cả đội, điều này giúp tính tự giác của các thành viên trong nhóm được cao hơn, thí dụ thế này khi một dự án được phân cho nhiều người làm thì nếu ai không hoàn thành tốt thì chỉ người đó chịu tránh nhiệm, với Agile thì không cả nhóm phải chịu chính vì thế yêu cầu các thành viên có tính cảnh giác cao với các công việc chưa hoàn thành hay các vấn đề phát sinh của thành viên khác thì dụ thằng kia làm không tốt thì sẽ nhóm họp báo cáo, còn như mạnh ai mấy làm thì chắc ăn rằng chả ma nào đi nói làm gì cho mất công mất lòng. Điều quay lại vấn đề đầu tiên là phải có sự tin tưởng nếu ai đó thấy bạn làm không tốt nhắc nhở bạn thì bạn bực tức rồi thờ ơ làm cho xong việc hoặc chăm chăm tìm sai lầm của kẻ thù thì cũng không thể thực hiện mô hình Agile này được.

Trên đây là 3 tiêu chuẩn mà mình cho rằng cần phải có và cũng là khó nhất khi thực hiện Agile, mà công nhận nếu có hoặc ở một đội như vây thì tuyệt. Nói tào lao nãy giờ ^^! có thể sai hoặc đúng các bạn đọc xong cho qua xin đừng gạch đá, giờ để hiểu rõ hơn ta đi qua các khái niệm và tuyên ngôn của Agile.

Tuyên ngôn Agile

Theo tuyên ngôn Agile thì phương pháp phát triển phần mềm tốt hơn được xây dựng thông qua cách thức thực hiện tốt hơn và giúp đỡ những người khác thực hiện nó. Qua cách thức này, họ đã đánh giá cao:

  • Con người và sự tương tác tốt hơn quy trình và công cụ.
  • Phần mềm chạy tốt hơn là tài liệu đầy đủ.
  • Cộng tác với khách hàng tốt hơn là đàm phán hợp đồng.
  • Phản hồi với các thay đổi tốt hơn là bám sát kế hoạch.


Các giá trị trên chính là bốn giá trị cốt lõi của Agile. Các giá trị này được xây dựng dựa trên 12 nguyên lý:

  • Ưu tiên cao nhất của chúng tôi là thỏa mãn khách hàng thông qua việc chuyển giao sớm và liên tục các phần mềm có giá trị.
  • Chào đón việc thay đổi yêu cầu, thậm chí rất muộn trong quá trình phát triển. Các quy trình linh hoạt tận dụng sự thay đổi cho các lợi thế cạnh tranh của khách hàng.
  • Thường xuyên chuyển giao phần mềm chạy tốt tới khách hàng, từ vài tuần đến vài tháng, ưu tiên cho các khoảng thời gian ngắn hơn.
  • Nhà kinh doanh và nhà phát triển phải làm việc cùng nhau hàng ngày trong suốt dự án.
  • Xây dựng các dự án xung quanh những cá nhân có động lực. Cung cấp cho họ môi trường và sự hỗ trợ cần thiết, và tin tưởng họ để hoàn thành công việc.
  • Phương pháp hiệu quả nhất để truyền đạt thông tin tới nhóm phát triển và trong nội bộ nhóm phát triển là hội thoại trực tiếp.
  • Phần mềm chạy tốt là thước đo chính của tiến độ.
  • Các quy trình linh hoạt thúc đẩy phát triển bền vững. Các nhà tài trợ, nhà phát triển, và người dùng có thể duy trì một nhịp độ liên tục không giới hạn.
  • Liên tục quan tâm đến các kĩ thuật và thiết kế tốt để gia tăng sự linh hoạt.
  • Sự đơn giản – nghệ thuật tối đa hóa lượng công việc chưa xong – là căn bản.
  • Các kiến trúc tốt nhất, yêu cầu tốt nhất, và thiết kế tốt nhất sẽ được làm ra bởi các nhóm tự tổ chức.
  • Nhóm phát triển sẽ thường xuyên suy nghĩ về việc làm sao để trở nên hiệu quả hơn, sau đó họ sẽ điều chỉnh và thay đổi các hành vi của mình cho phù hợp.


Tuy nhiên xét theo một khía cách khác là quản lý dự án thì Agile có thể là chưa đủ vì vậy người ta đưa ra một tuyên ngôn khác để hỗ trợ cho tuyên ngôn Agile gọi là "tuyên ngôn tương hỗ" cái này thì mình không rành lắm copy & paste lại thôi :>>

Tuyên ngôn Tương hỗ

Trong khi Tuyên ngôn Agile giải quyết việc phát triển phần mềm thì "tuyên ngôn tương hỗ" tập trung nhiều hơn vào khía cạnh quản lý dự án. Theo Tuyên ngôn Tương hỗ, lãnh đạo dự án đã đạt được thành công trong việc chuyển giao kết quả thông qua việc họ:

  • Tăng tỷ lệ hoàn vốn đầu tư bằng cách biến những luồng giá trị liên tục thành trọng tâm của mình.
  • Chuyển giao những kết quả đáng tin cậy bằng cách lôi kéo khách hàng thường xuyên tương tác và chia sẻ quyền sở hữu.
  • Chờ đợi các bất ổn và quản lý chúng qua các phân đoạn, dự đoán và thích ứng
  • Giải phóng sức sáng tạo và đổi mới bằng cách công nhận rằng các cá nhân là nguồn gốc cao nhất của giá trị và tạo ra một môi trường nơi họ có thể làm nên sự khác biệt
  • Tăng hiệu suất thông qua phân nhóm trách nhiệm đối với các kết quả và chia sẻ trách nhiệm về hiệu quả của nhóm.
  • Nâng cao hiệu quả và độ tin cậy thông qua các chiến lược, qui trình và thực tiễn cụ thể trong từng tình huống.



Tham khảo: quanlyduan.edu.vn/



Đây là một trong bài viết tổng hợp và giải thích đơn giản các thuật ngữ công nghệ thông tin, máy tính, hay các thuật ngữ trên internet,... trong bài viết này mục tiêu của mình là giúp cho những bạn không thuộc lãnh vực này có nắm bắt và hiểu được các định nghĩa ở mức cơ bản.

Vì thế mình cố gắng giải thích một cách đơn giản nhất, dễ hiểu nhất. Tuy nhiên sẽ nhược điểm là sẽ không thể giải thích đủ hoặc chính xác hoàn toàn các thuật ngữ, vì muốn hiểu rõ chúng bạn cần phải học tập và tìm hiểu một cách chuyên sau hơn, tuy nhiên cũng không phải ai cũng cần biết chuyên sâu làm chi.

Nếu bài viết khó hiểu, hoặc bạn không hiểu một phần nào đó, hoặc sai, xin hãy phản hồi (comment) tại đây mình sẽ biên chỉnh lại cho phù hợp hơn, việc này sẽ giúp mình hoàn thiện bài viết hơn nữa, cảm ơn các bạn đã quan tâm.




Hướng dẫn dùng câu truy vấn chèn dữ liệu vào bảng trong MS SQL Server 2014? (How to insert value to table in MS SQL Server 2014 by query?)

Trong các bài viết trước mình đã hướng dẫn cách tạo một database trong SQL Server 2014 và cách để tạo một bảng (table) trên database đã tạo, bài viết mình xin tiếp tục hướng dẫn cách dùng câu truy vấn sql (sql query) để chèn dữ liệu vào bảng (table) trong Microsoft SQL Server 2014.

Đầu tiên bạn cần phải xác định được tên bảng (table) mà bạn muốn chèn dữ liệu, để ôn tập lại cách tạo bảng và cũng để có bảng để minh họa cho bài viết mình sẽ tạo một bảng mới tên là "customer" như sau:
CREATE TABLE customer(
   id   INT              NOT NULL,
   name VARCHAR (20)     NOT NULL,
   age  INT              NOT NULL,
   address  CHAR (25) ,
   salary  DECIMAL (18, 2),      
   PRIMARY KEY (id)
);

Trong đoạn truy vấn đề có một từ PRIMARY KEY mới, đây là khóa chinh của các dùng để xác định và phân biệt các record (bản ghi hay dữ liệu) trong bảng, chúng ta sẽ bàn về từ khóa này sau, tạm thời bạn cứ tạo một bảng customer như đoạn truy vấn trên là được.

Để chèn dữ liệu vào bảng (insert data to table) bạn sử dụng câu truy vấn "INSERT INTO... VALUE..." có hai cách dùng câu truy vấn này.

Cách thứ nhất là không quan tâm tới cột, nhưng bạn cần phải điền đầy đủ giá trị chèn (value insert) theo đúng thứ tự của các cột, trừ nhưng cột có thiết lập chế độ phát sinh dữ liệu tự động như auto number, auto vaule thì không cần, cú pháp như sau:
INSERT INTO table_name
VALUES (value1,value2,value3,...);

Cú pháp thứ hai là chọn cột để chèn dữ liệu, có nghĩa là bạn phải điều tên cột tương ứng với giá tri bạn điền vào, cách này cho phép bạn không cần điền các cột không cần thiết, hoặc không cần điền vào thời điểm hiện tại, cú pháp như sau:
INSERT INTO table_name (column1,column2,column3,...)
VALUES (value1,value2,value3,...);

Ok, bây giờ mình sẽ sử dụng một loạt các câu truy vấn insert bên dưới để mô tả cho những gì mình đã trình bày ở phía trên.
INSERT INTO customer VALUES (1, 'vnlives.net 001', 32, 'Ahmed', 2000.00 );
INSERT INTO customer VALUES (2, 'vnlives.net 002', 25, 'Delhi', 1500.00 );
INSERT INTO customer VALUES (3, 'vnlives.net 003', 23, 'Kotas', 2000.00 );
INSERT INTO customer (id,name,age,address,salary) VALUES (4, 'vnlives.net 004', 25, 'Mumba', 6500.00 );
INSERT INTO customer (id,name,age) VALUES (5, 'vnlives.net 005', 27 );
INSERT INTO customer (id,name,age,address) VALUES (6, 'vnlives.net 006', 22, 'MPTSP');

Như bạn thấy mình đã dùng cả hai cú pháp giới thiệu ở trên để insert dữ liệu vào bạn, bạn lưu ý tại dòng lệnh thứ 5 mình không chèn dữ liệu cho hai cột là "address, salary", và dòng thứ sáu mình không chèn dữ liệu vào cột "salary", thì tương ứng record 5, 6 sẽ có giá trị NULL tại các cột trên.

Nào bây giờ bạn chọn tất cả lệnh và thực thi (execute) các câu lệnh, nếu báo thành công thìn dùng câu lệnh "SELECT * FROM customer" để kiểm tra kết quả, bạn sẽ thấy đúng như những gì mình đã trình bày.




Writer: +Bui Ngoc Son






Các kiểu dữ liệu trong MS SQL Server 2014. (Data types in MS SQL Server 2014.)

Kiểu dữ liệu (Data Types) trong SQL dùng để định nghĩa một kiểu giá trị mà một cột trong bảng (column in table) có thể chứa. Trong một bảng, mỗi cột cần có một tên và một kiểu dữ liệu, bài viết này xin cung cấp các kiểu dữ liệu (data types) mà phiên bản Microsoft SQL 2014 có hỗ trợ.

Các kiểu dữ liệu trong MS SQL Server 2014. (Data types in MS SQL Server 2014.)

Hiện các kiểu dữ liệu này được chia thành 7 loại chính bên dưới và tùy theo mục đích bạn có thể lựa chọn kiểu dữ liệu phù hợp cho cột dữ liệu của mình.

Làm thế nào để kiểm tra một database có tồn tại trên MS SQL Server 2014 hay chưa? (How to check if a database exists in SQL Server 2014?)

Một bài viết trước đây mình đã hướng dẫn cách để tạo mới một database bằng câu truy vấn SQL trên Microsoft SQL 2014 và cũng đã để cập tới vấn đề khi tạo mới một database trung tên với một database đã tồn tại trước đó, bài này mình xin hướng dẫn cách để kiểm tra một database đã tồn tại hay chưa MS SQL Server, nếu chưa thì tạo mới, còn ngược lại sẽ in ra câu thông báo "database đã tồn tại, không thể tạo mới" chẳng hạn.

Có lẽ một số bạn cho rằng cần gì kiểm tra nhìn phát biết liền, tuy nhiên trong thực tế nếu bạn làm việc tại một công ty có một cơ sở dữ liệu lớn (big database) thì việc nhìn để thấy thì khá khó, hoặc trong một vài tình huống bạn không thấy được database hoặc dùng để cho việc update một hệ thống cũ lên hệ thống mới ví như là khi update lên hệ thông ta kiểm tra xem hệ thống đó đã có tồn tại database hay chưa nếu chưa thì tạo mới còn nếu có rùi thì ta update các các như update bảng (table), store procedure,....

Để thực việc kiểm tra database đã tồn tại trên SQL Server hay chưa bạn sử dụng câu lệnh "IF DB_ID("name_database")" để kiểm tra ví dụ như tôi kiểm tra database "testdb" trong bài trước như sau:
IF DB_ID('testdb') is not null
   print 'testdb database is exists'
ELSE
    CREATE DATABASE testdb;

Do database "testdb" tôi đã tạo trước đó nên nó sẽ in ra câu thông mà tôi địh nghĩa là "testdb database is exists" như sau:

How to check if a database exists in SQL Server 2014?

Trong trường hợp nếu database chưa được tạo thì nó sẽ thực thi câu lện tạo database "CREATE DATABASE" trong mệnh đề ELSE.




Writer: +Bui Ngoc Son







Hướng dẫn tạo bảng bằng câu truy vấn trong SQL Server 2014. (How to create new table by query in SQL Server 2014?)

Bài viết trước mình đã hướng dẫn cách để tạo mới một một database trên Microsoft SQL Server 2014 bằng câu truy vấn, bài này mình xin tiếp tục hướng dẫn cách để tạo mới một bảng (table) trên database vừa mới tạo bằng câu truy vấn SQL (SQL Query).

Mình xin tiếp tục dùng database trong bài trước để hướng dẫn cách tạo bảng, đầu tiên tiên bạn cần chọn database mà bạn muốn tạo bảng (table) trên nó (lưu ý điều này rất quan trong nhé :)), bằng cách dùng câu lệnh truy vấn bên dưới:
USE testdb;

Sau khi Execute thành công, thì chúng ta sẽ bắt tạo một bảng tên Person, bao gồm các cột "PersonID, LastName, FirstName, Address, City" bằng câu lệnh "CREATE TABLE" như sau:
CREATE TABLE person
(
personid int,
lastname varchar(255),
firstname varchar(255),
address varchar(255),
city varchar(255)
);
  • CREATE TABLE: câu truy vấn (sql query) để tạo một  bảng trong SQL Server.
  • person: tên của bảng muốn tạo, bạn có thể chọn bất kỳ tên nào bạn thích chỉ không cần trung với các từ khóa (keyword) trong SQL là được.
  • PersonID, LastName,...: là tên các cột của bảng (column name).
  • int, varchar,...: là các kiểu dữ liệu mà cột có thể lưu trữ, ví dụ int là cột chỉ lưu trữ được kiểu số nêu cho ký tự vào sẽ bị lỗi, bạn có thể xem thêm tại MS SQL Data Types.

Sau khi gõ xong bạn chỉ việc thực thi câu truy vấn (execute query), nếu chạy thành công bạn sẽ thấy được bảng "person" trong khu vực "Object Explorer" trong "Database → testdb → Tables → person", hãy xem hình hướng dẫn tạo bảng (table) bên dưới để hiểu rõ hơn.

How to create new table by query in SQL Server 2014?

Hướng dẫn tạo mới một database bằng truy vấn sql trong sql server 2014. (How to create new database in sql server 2014 by sql query?)

Rảnh rang ngồi ôn tập lại Microsoft SQL Server chút, bài này mình xin hướng dẫn cách dùng câu truy vấn (SQL Query) để tạo mới một database trên MS SQL Server 2014, đầu tiên bạn hãy mở SQL Server 2014 lên vào tạo một bảng query mới bằng cách nhần vào "New Query" trên thanh công cụ, tiếp theo gõ vào dòng lệnh SQL bên dưới.
CREATE DATABASE testdb;
  • CREATE DATABASE: câu query để tạo một database.
  • testdb: tên của database bạn muốn tạo mới, ở đây tôi đặt tên là testdb.

Sau khi gõ xong bạn nhấn F5 để chạy câu lệnh tạo database vừa gõ, bạn sẽ thấy một DATABASE mới tên testdb được tạo ra ở bên khu vực Object Explorer, trong mục "Database → testdb", ok vậy là bạn đã tạo xong mới database mới rùi, hãy xem hình hướng dẫn bên dưới để hiểu rõ hơn.

How to create new database in sql server 2014 by sql query?

Một số vấn đề xuất hiện khi có hai transaction cùng hoạt động trong MS SQL Server

Giả sử có 2 transaction đang truy xuất đồng thời trên 1 đơn vị dữ liệu. Có tất cả 4 trường hợp sau:

Trong connection C1 có một transaction như sau: Trong connection C2 có transaction như sau: Nhận xét
Đọc Đọc Không có tranh chấp
Đọc Ghi Xảy ra tranh chấp
Ghi Đọc Xảy ra tranh chấp
Ghi Ghi HQT chỉ cho phép có đúng 1 transaction được ghi trên đơn vị dữ liệu tại một thời điểm.

Như vậy khi có 2 transaction (của 2 connection khác nhau) có ít nhất 1 thao tác ghi trên cùng một đơn vị dữ liệu sẽ xảy ra tình trạng tranh chấp. Nếu để tình trạng tranh chấp này xảy ra sẽ dẫn đến những sai sót trên CSDL.

Giới thiệu các mức Isolation Level trong MS SQL Server.

Isolation level là một thuộc tính của transaction, qui định mức độ cô lập của dữ liệu mà transaction có thể truy nhập vào khi dữ liệu đó đang được cập bởi một transaction khác. Khi một transaction cập nhật dữ liệu đang diễn ra, một phần dữ liệu sẽ bị thay đổi (ví dụ một số bản ghi của bảng được sửa đổi hoặc bị xóa bỏ, một số được thêm mới), vậy các transaction hoặc truy vấn khác xảy ra đồng thời và cùng tác động vào các bản ghi đó sẽ diễn ra thế nào?


Chúng sẽ phải đợi đến khi transaction đầu hoàn thành hay có thể thực hiện song song, kết quả dữ liệu nhận được là trong khi hay sau khi cập nhật? Bạn có thể điều khiển những hành vi này thông qua việc đặt isolation level của từng transaction. SQL Server cung cấp các mức isolation level sau xếp theo thứ tự tăng dần của mức độ cô lập của dữ liệu: Read Uncommitted, Read Commited, Repeatable Read, và Serializable. Từ bản 2005 bắt đầu bổ sung thêm một loại mới là Snapshot. Phần còn lại của bài này sẽ đi vào chi tiết của từng loại.

Tổng hợp 15 công nghệ mã nguồn mở cho hệ thống dữ liệu lớn (big data).

Việc lưu trữ, vận hành, tra cứu, truyền tải các nguồn dữ liệu lớn luôn được các công ty, tổ chức, hay nói chung là cả thế giới đều rất quan tâm. Như chúng ta đã biết việc lưu trữ và sử dụng một nguồn dữ liệu lớn như database, book, text,... không phải là một công việc dễ dàng, ví dụ như khi ta tìm một quyển sách trong thư viện quốc hội Mỹ (thư viện lớn nhất thế giới) bạn sẽ tưởng tượng độ khó của nó như thế nào ^^! Vì thế các nhà quản trị hệ thống, lập trình viên, nhà phát triển đều lưu tâm tới vấn đề này, và hiên nay cũng có rất nhiều phương pháp khác nhau để giải quyết vấn đề. Trong bài viết này tôi xin giới thiệu chính công nghệ mã nguồn mở cho hệ thống dữ liệu lớn.



1. Apache Hadoop


Apache Hadoop là phần mềm mã nguồn mở được xây dựng bởi Doug khi làm việc tại Nutch, để giải quyết việc quản lý dự liệu tập trung, chính xác hơn là để đáp ứng việc tìm kiếm dữ liệu trên website. Phần mềm được đặt tên dự theo con voi đồ chơi của con trai tác giả Doug. Hadoop trở thành một trong những công nghệ phổ biến nhất cho việc lưu trữ dữ liệu bao gồm có cấu trúc, bán cấu trúc và phi cấu trúc. Hiện nay Hadoop được phát hành theo Giấy phép Apache 2.0


2. R


R-Project là phần mềm mã mở được thiết kê cho nhu cầu thống kê dữ liệu trực quan, được phát triển bởi Ross Ihaka và Robert Gentleman tại Đại học Auckland, New Zealand, năm 1993 và nhanh chóng trở thành công cụ để phân tích, thống kê các hệ thống dữ liệu rất lớn. Nó đã được thương mại hóa bởi công ty Revolution Analytics. Phát hành theo giấy phép GNU General Public License.


3. Cascading


Cascading Là một layer (tầng) trong hadoop. Được xây dựng bởi Chris Wensel để thay thế cho sự phức tạp của MapReduce trong việc phân tích dữ liệu. Cascading được thương mại khi Wensel thành lập một công ty riêng. Hiện nay có Twitter và Etsy đang sử dụng giải pháp này.Phát hành theo giấy phép GNU General Public License.


4. Scribe


Scribe được phát triển bởi Facebook vào năm 2008. Nó được thiết kế để tổng hợp số liệu đăng nhập trực tiếp trong thời gian thực từ một số lượng lớn các máy chủ.Facebook dùng Scribe cho việc mở rộng hạ tầng cũng như quy mô của mình. Hiện nay Scribe còn được dùng để xử lý hàng triệu tin nhắn mỗi ngày. Được phát hành theo Giấy phép Apache 2.0.


5. ElasticSearch


ElasticSearch phát triển bởi Shay Banon và dựa trên Apache Lucene, ElasticSearch là một bản phân phối mã nguồn mở cho việc tìm kiếm dữ liệu trên máy chủ. Đó là một giải pháp mở rộng, hỗ trợ tìm kiếm thời gian thực mà không cần có một cấu hình đặc biệt. Nó đã được áp dụng bởi một số công ty, bao gồm cả StumbleUpon và Mozilla. ElasticSearch được phát hành theo Giấy phép Apache 2.0.


6. Apache HBase


Apache HBase Viết bằng Java và được phát triển bởi BigTable của Google, Apache HBase là một mã nguồn mở, được thiết kế để chạy trên hệ thống tập tin phân phối Hadoop (HDFS). Nó cung cấp khả năng chịu lỗi lưu trữ và truy cập nhanh. HBase là một trong vô số các phiên bản NoSQL sẵn có trong nhiều năm qua. Trong năm 2010, Facebook đã thông qua HBase để phục vụ nền tảng tin nhắn của họ. Được phát hành theo Giấy phép Apache 2.0.


7. Apache Cassandra


Apache Cassandra một phiên bản khác của NoSQL được Facebook phát triển cho việc tìm kiếm Inbox (inbox search) của họ. Facebook đã không dùng Cassandra sau khi phát triển Hbase năm 20120.Tuy nhiên Hbase vẫn được nhiều công ty lớn sử dụng trong đó có Netflix. Được phát hành theo Giấy phép Apache 2.0.


8. MongoDB


MongoDB được phát triển bởi Founder (người sáng lập) của doubleclick. MongoDB cũng là một phiên bản nổi tiếng của NoSQL. Nó lưu trữ dữ liệu theo cấu trúc JSON và BSON (Binary của JSON).MongoDB đã được áp dụng bởi một số doanh nghiệp lớn, bao gồm MTV Networks, craigslist, Disney Interactive Media Group, The New York Times và Etsy.


9. Apache CouchDB


Apache CouchDB là một phiên bản khác của NoSQL. Cũng lưu trữ dữ liệu dạng JSON và dùng Javascript như các câu truy vấn để lấy dữ liệu.Apache CouchDB được tạo ra vào năm 2005 bởi IBM Lotus Notes. Họ đã dùng nó cho việc lưu trữ hệ thống dữ liệu lớn bởi tính năng động của nó. Được phát hành theo Giấy phép Apache 2.0.


10. Apache Nifi


Apache Nifi sinh ra từ Cơ quan An ninh Quốc gia (NSA) dự án, Apache Nifi là một dự án Apache cấp cao cho dàn luồng dữ liệu từ các nguồn dữ liệu khác nhau. Nó tập hợp dữ liệu từ các cảm biến, máy móc, thiết bị vị trí địa lý, các tập tin kích chuột và nguồn cấp xã hội qua một, đại lý nhẹ an toàn. Nó cũng làm trung gian an toàn point-to-point và các luồng dữ liệu hai chiều và cho phép các phân tích, chọn lọc, gia nhập, chuyển đổi, forking hay nhân bản của dòng dữ liệu. Nifi được thiết kế để tích hợp với Kafka như là các khối xây dựng của thời gian thực các ứng dụng phân tích tiên đoán tận dụng Internet của sự vật.


11. Apache Kafka


Apache Kafka ban đầu được phát triển bởi LinkedIn, là một mã nguồn mở fault-tolerant publish-đăng tin môi giới viết bằng Scala. Kafka làm việc kết hợp với Apache Storm, Apache HBase và Apache Spark để phân tích thời gian thực và cung cấp dữ liệu trực tuyến. Đó là khả năng môi giới tin lớn suối để phân tích độ trễ thấp - như gửi tin nhắn dữ liệu không gian từ một đội xe tải đường dài hoặc các dữ liệu cảm biến từ gia nhiệt và thiết bị làm mát - làm cho nó hữu ích cho các ứng dụng Internet của Những điều. Kafka là một dự án Apache top-level.


12. Apache Knox Gateway


Apache Knox Gateway là một REST API Gateway cung cấp một điểm truy cập an toàn duy nhất cho tất cả các tương tác REST với cụm Hadoop. Bằng cách đó, nó giúp trong việc kiểm soát, hội nhập, giám sát và tự động hóa các nhu cầu quản lý và phân tích quan trọng của doanh nghiệp. Nó cũng bổ sung cụm Hadoop Kerberos bảo đảm. Knox là một dự án Apache Vườn ươm.


13. Apache Ranger


Apache Ranger là một framework cho phép theo dõi và quản lý an ninh dữ liệu toàn diện trên nền tảng Hadoop. Dựa trên công nghệ từ an ninh dữ liệu lớn chuyên XA Secure, Apache Ranger đã được thực hiện một dự án Apache Vườn ươm sau khi nhà cung cấp phân phối Hadoop Hortonworks mua lại công ty đó. Ranger cung cấp một khuôn khổ an ninh tập trung để quản lý kiểm soát truy cập hạt mịn trên Hadoop và các thành phần liên quan (như Apache Hive, HBase, vv). Nó cũng có thể kích hoạt tính năng theo dõi kiểm toán và phân tích chính sách


14. Apache Storm


Apache Storm chủ yếu được viết bằng ngôn ngữ lập trình Clojure, Apache Storm là một phân phối khung tính toán thay thế cho MapReduce hướng để xử lý thời gian thực của dữ liệu streaming. Nó rất thích hợp để tích hợp dữ liệu thời gian thực và các ứng dụng liên quan đến các luồng phân tích và giám sát ghi sự kiện. Ban đầu nó được tạo ra bởi Nathan Marz và nhóm của ông tại BackType, trước khi nó đã được mua lại bởi Twitter và phát hành mã nguồn mở. Ứng dụng Storm được thiết kế như là một "cấu trúc liên kết" mà hành động như một đường ống chuyển đổi dữ liệu. Storm là một dự án Apache top-level.

15. Apache Spark


Được phát triển bởi Matel Zaharia trong AMPLab tại UC Berkeley, Apache Spark là một mã nguồn mở cơ chế xử lý Hadoop đó là một thay thế cho Hadoop MapReduce. Spark sử dụng trong bộ nhớ nguyên thủy có thể cải thiện hiệu suất lên đến 100x hơn MapReduce cho các ứng dụng nhất định. Nó là rất phù hợp với các thuật toán máy học và phân tích tương tác. Spark bao gồm nhiều thành phần: Spark Core và bộ dữ liệu phân tán đàn hồi (RDDs), Spark SQL, Spark Streaming, MLlib Máy Thư viện Học tập và GraphX. Spark là một dự án Apache top-level.




ElasticSearch là gì.

Gần đây tôi có dịp tiếp xúc với một kỹ thuật tên Elasticsearch, tôi nhận thấy nó khá thú vị cùng với nhiều tính năng mạnh phụ vụ cho việc tìm kiếm và phân tích trong thời gian thực (search & analyze in real time) dữ liệu ở tầm cỡ lớn (big data) nên có tìm hiểu đôi chút.