Hệ thống đảm bảo chất lượng giáo dục đại học Đài Loan, Trung Quốc

1. Đặt vấn đề

Những năm gần đây, sự thay đổi mạnh mẽ về kinh tế, chính trị, xã hội đã dẫn đến những thay đổi đáng kể hệ thống giáo dục đại học toàn cầu, như các xu hướng đại chúng hóa, số hóa, quốc tế hóa và quảng cáo hóa, … (Noda và cộng sự, 2018). Bên cạnh đó, sự phát triển nhanh chóng của khoa học công nghệ và xu hướng học tập suốt đời đã đặt ra cho các trường đại học nhiệm vụ mới đó là mở rộng khả năng tiếp cận giáo dục đại học cho một lượng lớn người học không đồng nhất, bao gồm những người đã tham gia thị trường lao động một thời gian (Seyfried và Pohlenz, 2018). Trong bối cảnh này, chất lượng dạy và học của các trường được quan tâm đặc biệt và đã trở thành một vấn đề chiến lược của giáo dục đại học (Seyfried và Pohlenz, 2018). Chính điều này đã dẫn đến sự gia tăng của các hoạt động đảm bảo chất lượng trong giáo dục đại học (Hou và cộng sự, 2020b). Sự ra đời của các tổ chức đảm bảo chất lượng cùng với các công cụ đánh giá và công nhận đã tạo ra những can thiệp hợp lý nhằm xác định và cải tiến chất lượng giáo dục đại học (Noda và cộng sự, 2018).

Tại Châu Á, xu hướng đại chúng hóa đã và đang mở rộng khả năng tiếp cận giáo dục đại học cho mọi người và đồng thời làm gia tăng mối quan tâm của công chúng về chất lượng của các cơ sở giáo dục đại học (Hou, 2018). Đảm bảo chất lượng giáo dục đại học trở thành một trong những mối quan tâm trong các chương trình nghị sự của các quốc gia. Chính phủ các nước Châu Á đã xúc tiến mạnh mẽ việc phát triển các hệ thống đảm bảo chất lượng giáo dục đại học bao gồm các cơ quan kiểm định quốc gia và các tổ chức kiểm định chuyên nghiệp (Hou, 2018). Đặc biệt, để tăng tính linh hoạt cho giáo dục đại học, một số quốc gia/khu vực đã triển khai thực hiện tự kiểm định, ví dụ như Úc, Hongkong, Malaysia và Đài Loan (Chen và Hou, 2016). Tự kiểm định (Self-accreditation) được định nghĩa là một quá trình hoặc trạng thái về mức độ tự chủ của một tổ chức hoặc cá nhân để đưa ra quyết định về việc cung cấp các dịch vụ học thuật hoặc học tập (INQAAHE, 2021). Tự kiểm định là một biểu hiện của quyền tự chủ (INQAAHE, 2021). Đó là trạng thái dành cho một tổ chức trưởng thành tiến hành các hoạt động đảm bảo chất lượng nội bộ và được miễn trừ khỏi quá trình đánh giá bên ngoài (Harvey, 2014; Hou và cộng sự, 2018).

Trước tác động của xu hướng giáo dục toàn cầu và khu vực, cùng với nhu cầu phát triển kinh tế – xã hội, hệ thống giáo dục đại học của Đài Loan đã có những thay đổi lớn về hệ thống và chính sách (Hou và cộng sự, 2020a). Kể từ năm 2016, Bộ Giáo dục đã chuyển trọng tâm sang quyền tự chủ và trách nhiệm xã hội của các trường đại học, đồng thời đẩy mạnh tăng cường quan hệ đối tác với giáo dục đại học ở các nước ASEAN (Chen và cộng sự, 2016; Hou và cộng sự, 2020a). Với quan điểm kiến thức và đổi mới là những cách duy nhất để tăng khả năng cạnh tranh toàn cầu, Bộ Giáo dục đã đề ra kế hoạch mục tiêu cho các trường đại học là đẩy mạnh giảng dạy và nghiên cứu chất lượng cao, tăng cường hợp tác giữa các học viện/trường đại học với các doanh nghiệp, theo đuổi đổi mới giảng dạy, nâng cao bản chất công và trách nhiệm xã hội của giáo dục đại học, … (Noda và cộng sự, 2021). Giống như nhiều quốc gia/khu vực khác, Đài Loan đã đẩy mạnh hoạt động đảm bảo chất lượng trong giáo dục đại học để nâng cao chất lượng giáo dục nhằm đáp ứng nhu cầu xã hội và nâng cao năng lực cạnh tranh quốc tế (Noda và cộng sự, 2018).

Mặc dù tác động tích cực của đảm bảo chất lượng đối với sự phát triển giáo dục đại học đã được khẳng định, ví dụ như thúc đẩy đổi mới giảng dạy, phát triển văn hóa chất lượng, tăng cường trách nhiệm giải trình, … nhưng vẫn tồn tại những ý kiến về ảnh hưởng không mong muốn của hoạt động này (Hsu, 2018; Seyfried và Pohlenz, 2018). Trong khi bảm bảo chất lượng bên trong tập trung vào cải tiến chất lượng dạy và học thì đảm bảo chất lượng bên ngoài nhấn mạnh trách nhiệm giải trình đối với xã hội và các bên liên quan (Costes và cộng sự, 2010). Tuy nhiên, đã có nhiều lời chỉ trích rằng việc kiểm định nhằm tìm kiếm trách nhiệm giải trình có thể làm suy yếu quyền tự chủ của các trường đại học (Gaston, 2014). Khoảng cách giữa mục đích ban đầu của đảm bảo chất lượng – giúp các trường đại học cải thiện chất lượng – và kết quả thực tế của đảm bảo chất lượng đã hình thành, điều này làm gia tăng căng thẳng giữa trách nhiệm giải trình và cải thiện nội bộ (Hsu, 2018). Khi kết quả đánh giá có mối liên hệ trực tiếp với các quyết định phân bổ nguồn lực và tài trợ thì sẽ dẫn đến việc hình thành văn hóa tuân thủ, khi đó, các trường đại học sẽ cố gắng đáp ứng các tiêu chí đánh giá được đặt ra kể cả khi nó không thực sự phù hợp với nhiệm vụ của nhà trường (Hsu, 2018; Morley, 2004). Ngoài ra, các hoạt động kiểm định, đánh giá cũng tạo ra áp lực lên các trường đại học về việc gia tăng khối lượng công việc của nhân viên và giảng viên liên quan đến bằng chứng (Hou, 2015). Trong bối cảnh này, việc làm thế nào để các hệ thống đảm bảo chất lượng của các quốc gia/khu vực đạt được sự cân bằng giữa trách nhiệm giải trình và tự chủ, đồng nghĩa là giữa đảm bảo chất lượng bên ngoài và đảm bảo chất lượng bên trong, đã trở thành một vấn đề được quan tâm (Noda và cộng sự, 2018). Do đó, bài viết này nhằm mục đích tìm hiểu về hoạt động đảm bảo chất lượng giáo dục đại học của Đài Loan và những đổi mới hệ thống đảm bảo chất lượng nhằm tìm kiếm sự cân bằng giữa trách nhiệm giải trình và tự chủ trong các cơ sở giáo dục đại học.

2. Phương pháp nghiên cứu

Phương pháp định tính phân tích tài liệu được sử dụng trong bài viết để tìm hiểu quá trình phát triển của hệ thống đảm bảo chất lượng giáo dục đại học Đài Loan cùng với các hoạt động kiểm định chương trình đào tạo, kiểm định cơ sở giáo dục và tự kiểm định. Các tài liệu tiếng Anh được thu thập và phân tích bao gồm các bài báo học thuật, các văn bản pháp quy và các chính sách giáo dục, báo cáo thường niên và sổ tay kiểm định của các tổ chức đảm bảo chất lượng. Nội dung thu thập từ các tài liệu được xem xét nhằm tổng hợp các thông tin cần thiết để phục vụ mục đích nghiên cứu.

3. Kết quả nghiên cứu

3.1. Sự phát triển của hệ thống đảm bảo chất lượng giáo dục đại học Đài Loan

   Từ những năm 1980, chất lượng giáo dục đại học đã nhận được nhiều sự quan tâm khi mà chính phủ khuyến khích các cơ sở giáo dục đại học tự tiến hành đánh giá để cải thiện chất lượng. Từ năm 1994, theo luật giáo dục, chính phủ được quyền tiến hành đánh giá các trường đại học để đảm bảo duy trì chất lượng đại học. Tuy nhiên, tại thời điểm đó, có rất ít hiệp hội nghề nghiệp được Bộ Giáo dục cấp phép thực hiện đánh giá các cơ sở giáo dục đại học (Noda và cộng sự, 2018).

Hệ thống đảm bảo chất lượng giáo dục đại học của Đài Loan chính thức được hình thành với sự ra đời của Hội đồng đánh giá và kiểm định giáo dục đại học Đài Loan (the Higher Education Evaluation and Accreditation Council of Taiwan – HEEACT) vào năm 2005 (Hou, 2018). Hệ thống này là sự kết hợp và pha trộn các tính năng của hệ thống kiểm định và các phương pháp tiếp cận khác (Hsu, 2018). Theo luật Giáo dục đại học sửa đổi (2005), Bộ Giáo Dục thành lập các hội đồng đánh giá hoặc hỗ trợ các cơ quan kiểm định chuyên nghiệp thực hiện định kỳ đánh giá các trường đại học và công bố kết quả để làm tài liệu tham khảo cho việc phân bổ trợ cấp và cho phép các trường điều chỉnh kế hoạch phát triển trong tương lai (MOE, 2005; Noda và cộng sự, 2018). Do đó, HEEACT chịu trách nhiệm thiết lập khung đảm bảo chất lượng quốc gia cho các trường đại học thông qua việc phát triển các chỉ số thực hiện cho hệ thống đảm bảo chất lượng, thực hiện các đánh giá do MOE ủy quyền và cung cấp các báo cáo đánh giá để MOE hoạch định chính sách (Hsu, 2018; MOE, 2005). HEEACT nhận nguồn tài trợ hàng năm trực tiếp từ MOE để hoạt động (Hsu, 2018).

Tính đến năm 2018, ngoài HEEACT còn có bốn tổ chức kiểm định địa phương được chính phủ cho phép thực hiện kiểm định về giáo dục nghề nghiệp và các chương trình chuyên môn được lựa chọn, bao gồm: Hiệp hội Thẩm định và Đánh giá Đài Loan (Taiwan Assessment and Evaluation Association – TWAEA),  Hội đồng Kiểm định Y tế Đài Loan (Taiwan Medical Accreditation Council – TMAC), Viện Giáo dục Kỹ thuật Đài Loan (the Institute of Engineering Education Taiwan – IEET) và Hiệp hội Quản lý Trung Hoa (Chinese Management Association – CMA) (Hou, 2018). Các tổ chức kiểm định địa phương cung cấp dịch vụ trên cơ sở tự nguyện, theo đó, các cơ sở giáo dục đại học phải tự trả phí khi đăng ký kiểm định (Noda và cộng sự, 2018). Để tránh sự trùng lặp, Bộ Giáo dục Đài Loan thực hiện chính sách loại trừ, cho phép một chương trình đã được công nhận bởi các nhà kiểm định quốc tế và địa phương thì không cần phải được đánh giá hoặc đánh giá lại bởi HEEACT (Noda và cộng sự, 2018).

Theo Hou (2018), hệ thống đảm bảo chất lượng giáo dục đại học Đài Loan đã trải qua ba giai đoạn chính, bao gồm: (1) Giai đoạn phát triển và trách nhiệm giải trình – từ năm 2005 đến năm 2012; (2) Giai đoạn tự kiểm định và tự chủ học thuật – từ năm 2012 đến năm 2017; và (3) Giai đoạn đảm bảo chất lượng bên trong và văn hóa chất lượng – từ năm 2017 đến nay.

3.1.1. Giai đoạn phát triển và trách nhiệm giải trình

Giai đoạn phát triển và trách nhiệm giải trình tương ứng với chu kỳ kiểm định chương trình lần thứ nhất của HEEACT. Trong giai đoạn này, HEEACT có nhiệm vụ đảm bảo cho hoạt động của các cơ sở giáo dục đại học phải tuân thủ theo các tiêu chuẩn chất lượng đã thiết lập và trách nhiệm giải trình với cách tiếp cận bắt buộc (Hou, 2018). Chu kỳ kiểm định chương trình lần thứ nhất tập trung vào “đầu vào” ở cấp độ chương trình và nhấn mạnh tầm quan trọng của việc cung cấp cho người học môi trường học tập chất lượng cao (HEEACT, 2020) với các tiêu chuẩn mục tiêu, đặc điểm và cơ chế tự nâng cao, thiết kế chương trình và giảng dạy, học tập và người học, kết quả nghiên cứu và chuyên môn, và kết quả tốt nghiệp (HEEACT, 2012; Noda và cộng sự, 2018).

3.1.2. Giai đoạn tự kiểm định và tự chủ học thuật

Trong giai đoạn tự kiểm định và tự chủ học thuật, hệ thống đảm bảo chất lượng giáo dục đại học Đài Loan tập trung thực hiện đồng thời ba nhiệm vụ chính, bao gồm: (1) chu kỳ kiểm định chương trình lần thứ hai, (2) chu kỳ kiểm định cơ sở giáo dục đại học lần thứ nhất, và (2) công nhận tự kiểm định.

Chu kỳ kiểm định chương trình lần thứ hai nhấn mạnh sự phát triển và vận hành các cơ chế đánh giá kết quả học tập của sinh viên (chuẩn đầu ra) trong các chương trình và ngành học với các tiêu chuẩn như mục tiêu giáo dục, đặc điểm và thiết kế chương trình, chất lượng giảng dạy và đánh giá học tập, hướng dẫn sinh viên và tài nguyên học tập, kết quả học tập và chuyên môn, hiệu suất của cựu sinh viên và cơ chế tự cải thiện (HEEACT, 2012; Noda và cộng sự, 2018). Cụ thể, chu kỳ này tập trung vào cấp độ “quy trình”, nghĩa là cách các chương trình sử dụng các cơ chế để đánh giá kết quả học tập của học sinh nhằm thực hiện đầy đủ các mục tiêu giáo dục của chương trình và đảm bảo rằng người học đạt được các năng lực cốt lõi cần thiết (HEEACT, 2020). Song song, chu kỳ kiểm định cơ sở giáo dục lần thứ nhất được thực hiện dựa trên mô hình PDCA và các minh chứng với năm tiêu chuẩn, bao gồm: tự định vị/tự xác định vai trò (self-positioning), quản trị và quản lý, dạy và học, trách nhiệm giải trình và cải tiến chất lượng liên tục (HEEACT, 2012; Noda và cộng sự, 2018).

Sau giai đoạn phát triển và trách nhiệm giải trình, có nhiều ý kiến đến từ các cơ sở giáo dục đại học, giảng viên và chuyên gia về tác động không mong muốn của hệ thống đảm bảo chất lượng, ví dụ như: (1) việc sử dụng kết quả đảm bảo chất lượng như một tiêu chí để phân bổ nguồn tài trợ và để hợp nhất hay đóng cửa các cơ sở giáo dục đại học đã gây nên áp lực khiến các cơ sở phải chạy theo việc đáp ứng các tiêu chuẩn đảm bảo chất lượng, (2) việc đáp ứng các tiêu chuẩn đảm bảo chất lượng có thể gây nên những thay đổi trong cấu trúc tổ chức và do đó ảnh hưởng đến đời sống học tập trong cơ sở giáo dục, (3) việc chuẩn bị cho hệ thống đảm bảo chất lượng cũng ảnh hưởng đến tỷ lệ thời gian mà các giảng viên phân bổ cho giảng dạy, nghiên cứu và các nhiệm vụ khác, … (Hsu, 2018). Hơn nữa, trong bối cảnh gia tăng nhanh chóng các loại hình cơ sở giáo dục đại học thì việc sử dụng một bộ tiêu chuẩn đảm bảo chất lượng chung để đánh giá các cơ sở khác nhau là không phù hợp với sự đa dạng của các nhà cung cấp giáo dục (Hou, 2020). Do đó, để giảm thiểu những tác động không mong muốn (Hsu, 2018) và tìm cách cân bằng giữa trách nhiệm giải trình và tự chủ, giữa đảm bảo chất lượng bên ngoài và đảm bảo chất lượng bên trong (Chen và Hou, 2016), cũng như trước yêu cầu cấp thiết của các trường đại học, MOE đã quyết định khởi động chính sách tự kiểm định chất lượng vào năm 2012 nhằm khuyến khích các cơ sở giáo dục đại học tự nội dung hóa các giá trị của đảm bảo chất lượng và cải tiến liên tục văn hóa tổ chức của họ. HEEACT đã xây dựng các nguyên tắc hoạt động để các cơ sở giáo dục đại học đảm bảo quyền tự chủ và hướng dẫn họ thiết lập các cơ chế để quản lý đảm bảo chất lượng bên trong. Theo đó, một cơ sở giáo dục nếu đủ điều kiện có thể đăng ký tự kiểm định và được trao quyền tự chủ trong việc xây dựng cơ chế tự kiểm định, được tự xây dựng quy trình và các tiêu chuẩn tự kiểm định cho đơn vị và tiến hành tự kiểm định các chương trình (HEEACT, 2019). Tại Đài Loan, tự kiểm định chỉ được áp dụng trong kiểm định chương trình và không áp dụng ở cấp cơ sở giáo dục (Chen và Hou, 2016). MOE đảm nhận trách nhiệm công nhận các cơ chế đảm bảo chất lượng bên trong và kết quả tự kiểm định các chương trình của các cơ sở giáo dục. Khi một cơ sở giáo dục được công nhận tự kiểm định sẽ được quyền xin miễn đánh giá ngoài (HEEACT, 2019).

Điều kiện đầu tiên để đăng ký tự kiểm định là các cơ sở giáo dục phải thuộc một trong những trường hợp sau: (1) Là cơ sở nhận được giải thưởng “Kế hoạch phát triển cho các trường đại học đẳng cấp thế giới và các trung tâm nghiên cứu xuất sắc” của MOE, (2) Là cơ sở được trao giải “Dự án Đại học hàng đầu” của MOE; và (3) Là cơ sở nhận được giải thưởng “Dự án Giảng dạy xuất sắc” và được cấp ít nhất 6,7 triệu USD trong 4 năm liên tiếp của MOE (Hou và cộng sự, 2018). Bên cạnh đó, các cơ sở còn phải đáp ứng một trong các yêu cầu sau: (1) Cơ sở giáo dục là trường đại học đã được MOE công nhận trước đây về các cơ chế và kết quả tự đánh giá; (2) Cơ sở giáo dục là một trường đại học công nghệ đã được MOE công nhận trước đây về các cơ chế và kết quả tự đánh giá ; (3) Ít nhất 80% các chương trình của cơ sở giáo dục đã được đánh giá trong chu kỳ đánh giá chương trình gần đây nhất và đạt điểm theo yêu cầu; (4) Ít nhất 80% các chương trình của cơ sở giáo dục được đánh giá trong chu kỳ đánh giá chuyên ngành gần nhất và đạt điểm theo yêu cầu ; và (5) Ít nhất 80% các chương trình của cơ sở  được đánh giá trong chu kỳ đánh giá toàn diện gần đây nhất và được xếp loại cấp độ một (HEEACT, 2019b).

3.1.3. Giai đoạn đảm bảo chất lượng bên trong và văn hóa chất lượng

Giai đoạn đảm bảo chất lượng bên trong và văn hóa chất lượng tương ứng với chu kỳ kiểm định cơ sở giáo dục lần thứ hai với mục tiêu là đảm bảo chất lượng cơ sở giáo dục, chứng minh các đặc điểm khác biệt và hiệu quả của cơ sở, đồng thời thúc đẩy cải tiến bên trong cơ sở. Các tiêu chuẩn kiểm định cơ sở chu kỳ thứ hai được thiết kế để cho phép mức độ linh hoạt cao trong các hoạt động mà các cơ sở giáo dục sử dụng để thể hiện bản chất riêng biệt của họ. Mô hình kiểm định chuyên nghiệp phù hợp với các nguyên tắc và hướng dẫn đảm bảo chất lượng cụ thể, theo đó, các cơ sở không được xếp hạng dựa trên một bộ chỉ số định lượng mà khuyến khích phát triển bản sắc, tính năng và cơ chế đảm bảo chất lượng bên trong của riêng mình. Mô hình quản lý PDCA vẫn được áp dụng để cải tiến chất lượng của cơ sở. Tóm lại, trọng tâm của chu kỳ này là thực hiện một hệ thống đảm bảo chất lượng để chứng minh hiệu quả và trách nhiệm xã hội của các cơ sở giáo dục, đồng thời thực hiện các cơ chế và thực hành đảm bảo kết quả học tập của sinh viên và khả năng tuyển sinh của các cơ sở đó. (HEEACT, 2018)

Bên cạnh đó, trong giai đoạn này, MOE đã công bố một chính sách đảm bảo chất lượng mới, chỉ ra rằng việc kiểm định chương trình sẽ được thay đổi từ định hướng bắt buộc sang cách tiếp cận tự nguyện (Hou, 2018). Hơn nữa, chính sách tự kiểm định cũng được mở rộng áp dụng cho tất cả các cơ sở giáo dục đại học của Đài Loan. Điều này có nghĩa là tất cả các cơ sở giáo dục đại học được phép thực hiện tự kiểm định chương trình nếu có đủ khả năng và đáp ứng điều kiện có ít nhất 80% chương trình đã được công nhận trong chu kỳ kiểm định trước (Hou và cộng sự, 2018). Giai đoạn này cho thấy rằng hệ thống đảm bảo chất lượng của Đài Loan đang chuyển sang kỷ nguyên của văn hóa quy định và văn hóa chất lượng (Hou, 2018).

3.2. Kiểm định cơ sở giáo dục đại học (Institutional Accreditation)

Phần này giới thiệu mục tiêu, các tiêu chuẩn và quy trình kiểm định cơ sở giáo dục chu kỳ thứ hai.

3.2.1. Mục tiêu

HEEACT (2017) xác định các mục tiêu tổng thể của chu kỳ kiểm định cơ sở giáo dục đại học lần thứ hai bao gồm: (1) Đánh giá hiệu quả của cơ sở giáo dục: điều này dựa trên sự điều hành và quản lý của cơ sở giáo dục, giảng dạy, nghiên cứu, các dịch vụ, và kết quả học tập của học sinh; (2) Chứng minh khả năng tự định vị (self-positioning) và các đặc điểm khác biệt của cơ sở giáo dục: một tổ chức cần xây dựng một kế hoạch phát triển dựa trên sự tự định vị của mình, tiến hành tự đánh giá thường xuyên, thực hiện các điều chỉnh và tích cực thực hiện kế hoạch của mình, từ đó thể hiện các đặc điểm riêng biệt của tổ chức và giúp nó đạt được các mục tiêu giáo dục; (3) Thực hiện các trách nhiệm xã hội: chu kỳ kiểm định cơ sở giáo dục thứ hai cần thể hiện tác động tích cực đối với các cơ sở giáo dục đại học và sự phát triển của R&D; và (4) Cung cấp thông tin tham khảo cho việc hoạch định chính sách: kết quả kiểm định tổng thể có thể được sử dụng để tư vấn cho tất cả các bên tham gia vào quá trình hoạch định chính sách nhằm đưa ra các khuyến nghị về phát triển giáo dục đại học.

3.2.2. Các tiêu chuẩn

Theo HEEACT (2017), chu kỳ kiểm định cơ sở giáo dục lần thứ hai vẫn áp dụng mô hình quản lý PDCA kết hợp với các triết lý nền tảng và kết quả của chu kỳ kiểm định cơ sở giáo dục lần thứ nhất để thiết lập các tiêu chuẩn kiểm định. Mỗi tiêu chuẩn bao gồm các chỉ số riêng lẻ đóng vai trò là thành phần bắt buộc trong quá trình kiểm định. Có bốn tiêu chuẩn như sau (HEEACT, 2017):

Tiêu chuẩn 1: Quản trị và Quản lý

1.1. Các kế hoạch phát triển và các tính năng riêng biệt tương ứng với sự tự định vị của cơ sở giáo dục

1.2. Thực hành và cơ chế để đảm bảo quản trị chất lượng

1.3. Quan hệ hợp tác với các đối tác trong học viện, chính phủ và doanh nghiệp có liên quan đến sự tự định vị của cơ sở giáo dục

1.4. Đảm bảo quyền tiếp cận bình đẳng với các cơ hội giáo dục; cơ sở giáo dục thể hiện trách nhiệm xã hội

Tiêu chuẩn 2: Nguồn lực và hệ thống hỗ trợ

2.1. Các kế hoạch về nguồn lực hỗ trợ sự phát triển

2.2. Thực hành và cơ chế hỗ trợ phát triển sự nghiệp học thuật và nâng cao năng lực giảng dạy của đội ngũ giảng viên

2.3. Thực hành và cơ chế để đạt được kết quả học tập của học sinh

Tiêu chuẩn 3: Hiệu quả tổ chức

3.1. Hiệu quả của tổ chức được chứng minh bằng khả năng tự định vị của cơ sở giáo dục

3.2. Kết quả học tập mà sinh viên đạt được

3.3. Khả năng tiếp cận thông tin công khai của các bên liên quan

Tiêu chuẩn 4: Tự cải thiện và sự bền vững

4.1. Thực hành dựa trên kết quả đánh giá bên trong và bên ngoài để thảo luận, cải tiến và thực hiện

4.2. Thực hành và kế hoạch đổi mới và phát triển bền vững

4.3. Thực hành bảo vệ quyền và lợi ích của giảng viên, nhân viên và sinh viên

4.4. Thực hành và cơ chế để đảm bảo tính bền vững về tài chính của tổ chức

3.2.3. Cơ sở giáo dục tự đánh giá (Institutional self-assessments)

Theo HEEACT (2017), các cơ sở giáo dục được yêu cầu thiết lập các cơ chế tự đánh giá dựa trên các tiêu chuẩn kiểm định, đồng thời phản ánh các kế hoạch phát triển và sự tự định vị của họ. Các cơ chế này được sử dụng để tự đánh giá và viết báo cáo tự đánh giá dùng làm cơ sở cho việc đánh giá ngoài thông qua chuyến thăm thực địa (on-site visit) của các cơ quan kiểm định. Dựa trên nhu cầu tự định vị và phát triển của tổ chức, các cơ sở giáo dục sử dụng dữ liệu định lượng hoặc định tính để minh họa tình trạng hiện tại của mình theo từng tiêu chuẩn kiểm định. Căn cứ vào đó, các cơ sở giáo dục tự phân tích điểm mạnh và điểm tồn tại, xác nhận các đặc điểm khác biệt, đảm bảo chất lượng và đề xuất các khuyến nghị để cải tiến tổ chức trong tương lai. Sau khi đã hoàn thành quá trình tự đánh giá, cơ sở giáo dục phải nộp báo cáo tự đánh giá cho cơ quan kiểm định và để làm cơ sở chính cho chuyến thăm thực địa.

3.2.4. Đánh giá thực địa (On-Site Visit)

Sau khi các cơ sở giáo dục nộp báo cáo tự đánh giá, HEEACT (2017) sẽ cử một nhóm các chuyên gia đồng cấp đến thăm và thực hiện đánh giá tại các cơ sở giáo dục nhằm xác định tính hợp lệ của quy trình tự đánh giá và đề xuất các khuyến nghị liên quan đến sự phát triển của cơ sở giáo dục trong tương lai. Các thành viên của hội đồng đánh giá thực địa được lựa chọn là những giáo sư/giảng viên có kinh nghiệm quản lý trong các tổ chức giáo dục đại học/tổ chức học thuật và các chuyên gia đánh giá học thuật. Ngoài ra, hội đồng còn có các đại diện được đề cử bởi HEEACT và các tổ chức học thuật cá nhân. Các thành viên đều phải tham gia một buổi tập huấn do HEEACT tổ chức. Danh sách thành viên được đề xuất cho hội đồng đánh giá sẽ được gửi đến các cơ sở giáo dục trước chuyến thăm thực địa và các cơ sở giáo dục có quyền phản đối bất kỳ thành viên nào trong hội đồng nếu có đủ bằng chứng liên quan đến trình độ chuyên môn hoặc các vấn đề khác của người đó. (HEEACT, 2017)

Hội đồng đánh giá có nhiệm vụ thu thập thông tin để đánh giá hoạt động của cơ sở giáo dục theo bốn tiêu chuẩn kiểm định thông qua việc quan sát cơ sở vật chất, tổ chức các cuộc họp, xem xét dữ liệu và thực hiện các cuộc khảo sát hoặc thông qua việc tương tác với lãnh đạo cơ sở giáo dục, lãnh đạo các khoa, các giáo sư, nhân viên hành chính và sinh viên. (HEEACT, 2017)

3.2.5. Xác nhận kết quả kiểm định

Theo HEEACT (2017), kết quả kiểm định cơ sở giáo dục được xác định qua một quá trình gồm hai giai đoạn: (1) Đánh giá thực địa và (2) Quyết định của Hội đồng công nhận kiểm định.

Dựa trên những phát hiện từ chuyến đánh giá thực địa, đoàn đánh giá ngoài sẽ đưa ra các đề xuất trong báo cáo đánh giá thực địa. Báo cáo sẽ bao gồm tự đánh giá của cơ sở giáo dục và các tài liệu được xem xét tại cơ sở giáo dục trong chuyến thăm. Báo cáo được Hội đồng công nhận kiểm định phê duyệt sẽ được trình lên MOE để lưu hồ sơ và làm tài liệu tham khảo trong việc xây dựng các chính sách. Kết quả công nhận và các tài liệu liên quan sau đó sẽ chính thức được công bố rộng rãi trên cổng thông tin của HEEACT. (HEEACT, 2017)

Các cơ sở giáo dục được đánh giá dựa trên từng tiêu chuẩn công nhận. Các kết quả công nhận kiểm định cơ sở giáo dục có thể có là: (1) được công nhận; (2) được công nhận có điều kiện; và (3) bị từ chối. Các cơ sở giáo dục được công nhận sẽ đệ trình kế hoạch tự cải tiến và báo cáo tiến độ cho HEEACT. Các cơ sở giáo dục được công nhận có điều kiện phải đệ trình kế hoạch tự cải tiến và báo cáo tiến độ cho HEEACT và sau đó sẽ trải qua đánh giá tiếp theo liên quan đến các vấn đề được xác định trong báo cáo đánh giá thực địa. Các cơ sở giáo dục bị từ chối công nhận sẽ phải đệ trình kế hoạch tự cải tiến, báo cáo tiến độ cho HEEACT và hoàn thành báo cáo tự đánh giá mới để được tiến hành kiểm định lại. (HEEACT, 2017)

3.3. Kiểm định chương trình đào tạo (Program Accreditation)

3.3.1. Mục tiêu

HEEACT (2020) xác định các mục tiêu của hoạt động kiểm định chương trình là: (1) Giúp các chương trình nâng cao chất lượng và phát triển các tính năng khác biệt, (2) Thúc đẩy việc thiết lập cơ chế đảm bảo chất lượng bên trong và cơ chế tự cải thiện trong các chương trình, (3) Giúp tăng khả năng hiển thị của các chương trình trên diễn đàn quốc tế, và (4) Cung cấp cho cộng đồng các thông tin về đảm bảo chất lượng và thông báo cho người dân về chất lượng và hoạt động của chương trình.

3.3.2. Các tiêu chuẩn

   Theo HEEACT (2020), các tiêu chuẩn đảm bảo chất lượng chương trình đào tạo được xây dựng dựa trên triết lý rằng các chương trình phải nhận ra vị trí học thuật độc đáo của họ và tạo ra một văn hóa đảm bảo chất lượng. Các tiêu chuẩn đảm bảo chất lượng được kết hợp với mô hình quản lý PDCA (Lập kế hoạch – Triển khai thực hiện – Kiểm tra – Hành động) để giúp các chương trình đánh giá thực hành và kết quả của họ theo ba tiêu chuẩn:

Tiêu chuẩn 1: Phát triển, vận hành và cải tiến chương trình

1.1. Mục tiêu, các tính năng khác biệt và kế hoạch phát triển

1.2. Lập kế hoạch và thực hiện chương trình giảng dạy

1.3. Hỗ trợ vận hành và quản trị

1.4. Tự phân tích và cải tiến liên tục

Tiêu chuẩn 2: Giảng viên và giảng dạy

2.1. Thành phần giảng viên và việc chỉ định giảng viên đáp ứng các mục tiêu giáo dục của chương trình, chương trình giảng dạy và nhu cầu học tập của sinh viên

2.2. Phát triển năng lực giảng dạy của giảng viên và các hệ thống hỗ trợ liên quan

2.3. Phát triển việc học tập của giảng viên và các hệ thống hỗ trợ liên quan

2.4. Hoạt động giảng dạy, học tập và chuyên môn của giảng viên

   Tiêu chuẩn 3: Học sinh và học tập

3.1. Quản lý tuyển sinh và duy trì học sinh

3.2. Hệ thống hỗ trợ và học tập liên quan đến khóa học

3.3. Các hình thức học tập và hệ thống hỗ trợ khác

3.4. Kết quả học tập và phản hồi của sinh viên

Các chỉ số cốt lõi của ba tiêu chuẩn trên phải được đánh giá bắt buộc trong chuyến thăm thực tế tại cơ sở giáo dục (HEEACT, 2020).

3.3.3. Công nhận kết quả kiểm định chương trình

Theo HEEACT (2020), việc kiểm định chương trình cần chú trọng tính phù hợp và tôn trọng sự đa dạng và tính năng độc đáo của các chương trình. Một chương trình cần phải thực hiện tự đánh giá và gửi báo cáo tự đánh giá và các tài liệu liên quan cho HEEACT để đăng ký kiểm định chương trình. Sau đó, hai đến bốn người đánh giá được HEEACT chỉ định để thực hiện chuyến thăm thực địa chương trình tại cơ sở. Nhóm đánh giá thực địa sẽ đánh giá các tiêu chuẩn đảm bảo chất lượng chương trình thông qua việc quan sát cơ sở vật chất, các cuộc họp, thảo luận, thu thập và xem xét dữ liệu cũng như thông qua phỏng vấn các lãnh đạo khoa, giảng viên, nhân viên hành chính, sinh viên, sinh viên tốt nghiệp và đại diện doanh nghiệp. Bản thảo ban đầu của báo cáo đánh giá thực địa sẽ được gửi cho những người phụ trách chương trình được kiểm định để họ có thể nộp đơn kháng cáo trong vòng mười ngày. Sau đó, các tài liệu được gửi đến Ủy ban công nhận kiểm định chương trình chịu trách nhiệm về ngành học mà chương trình thuộc về để xem xét và quyết định kết quả công nhận.

Một chu kỳ kiểm định chương trình kéo dài trong 6 năm. Do đó, một chương trình có thể nhận được một trong ba kết quả công nhận, bao gồm: (1) được công nhận trong thời gian 6 năm; (2) được công nhận trong thời gian 3 năm; và (3) yêu cầu kiểm định lại. Đối với chương trình được công nhận trong 6 năm, một giai đoạn cải tiến được thực hiện trong 3 năm tiếp theo sau khi công bố kết quả công nhận; sau đó, đơn vị phải đệ trình một kế hoạch tự cải tiến để làm tài liệu tham khảo trong chu kỳ công nhận tiếp theo. Đối với chương trình được công nhận trong 3 năm, một giai đoạn cải tiến được thực hiện trong 3 năm tiếp theo sau khi công bố kết quả công nhận; sau đó, đơn vị phải đệ trình một kế hoạch tự cải tiến cho HEEACT để cơ quan này xem xét các tài liệu và tiến hành một chuyến đánh giá thực địa (nếu được yêu cầu) để xác định xem có nên gia hạn trạng thái công nhận của chương trình hay không. Nếu một chương trình không được gia hạn, chương trình đó có thể không đăng ký để bắt đầu lại thủ tục công nhận. Đối với một chương trình bị yêu cầu kiểm định lại, họ phải tổ chức viết lại báo cáo tự đánh giá, thực hiện các biện pháp cải tiến và sau đó đăng ký kiểm định lại với HEEACT. Việc đăng ký kiểm định lại chỉ có thể được thực hiện một lần cho mỗi chu kỳ công nhận. (HEEACT, 2020)

3.4. Tự kiểm định (Self-Accreditation)

3.4.1. Mục tiêu

   Theo HEEACT (2019), các mục tiêu của việc công nhận tự kiểm định bao gồm: (1) Giúp các cơ sở giáo dục thiết lập các cơ chế và thực hành để tự kiểm định các chương trình đào tạo; (2) Thúc đẩy việc thực hiện triệt để các cơ chế tự kiểm định và tự cải tiến; (3) Thúc đẩy tính công khai và minh bạch của thông tin liên quan đến hoạt động của cơ sở; và (4) Cung cấp thông tin liên quan đến kiểm định và đảm bảo chất lượng để cộng đồng hiểu biết sâu sắc hơn về chất lượng và hoạt động của các chương trình.

3.4.2. Các tiêu chuẩn

Các cơ sở giáo dục đại học khi đăng ký tự kiểm định cần tuân thủ tám tiêu chuẩn sau (Hou và cộng sự, 2018; MOE, 2013):

1. Cơ sở giáo dục xây dựng quy chế tự kiểm định chất lượng trên cơ sở nhất trí của toàn trường.

2. Các tiêu chuẩn tự kiểm định chất lượng do cơ sở giáo dục xây dựng phải phù hợp với các mục tiêu và đặc điểm giáo dục của trường.

3. Cơ sở giáo dục thành lập Ban chỉ đạo tự kiểm định chất lượng giáo dục và được quy định trách nhiệm theo quy định của pháp luật. Thành phần ban chỉ đạo nên bao gồm 3-5 chuyên gia bên ngoài.

4. Toàn bộ quy trình đánh giá của quá trình tự kiểm định được thiết kế phù hợp với nhiều cơ chế thu thập dữ liệu và tự cải tiến.

5. Những người đánh giá là các chuyên gia được đào tạo bài bản, các học giả hàn lâm và các đại diện trong ngành.

6. Hệ thống tự kiểm định chất lượng được cơ sở giáo dục hỗ trợ đầy đủ về tài chính và nhân lực.

7. Hệ thống phản hồi và tự cải tiến do cơ sở giáo dục thực hiện theo kết quả kiểm định và nhận xét đánh giá.

8. Kết quả tự kiểm định được công bố rộng rãi.

3.4.3. Quy trình công nhận tự kiểm định

Các cơ sở giáo dục đăng ký công nhận tự kiểm định với HEEACT (2019). Quy trình công nhận tự kiểm định gồm hai giai đoạn, đó là (1) giai đoạn công nhận cơ chế tự kiểm định và (2) giai đoạn công nhận kết quả tự kiểm định.

Công nhận cơ chế tự kiểm định

Theo HEEACT (2019), các cơ sở giáo dục phải xây dựng cơ chế tự kiểm định các chương trình, bao gồm: (1) Xây dựng và thông qua các quy định quản lý việc tự kiểm định, (2) Thành lập ban chỉ đạo để giám sát việc tự kiểm định, (3) Bổ nhiệm và đào tạo các chuyên gia đánh giá để thực hiện đánh giá tại chỗ các chương trình, (4) Xây dựng các tiêu chuẩn và chỉ số tự kiểm định, (5) Xây dựng quy trình tự kiểm định, (6) Thiết lập các hệ thống hỗ trợ tự kiểm định, (7) Xây dựng các quy định về công khai và sử dụng kết quả tự kiểm định, và (7) Xây dựng cơ chế cải tiến dựa trên kết quả tự kiểm định. Sau đó, cơ sở giáo dục đăng ký công nhận cơ chế tự kiểm định bằng cách nộp kế hoạch tự kiểm định và các tài liệu liên quan cho HEEACT.

Việc công nhận cơ chế tự kiểm định về bản chất là đánh giá liệu một cơ sở giáo dục đã thiết lập được một kế hoạch hành động tự kiểm định và xây dựng các quy định và thủ tục liên quan dựa trên các tiêu chuẩn kiểm định hay chưa.  Quy trình công nhận được chia thành ba giai đoạn: (1) Đánh giá ban đầu: nhằm xem xét các tài liệu đã hoàn chỉnh hay cần bổ sung để chuyển tiếp sang giai đoạn phản biện chính thức; (2) Phản biện chính thức: xem xét kế hoạch hành động và các tài liệu liên quan (bản hoàn chỉnh) để đánh giá cơ chế tự kiểm định của cơ sở giáo dục để ra quyết định công nhận; và (3) Công nhận: Hội đồng công nhận tự kiểm định của HEEACT xem xét cơ chế tự kiểm định của cơ sở giáo dục và và ra quyết định cấp phép hoặc từ chối công nhận. (HEEACT, 2019)

Các cơ sở giáo dục được công nhận cơ chế tự kiểm định phải sửa đổi kế hoạch hành động của mình theo các khuyến nghị của Hội đồng công nhận và tiếp tục triển khai giai đoạn tự kiểm định tiếp theo. Các cơ sở giáo dục không được công nhận cơ chế tự kiểm định có thể đăng ký lại sau một năm. (HEEACT, 2019)

Công nhận kết quả tự kiểm định

Các cơ sở giáo dục tiến hành tự kiểm định theo kế hoạch và các tiêu chuẩn tự kiểm định đã xây dựng và được công nhận ở giai đoạn trước. Sau khi hoàn thành quá trình tự kiểm định các chương trình, cơ sở giáo dục biên soạn và gửi báo cáo kết quả tự kiểm định gồm toàn bộ thông tin và kết quả đánh giá của các chương trình đào tạo cho HEEACT. Tương tự như giai đoạn công nhận cơ chế tự kiểm định, quy trình công nhận kết quả tự đánh giá của cơ sở giáo dục cũng được chia thành 3 giai đoạn, đó là đánh giá ban đầu, phản biện chính thức và công nhận. (HEEACT, 2019)

Việc công nhận kết quả tự kiểm định của một cơ sở giáo dục nhằm đảm bảo rằng quy trình tự kiểm định được thực hiện và kết quả tự kiểm định tương ứng với kế hoạch hành động ban đầu của cơ sở giáo dục. Mô hình PDCA được áp dụng khi đánh giá kết quả tự kiểm định. Hội đồng công nhận tự kiểm định sẽ đánh giá liệu các kết quả tự kiểm định và thực hành tự kiểm định có toàn diện và phù hợp cho việc tự cải tiến của cơ sở giáo dục hay không để ra quyết định công nhận. Kết quả tự kiểm định được công nhận có giá trị trong thời hạn 6 năm. (HEEACT, 2019)

4. Kết luận và khuyến nghị

Bài viết này đã giới thiệu tổng quan về hệ thống đảm bảo chất lượng giáo dục đại học của Đài Loan. Phương pháp định tính phân tích tài liệu được sử dụng để tổng hợp thông tin về quá trình phát triển của hệ thống đảm bảo chất lượng giáo dục đại học của Đài Loan và những biện pháp đổi mới của hệ thống nhằm giảm thiểu những ảnh hưởng không mong muốn của hoạt động đảm bảo chất lượng lên các cơ sở giáo dục cũng như nhằm tìm kiếm sự cân bằng giữa trách nhiệm giải trình và tự chủ/giữa đảm bảo chất lượng bên ngoài và đảm bảo chất lượng bên trong cho các cơ sở giáo dục. Bên cạnh đó, các quy trình thực hành kiểm định chương trình, kiểm định cơ sở giáo dục và quy trình công nhận tự kiểm định cũng được giới thiệu.

Các thông tin thu thập được cho thấy hệ thống đảm bảo chất lượng giáo dục đại học của Đài Loan hoạt động một cách tích cực và hiệu quả mặc dù vẫn tồn tại những ảnh hưởng không mong muốn lên các cơ sở giáo dục. Tuy nhiên, Đài Loan đã có những thay đổi kịp thời và hợp lý trong các chính sách đảm bảo chất lượng, đặc biệt như cho phép các cơ sở giáo dục thực hiện tự kiểm định và áp dụng cách tiếp cận không bắt buộc đối với việc kiểm định chương trình đào tạo.

Một số bài học kinh nghiệm được rút ra từ nghiên cứu này bao gồm:

Thứ nhất, việc sử dụng kết quả kiểm định chất lượng để ra quyết định phân bố nguồn lực, sáp nhập hay đóng cửa các cơ sở giáo dục sẽ gây nên những áp lực lên các cơ sở giáo dục và hình thành văn hóa tuân thủ.

Thứ hai, cần xem xét việc sử dụng một bộ tiêu chuẩn chung để đánh giá các cơ sở giáo dục khác nhau liệu có phù hợp. Có thể cân nhắc về việc sử dụng linh hoạt các tiêu chí đánh giá để đáp ứng sự đa dạng của các nhà cung cấp giáo dục.

Thứ ba, hoạt động đảm bảo và kiểm định chất lượng cần khuyến khích các cơ sở giáo dục phát huy các đặc điểm khác biệt, đặc thù của họ.

Thứ tư, các cơ sở giáo dục cần cân bằng giữa hoạt động đảm bảo chất lượng bên ngoài và đảm bảo chất lượng bên trong, giữa trách nhiệm giải trình và tự chủ.

Thứ năm, hoạt động tự kiểm định của các cơ sở giáo dục là phương pháp hữu hiệu để tăng cường tự chủ cho các cơ sở giáo dục và thúc đẩy cải tiến chất lượng nội bộ của các cơ sở đó. Đây là một mô hình có thể học tập và áp dụng khi có đủ các điều kiện cần thiết.

TÀI LIỆU THAM KHẢO

Chen, K. H. J., & Hou, A. Y. C. (2016). Adopting self-accreditation in response to the diversity of higher education: quality assurance in Taiwan and its impact on institutions. Asia Pacific Education Review17(1), 1-11.

Costes, N., Hopbach, A., Kekäläinen, H., Ijperen, R.V. and Walsh, P. (2010). Quality Assurance and Transparency Tools. European Association for Quality Assurance in Higher Education, Helsinki.

Gaston, P.L. (2014). Higher Education Accreditation: How It’s Changing, Why It Must. Stylus Publishing, Sterling, VA.

Higher Education Evaluation & Accreditation Council of Taiwan (HEEACT) (2012). 2011 annual report. HEEACT, Taipei.

Higher Education Evaluation & Accreditation Council of Taiwan (HEEACT) (2020). HEEACT Program Accreditation Handbook. HEEACT, Taipei.

Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT) (2019). HEEACT Recognition of Self-Accreditation Handbook. HEEACT, Taipei.

Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT) (2017). Second Cycle of Institutional Accreditation Handbook. HEEACT, Taipei

Hou, A. Y. C., Hill, C., Guo, C. Y., Tsai, S., & Justiniano Castillo, D. R. (2020b). A comparative study of relationship between the government and national quality assurance agencies in Australia, Japan, Malaysia and Taiwan: policy change, governance models, emerging roles. Quality in Higher Education26(3), 284-306.

Hou, A. Y. C., Hill, C., Hu, Z., & Lin, L. (2020a). What is driving Taiwan government for policy change in higher education after the year of 2016–in search of egalitarianism or pursuit of academic excellence? Studies in Higher Education, 1-14.

Hou, A. Y. C., Kuo, C. Y., Chen, K. H. J., Hill, C., Lin, S. R., Chih, J. C. C., & Chou, H. C. (2018). The implementation of self-accreditation policy in Taiwan higher education and its challenges to university internal quality assurance capacity building. Quality in Higher Education, 24(3), 238-259.

Hou, A.Y.C. (2015). Is the Asian quality assurance system for higher education going glonacal?:  assessing the impact of three types of program accreditation on Taiwanese universities. Studies in Higher Education, 40 (1), 83-105

Hou, YC. (2018). Quality assurance system in Taiwan higher education: Challenges and prospects. https://taiwaninsight.org/2018/09/28/quality-assurance-system-in-taiwan-higher-education-challenges-and-prospects/

Hsu, YP. (2018). The Evolution of Quality Assurance in Higher Education in Taiwan: The Changes and the Effects at Different Levels. High Educ Policy, 32, 339–357.

International Network for Quality Assurance Agencies in Higher Education (INQAAHE) (2021), Analytic Quality Glossary. Available at http://www.qualityresearchinternational.com/glossary/selfaccreditation.htm

Ministry of Education (MOE), 2013. University Self-Accreditation Regulation. Taipei, Taiwan.

Ministry of Education (MOE). (2005). Revised University Law. Ministry of Education, Taipei.

Morley, L. (2004). Theorising quality in higher education. London: Institution of Education, University of London

Noda, A., Hou, A. Y. C., Shibui, S., & Chou, H. C. (2018). Restructuring quality assurance frameworks: a comparative study between NIAD-QE in Japan and HEEACT in Taiwan. Higher Education Evaluation and Development.

Noda, A., Kim, S., Yung Chi Hou, A., Lu, I. J. G., & Chou, H. C. (2021). The relationships between internal quality assurance and learning outcome assessments: challenges confronting universities in Japan and Taiwan. Quality in Higher Education27(1), 59-76.

Seyfried, M., & Pohlenz, P. (2018). Assessing quality assurance in higher education: quality managers’ perceptions of effectiveness. European Journal of Higher Education8(3), 258-271.

Theo Nguyễn Hoàng Bảo Ngọc (2021), Sách chuyên khảo “Đảm bảo và kiểm định chất lượng giáo dục đại học trong bối cảnh tự chủ đại học: Lý luận và thực tiễn”, NXB Đại học Quốc gia Hà Nội.

Leave a reply

https://unihub.vnu.edu.vn/
https://unihub.vnu.edu.vn/wp-content/uploads/ https://unihub.vnu.edu.vn/wp-content/uploads/2016/ https://unihub.vnu.edu.vn/wp-content/uploads/2017/ https://unihub.vnu.edu.vn/wp-content/uploads/2021/ https://unihub.vnu.edu.vn/wp-content/uploads/2022/