Background (Q&A) about the Tennessee Board of Regents “Open Business Intelligence Initiative” April 2011 

1.  Description of the “Open BI Initiative.”  

This project was the result of an institutional effectiveness improvement initiative that began at Tennessee State University (TSU) and was subsequently expanded to encompass requirements for all Tennessee Board of Regents (TBR) institutions brought about by the Complete College Tennessee Act of 2010 (CCTA) TCA 49‐8‐101(c).  The TBR system consists of six universities (including TSU), 13 community colleges, and 27 technology centers. TBR’s combined annual enrollment of over 200,000 students and a budget of $2.4 billion makes it is the nation's sixth largest system of public higher education.  

Early in 2008 TSU engaged a third party consultant to identify the key performance indicators (KPIs) to track in order to improve institutional effectiveness. The process consisted of campus leadership interviews, review of institutional documents and plans (approx. 12 sources and plans including strategic and master plans), and research of external sources (SACS, NACUBO, IPEDS, THEC, NCAA, USN&WR, and other university dashboards). In the consultant’s final report to TSU (summer 2008), more than 200 KPIs were identified that crossed over 19 identified functional areas (approx. 180+ of the KPIs can be reported out of Banner). A complete list of the KPIs and the functional areas that are the focus of improvement can be found in .PDF format at: http://slidesha.re/9quuBL 

In the spring of 2009, TSU and TBR entered into a partnership to develop the KPIs in the Consultant’s report by dedicating 1/5 time of 5 individuals to work with functional users to code and test the KPIs. In January of 2010, the project took on a new degree of urgency with the passage of the Complete College Tennessee Act of 2010. With CCTA, the funding formula for higher education previously based on enrollment headcounts changed to one that emphasizes student success and outcomes, including higher rates of degree completion. In addition, a zero‐sum funding environment with no funding increases results in a reallocation of dollars from institutions with lower outcomes to institutions with higher student outcomes. 

Based upon these developments, TBR and TSU “opened” the project up to any institution in or outside of the TBR system who wishes to participate. The only prerequisite is that the institution has to be a SunGard Higher Education Banner client that also uses ODS (Luminis preferable but not required) and the commitment is to develop 5 KPI’s every 90 days. As of this date there are now six institutions using and developing KPIs in and for the repository, with more expressing interest, making this a project that benefits multiple institutions. 

2.  What are the goals of your project? 

The goals of this project have evolved over the 3+ years it has been in existence. As of this date, the six (6) major goals of the project are: 

• Develop 180+ key performance indicators (KPIs), alerts, and dashboards to provide actionable intelligence on the efficiency and effectiveness of operations across 19 functional areas of focus for 

1 | P a g e   

participating colleges and universities. These metrics are to be made available to all institutions that participate in the project so as to help institutions to improve institutional effectiveness and ‐‐ with respect to TBR institutions ‐‐ assist in better managing toward the requirements of the CCTA. 

• Provide a secure and authoritative data management environment with complete and consistent data and metric algorithms that can be duplicated across the TBR enterprise or other institutions that use ODS/EDW. 

• Portal/Web delivery of KPIs, alerts, dashboards, etc. to enhance institutional agility and decision making by ensuring that data is both accessible and transformed into actionable information in a timely manner. 

• Enable participating campuses to push decision making down to the lowest logical level to avoid bottlenecks and allow acting on information in a timely manner. 

• Attract/recruit additional institutions both in and outside of the TBR to participate in the project. BI projects are never completed and are always a work in progress. Additional talent and new perspectives can only increase the quality and quantity of valuable metrics that can be utilized by all institutions who participate to improve the effectiveness of their institution. A long term goal would be to explore with SunGard Higher Education the possibility of inclusion of the project into the SGHE Community Commons. 

• Facilitate the development of “balanced scorecards” to be used by functional managers to keep track of the performance of activities by staff members within their responsibility and monitor any consequences that may arise from their actions. 

3. What technologies are used for the project? 

The project is based upon three technologies and development tools. A brief description and how they contributed to the project follow:

• Operational Data Store (ODS) – ODS is a companion product to Banner that is intended to provide a consistent view of institutional data across the enterprise for reporting purposes.  Through an extract/transform/load (ETL) process, production data is extracted from Banner, transformed into “denormalized” tables, and then loaded into the ODS where it is presented to functional users using familiar business terms and definitions. This makes it easier for users to access the information they need for reporting, ad hoc queries, etc. without impacting the performance of the Banner production database. Since most universities and all community colleges in the TBR system use ODS, it was the logical choice upon which to build a major BI initiative since mapping data to KPIs is simplified by the ETL process and given the complexity of many of the KPI algorithms, performance of production Banner will not be impacted. 

• Luminis – Luminis is a portal and web services environment that has been tailored to work with Banner and ODS. Again, Luminis is used by all TBR institutions making it the logical choice as the delivery mechanism for the KPIs, alerts, dashboards, etc. to executives and management alike. Its standards‐based user authentication provides the level of security that was sought and delivers a consistent user experience that can be easily adapted by all participants in the project. Luminis also has the capability to build and manage communities, which is ideal for making it possible to “departmentalize” certain KPIs and build views targeted to certain constituents, such as presidents, provosts, vice presidents, etc. Lastly, the ability for users to contribute to wikis, have threaded discussions, and share resources and information was also seen as a plus for developing and documenting KPIs. 

2 | P a g e   

• Argos – Argos is a robust enterprise reporting software from the Evisions Corporation that is most effective for higher education reporting needs.  Argos is easy to implement and easy to use for a wide variety of reporting needs ‐‐ from ad hoc reporting to advanced OLAP data cubes, as well as sophisticated dashboards and formatted reports.  The Argos reporting tool contains an application program interface (API )  publishing feature that allows reporting solutions to be created and quickly shared with executive management across the campus.  The Argos feature also allows end users to become self‐sufficient for many of their own reporting needs, which can reduce the impact upon the information technology departments for attending to ad hoc reporting needs of their campus clients.  Additionally, Argos has a lower cost of ownership than many business intelligence tools currently on the market while delivering enterprise‐wide reporting solution across the campus. 

It is important to note that institutions contemplating joining the initiative do not have to be Luminis or Argos users. Argos can generate SQL code that can be imported into other reporting tools, so any reporting software that can import SQL code can be used. Other portal solutions can be used as well. The strength of this project is that it identifies the data elements in Banner and ODS/EDW as well as the algorithm to calculate the KPIs. 

4. What is innovative about the project?  

TBR is utilizing a shared collaborative approach (unique for a BI initiative in higher education), where multiple colleges and universities (six as of this date) are involved in the development of the project. This approach is delivering the following overall benefits: 

• Hard Cost Savings – Had this initiative gone out to a competitive bidding process, it is estimated that the development costs for a consultant led KPI development effort would be between $457K ‐ $507K.  

• Distribution of Soft Costs – The development of KPIs requires a significant investment on the part of an institution in soft costs in the form of technical and functional staff members both coding and testing the KPIs. Distributing the workload among multiple institutions ensures that no single institution is overburdened by the level of effort. 

• Speed of Development – With multiple institutions working on the project, KPIs can be developed in parallel instead of serially reducing the time to completion of the project. 

• KPI Quality – Involving multiple institutions in the effort enables management to identify and recruit the most talented staff members available to build out selected KPIs. E.g., an institution with exceptional staff in finance would be targeted for finance KPIs, whereas an institution with gifted staff in student affairs would likewise be requested to develop student KPIs. Additionally, with multiple institutions there are a larger number of technical and functional experts to poll and seek assistance, ideas and suggestions when issues arise, as well as a larger number of testers to assure better quality control.  

A status report of the project that was originally presented to all TBR presidents and the Chancellor’s senior staff in August of last year can be found at: http://slidesha.re/gdijhx 

5. How has the project impacted the organization? 

3 | P a g e   

The old management adage “You can’t manage what you don’t measure” is the fundamental crux of this project. Its intent is in delivering to the executive and management levels of functional areas across multiple institutions in the enterprise the tools necessary to measure and evaluate the effectiveness of their particular area(s) of responsibility. Unlike most software projects that only deliver on particular needs or requirements related to certain business needs or processes, this project is fundamentally at the core of leadership and management of an institution as it is all‐encompassing and enables the multiple institutions that participate to address issues related to their functional investment portfolios, functional strategies, and even employee performance. Perhaps the ultimate impact has been that it is sending a message that measuring performance and outcomes has become an executive priority for the institutions, along with accountability for performance and outcomes. 

6. What are some of the quantifiable measurements from the project? 

It is important to note that at the outset of this project it was not intended to produce any particular outcome other than to provide the executives and management of participating campus a tool kit of KPIs that they could use to measure institutional effectiveness. Since the work product of this project is accessible to multiple colleges and universities, how the management on those campuses chooses to utilize the KPI toolkit can and will differ dramatically from campus to campus and their particular needs and mission. 

The project has gone from zero (0) KPIs to monitor institutional effectiveness across 19 functional areas to an ever increasing inventory of KPIs (target 180+), all of which can be derived from Banner and the ODS. Interest in participating in the development of the KPIs has increased by 300%, and there is interest from additional institutions, both within and external to the TBR that will drive this number even higher. This would seem to be an indicator that the desire to better manage campus activities is becoming a priority with campus leadership, most likely due to tight budgets and legislative mandates. 

A listing of the KPIs, complete with their category, descriptions, how calculated, units of measure, source, dimensions, and frequency can be found in .PDF format at: http://slidesha.re/9quuBL 

Some examples of the KPIs developed can be found at: http://slidesha.re/hTLjE9 

The number of KPIs by functional area are: 

Access to Education - Distance Education 6Access to Education - Financial 12Admissions 15Enrollment 16Student Affairs 16Graduation 10Retention 3Quality of Education 9Program Management 3Faculty and Staff 28HR 2Business & Finance 23

4 | P a g e   

5 | P a g e   

Development 18Research & Sponsored Programs 13President 6CIT (Information Technology) 10Facilities 4Library 6Athletics 11 

Three examples of where KPIs are actively being used: 

Graduation by Year and College within the University – For the period 2008 to 2009 the university combined graduation rates fell by 135 FTE or 7.96%.  The following period 2009 to 2010 graduation rates increased by 42 FTE or 2.69%.  The metrics enable college deans to track their graduation rates as compared to other colleges in the university and address issues. 

New Freshman Enrollment by College – For the period 2009‐10 new freshman enrollment in the College of Arts and Sciences (10.96% increase), College of Engineering (7.95% increase), and the School of Nursing (2.9% increase) indicated efforts to recruit into engineering and nursing were being successful without cannibalizing arts and sciences. 

Revenue from Tuition by Term – Undergraduate out‐of‐state revenue, which the institution heavily relies upon, was demonstrated to be declining.  Tracking revenue gains by all student types with undergraduate out‐of‐state student revenue growing by 2.52% and in‐state students increasing by 6.34% and similar gains in graduate education demonstrated that efforts to reverse the decline were becoming successful. 

7. Who can participate, what are the costs, and who should be contacted for additional information? 

Any organization, consultancy, or vendor affiliated with SunGard Higher Education’s Banner ERP suite and ODS/EDW is welcome to join the effort.  There are no costs to participate, and the only commitment is to help with the development of the KPIs that have been identified (and/or contribute additional KPIs that would be beneficial to the project).   

For additional information, ideas, suggestions, and/or to join the initiative please feel free to contact: 

Thomas Danford Chief Information Officer Tennessee Board of Regents thomas.danford@tbr.edu 

Pamela Clippard Senior Data Architect and Project Lead Tennessee Board of Regents pamela.clippard@tbr.edu 

Tags: Business Intelligence, BI, KPI, Dashboard, Alert, Data Warehouse, Banner, ODS, Argos, Luminus